La validez y confiabilidad de los instrumentos de recolección predicen la efectividad de los programas de enseñanza-aprendizaje reportados en las tesis doctorales sustentadas en la Escuela de Posgrado de la Universidad Nacional de Educación 2005-2015 - Vilchez Roman, Carlos Manuel (2021)
Para hacer aportes que contribuyan a expandir el conocimiento, la investigación en ciencias de la educación debe emplear un método de investigación riguroso. Ello supone usar procedimientos robustos e instrumentos de recolección de datos válidos y confiables. Sin embargo, en el caso de las tesis doctorales en educación este supuesto no siempre se cumple por la presión que tienen las instituciones académicas por elevar su producción científica. El propósito de este estudio es determinar qué relación existe entre el tamaño del efecto y la validez y confiabilidad de los instrumentos de recolección, así como con el tamaño de muestra empleada, en aquellas tesis doctorales enfocadas en los programas de enseñanza-aprendizaje orientados a mejorar el logro de aprendizaje de los estudiantes de educación superior. Para ello se examinaron 54 tesis con diseño (cuasi) experimental que se sustentaron entre los años 2005 y 2015 en la Escuela de Posgrado de la UNE. Dichas tesis reportaron un total de 153 efectos. La ficha de recojo de datos permitió registrar información referida a la validez y confiabilidad de los instrumentos empleados, así como datos sobre los grupos experimental y control (e.g., media, desviación estándar y número de participantes por cada grupo). El tamaño del efecto promedio y para cada intervención se calculó usando la d de Cohen y la g de Hedges, incluyendo su p-valor e intervalo de confianza al 95%. Para la meta-regresión se usaron como covariadas las variables tipo de validez, magnitud del coeficiente de confiabilidad y tamaño de cada grupo. Los resultados mostraron magnitudes de tamaño del efecto inusuales, que no guardan correspondencia con lo reportado en la literatura académica. Para explicar este hallazgo se planteó la hipótesis de inflación del tamaño del efecto, producto de cómo se diseñaron los instrumentos de recolección de datos. Al final se presentan algunas recomendaciones para diseñar instrumentos de recolección de datos válidos y confiables.