Proyecto liderado por E. San Martín finaliza con relevante productividad en psicometría y efectividad escolar

El director del proyecto fue el profesor e investigador Ernesto San Martín, los dos investigadores titulares fueron Jorge González (de la Facultad de Matemática) y Verónica Santelices (Facultad de Educación); y los investigadores asociados fue el decano de la Facultad de Educación Alejandro Carrasco, Garrit Page (Matemática) y Rolando de la Cruz (Salud Pública). Este proyecto logró formar un Ph. D. en Estadística y finalizó con 6 tesis de Magister (tres dirigidas por Verónica Santelices, dos por Ernesto San Martín y una por Garrit Page), además de publicar 11 artículos en revistas indexadas ISI/SCOPUS, capítulos de libros, y un artículo en revista SCIELO, todos ellos relacionados al campo de la psicometría, que se encarga de medir cuantitativamente las capacidades mentales, y la efectividad escolar.

En este aspecto, se destacan las contribuciones en el campo psicométrico ya que se relacionan con una evaluación crítica de los modelos de teoría de respuesta al ítem, modelos que son actualmente son usados por la Agencia de Calidad de la Educación para estimar las propiedades de los ítemes de las pruebas SIMCE, así como los puntajes de los estudiantes.

En este mismo campo, se hicieron contribuciones al llamado equating (poner en la misma escala dos formas de un mismo test). En estas contribuciones se muestra cómo utilizar características de la población (género, tipo de escuela, nivel socio-económico) a fin de testear si el escalamiento satisface o no los criterios de invarianza poblacional.

En el ámbito de la efectividad escolar, este proyecto continuó la investigación en torno al concepto de valor agregado. Concretamente, mostró que no se pueden obtener indicadores de efectividad escolar más informativos usando las técnicas estándar de ajustar diversos modelos incluyendo más o menos variables de contexto. Por el contrario, propuso una nueva definición de efectividad escolar basada en cuantiles, lo que permitió desarrollar y aplicar una metodología de indicadores de valor-agregados cuantil.

En la misma área de la efectividad escolar, este proyecto desarrolló un modelo de valor agregado multidimensional. Este mismo fue producto de la colaboración científica entre este ANILLO y el Ministerio de Educación del Gobierno de Colombia: la estructura de la información que ellos generan en el sistema terciario de educación motivó este desarrollo, lo que conllevó a definir indicadores de efectividad intra-escuela (lo que, de paso, es más coherente con la perspectiva de accountability interna), además de los indicadores que permiten comprar diferentes escuelas.

Este proyecto también abordó otros aspectos de la Educación Superior de Chile, así como los problemas de efectividad docente.

Para San Martín con este proyecto “hemos generado un polo de investigación tanto en psicometría como en efectividad escolar”, señaló y agregó que “la característica de este polo es que hace esfuerzos por acercarse a la literatura de manera crítica, lo que le ha permitido mostrar cómo los aspectos sustantivo/teóricos pueden formalizarse en términos probabilísticos. De esta manera, queda explícito que la investigación cuantitativa es bastante lejana de la investigación meramente empírica (esta solo se dedica a describir la información recogida en el campo), estando más cerca de la investigación teórica en Ciencias Sociales”.

Publicaciones ISI/SCOPUS

• González, J., Barrientos, A., and Quintana, F. (2015a). Bayesian Nonparametric Estimation of Test Equating Functions with Covariates. Computational Statistics and Data Analysis, 89, 222-244.
• González, J., Fariña, P., De la Cruz, R. and San Martín, E. (2015). Interpretation and estimation of the guessing parameter in a 1PL-G model. Technical Report of the ANILLO Project.
• Maris, G., Bechger, T. and San Martín, E. (2015). A Gibbs sampler for the (extended) maginal Rasch Model. Psychometrika. DOI: 10.1007/s11336-015-9479-4.
• Milla, J., San Martín, E. and Van Bellegem, S. (2016). Higher Education Value Added using Multiple Outcomes. Under revision for the Journal of Educational Measurement.
• Page, G., San Martín, E. Orellana, J. and González, J. (2016). Exploring Complete School Effectiveness via Quantile Value-Added. Accepted for publication in the Journal of the Royal Statistical Society, Series A.
• Page, G., and Quintana, F. (2016). Spatial Product Partition Models. Bayesian Analysis 11, 265-298.
• San Martín, E., Rolin, J.-M. and Castro, M. (2013). Identifiability of the 1PL model with guessing parameters: Parametric and
• Semi-parametric Results. Psychometrika 78, 341-379.
• San Martín, E., González, J. and Tuerlinckx, F. (2015). On the unidentifiability of the fixed-effects 3PL model. Psychometrika 80,450-467.
• Santelices, V. and Wilson, M. (2015). The Revised SAT Score and Its Potential Benefits for the Admission of Minority Students to Higher Education. Educational Policy Analysis Archives 23, 1-30.
• Santelices, V., Catalán, X., Kruger, D. and Horn, C. (2016). Determinants of Persistence and the Role of Financial Aid: Lessons from Chile. Higher Education 71, 323-342.
• Santelices, V. and Valenzuela, F. (2015). Importancia de las características del profesor y de la escuela en la calidad docente: una aproximación desde la teoría de respuesta al ítem. Estudios Pedagógicos 41, 233-254.
• Santelices, M. V., Galleguillos, P., González, J., & Taut, S. (2015). Un Estudio Sobre la Calidad Docente en Chile: El Rol del Contexto en Donde Enseña el Profesor y Medidas de Valor Agregado. Psyhke, 24, 1-14.

Papers sometidos a ISI/SCOPUS

• San Martín, E. (2015). Identifiability in the Bayesian Approach: Is it really relevant? Submitted.
• Santelices, V., Catalán, X., Horn, C and Venegas, A. (2015). High School Ranking in University Admissions at a National Level: Simulation of Predictive Validity Results from Chile; submitted.
• Santelices, V., Valencia, E., González, J. and Taut, S. (2015). Two teacher quality measures and the role of the context: Evidence from Chile; submitted.