UC
Inicio / Proyecto liderado por E. San Martín finaliza con relevante productividad en psicometría y efectividad escolar

Proyecto liderado por E. San Martín finaliza con relevante productividad en psicometría y efectividad escolar

ernesto interior edit

Una alta productividad medida en artículos publicados en revistas científicas y formación de recursos humanos registró el proyecto ANILLO SOC 1107 Statistics for Public Policy in Education, que tuvo una duración de 3 años, y cuyo informe final fue enviado a los evaluadores el primer fin de semana de marzo.

 

El director del proyecto fue el profesor e investigador Ernesto San Martín, los dos investigadores titulares fueron Jorge González (de la Facultad de Matemática) y Verónica Santelices (Facultad de Educación); y los investigadores asociados fueron Alejandro Carrasco (Educación), Garrit Page (Matemática) y Rolando de la Cruz (Salud Pública).

A modo de resumen, el proyecto ANILLO SOC 1107 Statistics for Public Policy in Education logró formar un Ph. D. en Estadística y finalizó con 6 tesis de Magister (tres dirigidas por Verónica Santelices, dos por Ernesto San Martín y una por Garrit Page).

Sobresale que durante la investigación, el equipo logró publicar 11 artículos en revistas indexadas ISI/SCOPUS, además de capítulos de libros, y un artículo en revista SCIELO, todos ellos del campo de la psicometría y la efectividad escolar.

Las contribuciones en el campo psicométrico se relacionan con una evaluación crítica de los modelos de teoría de respuesta al ítem, modelos que son actualmente son usados por la Agencia de Calidad de la Educación para estimar las propiedades de los ítemes de las pruebas SIMCE, así como los puntajes de los estudiantes.

En este mismo campo, se hicieron contribuciones al llamado equating (poner en la misma escala dos formas de un mismo test). En estas contribuciones se muestra cómo utilizar características de la población (género, tipo de escuela, nivel socio-económico) a fin de testear si el escalamiento satisface o no los criterios de invarianza poblacional.

En el ámbito de la efectividad escolar, este proyecto continuó la investigación en torno al concepto de valor agregado. Concretamente, mostró que no se pueden obtener indicadores de efectividad escolar más informativos usando las técnicas estándar de ajustar diversos modelos incluyendo más o menos variables de contexto. Por el contrario, propuso una nueva definición de efectividad escolar basada en cuantiles, lo que permitió desarrollar y aplicar una metodología de indicadores de valor-agregados cuantil.

En la misma área de la efectividad escolar, este proyecto desarrolló un modelo de valor agregado multidimensional. Este mismo fue producto de la colaboración científica entre este ANILLO y el Ministerio de Educación del Gobierno de Colombia: la estructura de la información que ellos generan en el sistema terciario de educación motivó este desarrollo, lo que conllevó a definir indicadores de efectividad intra-escuela (lo que, de paso, es más coherente con la perspectiva de accountability interna), además de los indicadores que permiten comprar diferentes escuelas.

Este proyecto también abordó otros aspectos de la Educación Superior de Chile, así como los problemas de efectividad docente.

Ernesto San Martín, profesor asociado de la Facultad de Educación y de la facultad de Matemáticas de la UC, explica que “con este proyecto, hemos generado un polo de investigación tanto en psicometría como en efectividad escolar. La característica de este polo es que hace esfuerzos por acercarse a la literatura de manera crítica, lo que le ha permitido mostrar cómo los aspectos sustantivo/teóricos pueden formalizarse en términos probabilísticos. De esta manera, queda explícito que la investigación cuantitativa es bastante lejana de la investigación meramente empírica (esta solo se dedica a describir la información recogida en el campo), estando más cerca de la investigación teórica en Ciencias Sociales”.

Publicaciones ISI/SCOPUS

González, J., Barrientos, A., and Quintana, F. (2015a). Bayesian Nonparametric Estimation of Test Equating Functions with Covariates. Computational Statistics and Data Analysis, 89, 222-244.

González, J., Fariña, P., De la Cruz, R. and San Martín, E. (2015). Interpretation and estimation of the guessing parameter in a 1PL-G model. Technical Report of the ANILLO Project.

Maris, G., Bechger, T. and San Martín, E. (2015). A Gibbs sampler for the (extended) maginal Rasch Model. Psychometrika. DOI: 10.1007/s11336-015-9479-4.

Milla, J., San Martín, E. and Van Bellegem, S. (2016). Higher Education Value Added using Multiple Outcomes. Under revision for the Journal of Educational Measurement.

Page, G., San Martín, E. Orellana, J. and González, J. (2016). Exploring Complete School Effectiveness via Quantile Value-Added. Accepted for publication in the Journal of the Royal Statistical Society, Series A.

Page, G., and Quintana, F. (2016). Spatial Product Partition Models. Bayesian Analysis 11, 265-298.
San Martín, E., Rolin, J.-M. and Castro, M. (2013). Identifiability of the 1PL model with guessing parameters: Parametric and

Semi-parametric Results. Psychometrika 78, 341-379.
San Martín, E., González, J. and Tuerlinckx, F. (2015). On the unidentifiability of the fixed-effects 3PL model. Psychometrika 80,450-467.

Santelices, V. and Wilson, M. (2015). The Revised SAT Score and Its Potential Benefits for the Admission of Minority Students to Higher Education. Educational Policy Analysis Archives 23, 1-30.

Santelices, V., Catalán, X., Kruger, D. and Horn, C. (2016). Determinants of Persistence and the Role of Financial Aid: Lessons from Chile. Higher Education 71, 323-342.

Santelices, V. and Valenzuela, F. (2015). Importancia de las características del profesor y de la escuela en la calidad docente: una aproximación desde la teoría de respuesta al ítem. Estudios Pedagógicos 41, 233-254.

Santelices, M. V., Galleguillos, P., González, J., & Taut, S. (2015). Un Estudio Sobre la Calidad Docente en Chile: El Rol del Contexto en Donde Enseña el Profesor y Medidas de Valor Agregado. Psyhke, 24, 1-14.

Papers sometidos a ISI/SCOPUS

San Martín, E. (2015). Identifiability in the Bayesian Approach: Is it really relevant? Submitted.

Santelices, V., Catalán, X., Horn, C and Venegas, A. (2015). High School Ranking in University Admissions at a National Level: Simulation of Predictive Validity Results from Chile; submitted.

Santelices, V., Valencia, E., González, J. and Taut, S. (2015). Two teacher quality measures and the role of the context: Evidence from Chile; submitted.