How much gold is in the sand? Data mining with Spain’s PISA 2015 results
Resumen
Desde el inicio de las evaluaciones PISA abundan los estudios que pretenden, en lenguaje metafórico, «separar el oro de la arena», esto es, producir, de la cantidad ingente de datos recogidos, conocimiento útil que guíe la práctica y las políticas educativas. Pero no son frecuentes las investigaciones que usan técnicas de minería de datos para la extracción
de dicho conocimiento. En este trabajo se analizan los cuestionarios de contexto desde una perspectiva métrica, con una metodología basada en «árboles de regresión» destinada a descubrir cuánto «oro» hay en los ítems que los componen, atendiendo a su uso como predictores del desempeño de los jóvenes españoles. Como resultado se obtiene un listado de los ítems más importantes en los seis cuestionarios, junto con el valor predictivo de los mismos. Se aporta un enfoque metodológico que puede contribuir a mejorar la productividad de la investigación pedagógica derivada de PISA.
Cómo citar este artículo: Asensio Muñoz, I., Carpintero Molina, E., Expósito Casas, E. y López Martín, E. (2018).¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015 | How much gold is in the sand? Data mining with Spain’s PISA 2015 results. Revista Española de Pedagogía, 76 (270), 225-245. doi: 10.22550/REP76-2-2018-02
- Descriptores:
- árboles de regresión
- cuestionario de contexto
- España
- PISA 2015
- validez
Referencias | References
Aksu, G. y Güzeller, C. O. (2016). Classification of PISA 2012 Mathematical Literacy Scores Using Decision-Tree Method: Turkey Sampling. Education and Science, 41 (185), 101-122.
Alcover, R., Benlloch, J., Blesa, P., Calduch, M. A., Celma, M., Ferri, C., … Zúnica, L. R. (2007). Análisis del rendimiento académico en los estudios de informática de la Universidad Politécnica de Valencia aplicando técnicas de minería de datos. En Actas de las XIII Jornadas de Enseñanza Universitaria de la Informática (pp. 163-170). Teruel: Universidad de Zaragoza.
Blanco-Blanco, A., Asensio, I. I., Carpintero, E., Ruiz De Miguel, C. y Expósito, E. (2017). Aplicaciones de la segmentación jerárquica en medición y evaluación de programas educativos. Ejemplos con un programa de educación financiera. Educación XX1, 20 (2), 235-257.
Breiman, L., Friedman, J. H., Olshen R. A. y Stone, C. J. (1984). Classification and regression trees. Boca Raton, FL: Chapman y Hall/CRC. Carabaña, J. (2009). Una vindicación de la escuela española. Lección inaugural del Curso Académico 2009-2010. Madrid: Facultad de Educación, UCM.
Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata. Castro, M. y Lizasoaín, L. (2012). Las técnicas de modelización estadística en la investigación educativa: minería de datos, modelos de ecuaciones estructurales y modelos jerárquicos lineales. revista española de pedagogía, 70 (251), 131-148.
Cordero, J. M., Crespo, E. y Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: Una revisión de la literatura en España. Revista de Educación, 362, 273-297.
De La Orden, A. y Jornet, J. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. Bordón, 64 (2), 69-88.
González-Montesinos, M. J. y Backhoff, E. (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con Modelos de Ecuaciones Estructurales. RELIEVE, 16 (2), 1-17. Recuperado de http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_1.htm
González-Such, J., Sancho-Álvarez, C. y Sánchez-Delgado, P. (2016). Cuestionarios de contexto PISA: un estudio sobre los indicadores de evaluación. RELIEVE, 22 (1), 1-17. doi: http://dx.doi.org/10.7203/relieve.22.1.8429.
Gorostiaga, A. y Rojo-Álvarez, J. (2016). On the use of conventional and statistical-learning techniques for the analysis of PISA results in Spain. Neurocomputing, 171, 625-637.
Hanberger, A. (2014). What PISA intends to and can possibly achieve: A critical programme theory analysis. European Educational Research Journal, 13 (2), 167-180. doi: http://dx.doi.org/10.2304/eerj.2014.13.2.167
Hastie, T., Tibshirani, R. y Friedman, J. (2002). The elements of statistical learning. Data mining, inference and prediction. New York: Springer.
Hernández Orallo, J., Ramírez, M. J. y Ferri, C. (2004). Introducción a la minería de datos. Madrid: Pearson-Prentice Hall.
Hopfenbeck, T. H., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan J. y Baird, J. A. (2017). Lessons Learned from PISA: A Systematic Review of Peer Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research. doi: 10.1080/00313831.2016.1258726
Idil, F. H., Narli, S. y Aksoy, E. (2016). Using data mining techniques examination of the middle school student attitude towards mathematics in the context of some variables. International Journal of Education in Mathematics, Science and Technology, 4 (3), 210-228. doi: http://dx.doi.org/10.18404/ijemst.02496
Instituto de Evaluación (IE) (2007). PISA 2006. Informe Español. Madrid: MEC. Izenman, A. J. (2008). Modern multivariate statistical techniques. Regression, classification, and manifold learning. New York: Springer.
Kaplan, D. y Su, D. (2016). On Matrix Sampling and Imputation of Context Questionnaires with Implications for the Generation of Plausible Values in Large-Scale Assessments. Journal of Educational and Behavioral Statistics, 41 (1), 57-80.
Kass, G. V. (1980). An exploratory technique for investigating large quantities of categorical data. Applied Statistics, 29, 119-127.
Kiray, S. A., Gok, B. y Bozkir, A. S. (2015). Identifying the factors affecting science and mathematics achievement using data mining methods. Journal of Education in Science, Environment and Health (JESEH), 1 (1), 28-48.
Lakshmipriya, K. y Arunesh, P. K. (2017). Predicting student performance using data mining classification techniques. International Journal of Innovative Research in Science and Engineering, 3 (2), 54-60.
Lizasoain, L. (2012). Las técnicas de minería de datos aplicadas a la investigación educativa. Arboles estadísticos de decisión. En M. Castro (Coord.), Elogio a la Pedagogía Científica (pp. 101-121). Madrid: Grafidridma.
Martínez Arias, R. (2006). La metodología de los estudios PISA. Revista de Educación, nº extraordinario 2006, 111-129.
Muñoz Ledesma, D. (2015). Modelos para la mejora del rendimiento académico de alumnos de la E.S.O. mediante técnicas de minería de datos (Tesis doctoral). Universidad de Murcia.
OECD (2014). PISA 2012 Technical Report. París: OECD. Recuperado de https://www.oecd.org/pisa/pisaproducts/PISA%202012%20Technical%20Report_Chapter%2019.pdf
OECD (2016). PISA 2015 Context Questionnaires Framework. En PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematics and Financial Literacy (pp. 101-127). París: OECD. doi: http://dx.doi.org/10.1787/9789264255425-7-en
Pereira, D., Perales, M. J. y Bakieva, M. (2016). Análisis de tendencias en las investigaciones realizadas a partir de los datos del Proyecto PISA. RELIEVE, 22 (1), 1-18. doi: http://dx.doi.org/10.7203/relieve.22.1.8248
Ruby, J. y David, K. (2015). Analysis of Influencing Factors in Predicting Students Performance Using MLP. A Comparative Study. International Journal of Innovative Research in Computer and Communication Engineering, 3 (2), 1085-1092.
Rutkowski, L. y Rutkowski, D. (2010). Getting it ‘better’. The importance of improving background questionnaires in international large-scale assessment. Journal of Curriculum Studies, 42 (3), 411-430. doi: http://dx.doi.org/10.1080/00220272.2010.487546
Rutkowski, L. y Rutkowski, D. (2017). Improving the comparability and local usefulness of international assessments: A look back and a way forward. Scandinavian Journal of Educational Research, 1-14. doi: http://dx.doi.org/10.1080/00313831.2016.1261044
Santín, D. (2006). La medición de la eficiencia de las escuelas: una revisión crítica. Hacienda Pública Española / Revista de Economía Pública, 177 (2/2006), 57-82.
Streifer, P. A. y Schumann, J. A. (2005). Using data mining to identify actionable information: breaking new ground in data-driven decision making. Journal of Education for Students Placed at Risk (JESPAR), 10, 281-293.
Strobl, C., Malley, J. y Tutz, G. (2009). An Introduction to Recursive Partitioning: Rationale, Application, and Characteristics of Classification and Regression Trees, Bagging, and Random Forests. Psychological Methods, 14 (4), 323-348.
Taut, S. y Palacios, D. (2016). Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA: Una perspectiva de validez consecuencial. RELIEVE, 22 (1), M8. doi: 10.7203/relieve.22.1.8294
Thai Nghe, N., Janecek, P. y Haddawy, P. (2007). A Comparative Analysis of Techniques for Predicting Academic Performance (Conferencia, sesión T2G). En 37th ASEE/IEEE Frontiers in Education Conference.
Milwaukee, WI. Thakar, P., Mehta, A. y Manisha (2015). Performance Analysis and Prediction in Educational Data Mining: A Research Travelogue. International Journal of Computer Applications, 110 (15), 60-68.
Yu, C. H., Kaprolet, C., Jannasch-Pennell, A. y Digangi. S. (2012). A Data Mining Approach to Comparing American and Canadian Grade 10 Students’ PISA Science Test Performance. Journal of Data Science, 10, 441-464.
Citación recomendada | Recommended citation
Muñoz, I. A., Molina, E. C., Casas, E. E., & Martín, E. L. (2018) . ¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015. Revista Española de Pedagogía, 76(270). https://www.revistadepedagogia.org/rep/vol76/iss270/7
Licencia Creative Commons | Creative Commons License
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Palabras clave | Keywords
árbolesderegresión, cuestionariodecontexto, España, PISA2015, validez
