Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil

Design and validation of a rubric to evaluate educational actions and projects on youth empowerment

Laura Corbella Molina, Universidad Autónoma de Barcelona
Carme Trull Oliva, Universidad de Girona
M.ª Pilar Rodrigo-Moriche, Universidad Autónoma de Madrid
Xavier Úcar Martínez, Universidad Autónoma de Barcelona

DOI

10.22550/REP79-3-2021-05

Resumen

En los últimos años ha habido un aumento significativo de los debates internacionales, las investigaciones y los programas socioeducativos centrados en el empoderamiento juvenil. Uno de los principales problemas de este concepto está relacionado con las formas de medirlo y evaluarlo. Evaluar las acciones y proyectos socioeducativos es clave para el diseño, la implementación y la mejora de prácticas educativas que ayuden a la juventud a empoderarse. Este artículo presenta el proceso de construcción y validación de una rúbrica para la evaluación de acciones y proyectos educativos de empoderamiento juvenil desarrollada en el marco del Proyecto HEBE. El proceso metodológico consta de tres fases: (1) el diseño del instrumento; (2) la validación por juicio de expertos de 17 profesionales de diferentes ámbitos, 3 expertos en evaluación y 5 jóvenes; (3) y el contraste que se realiza a través de una prueba piloto con 20 proyectos o servicios socioeducativos de empoderamiento juvenil en los que participan 63 profesionales. Los resultados denotan la validez y fiabilidad de la rúbrica para evaluar la calidad de las prácticas socioeducativas y para diseñar e implementar acciones que apuesten por el empoderamiento juvenil. Destaca por ser un instrumento validado y útil para la realización de diagnósticos educativos relacionados con el empoderamiento juvenil y por su utilidad para generar procesos reflexivos que se convierten en puntos de partida para repensar y mejorar la práctica pedagógica.

Cómo citar este artículo: Corbella Molina, L., Trull Oliva, C., Rodrigo-Moriche, M. P. y Úcar Martínez, X. (2021). Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil | Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79 (280), 537-555. 10.22550/REP79-3-2021-05

Referencias | References

Andueza, A. (2019). Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura. Revista Electrónica de Investigación y Evaluación Educativa, 25 (2), art. 5. 10.7203/ relieve.25.2.11163

Bacqué, M.-H. y Biewener, C. (2016). El empoderamiento: una acción progresiva que ha revolucionado la política y la sociedad. Editorial Gedisa, S. A.

Beatty, P. C. y Willis, G. (2007). Research synthesis: The practice of cognitive interviewing. [Síntesis de la investigación: la práctica de la entrevista cognitiva]. Public Opinion Quarterly, 71 (2), 287-311. 10.1093/poq/ nfm006

Bharuthram, S. y Patel, M. (2017). Co-constructing a rubric checklist with first year university students: A self-assessment tool [Co-construcción de una lista de comprobación de rúbricas con estudiantes universitarios de primer año: una herramienta de autoevaluación]. Apples – Journal of Applied Language Studies, 11 (4), 35-55. 10.17011/apples/ urn.201708073430

Cevallos, B. y Paladines, B. (2016). La autonomía personal: un indicador del empoderamiento juvenil. En P. Soler, J. Bellera, y A. Planas (Eds.), Pedagogía Social, Juventud y Transformaciones Sociales (pp. 370-377). Universidad de Girona.

Cubillos-Veja, C. y Ferrán-Aranaz, M. (2018). Diseño y validación de una rúbrica para valorar la resolución de casos prácticos relativos a derechos humanos. Revista Iberoamericana de Evaluación Educativa, 11 (2), 35-52. https://doi. org/10.15366/riee2018.11.2.002

Dimova, Y. y Loughran, J. (2009). Developing a big picture understanding of reflection in pedagogical practice [Desarrollar una comprensión global de la reflexión en la práctica pedagógica.] Reflective Practice, 10 (2), 205-217. https:// doi.org/10.1080/14623940902786214

Doğan, C. D. y Uluman, M. (2017). A comparison of rubrics and graded category rating scales with various methods regarding raters’ reliability [Comparación de rúbricas y escalas de calificación por categorías con diversos métodos en relación con la fiabilidad de los calificadores]. Educational Sciences: Theory & Practice, 17 (2), 631-651. 10.12738/ estp.2017.2.0321

Fernández-Cruz, F. J., Fernández-Díaz, M. J. y Rodríguez-Mantilla, J. M. (2018). Diseño y validación de un instrumento de medida del perfil de formación docente en tecnologías de la información y comunicación | Design and validation of an instrument to measure teacher training profiles in information and communication technologies. revista española de pedagogía, 76 (270), 247-270. https://doi. org/10.22550/REP76-2-2018-03

Froufe, S. (1997). Los ámbitos de intervención en la Educación Social. Aula, 9, 179-200. https:// revistas.usal.es/index.php/0214-3402/article/ view/3491

García-Sanz, M. P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17 (1), 87-106. 10.6018/ reifop.17.1.198861

Gatica-Lara, F. y Uribarren-Berrueta, T. del N. J. (2013). ¿Cómo elaborar una rúbrica? Investigación en Educación Médica, 2 (1), 61-65. https:// doi.org/10.1016/S2007-5057(13)72684-X

Gil, J. (2007). La evaluación de competencias laborales. Educación XX1, 10, 83-106. https://doi. org/10.5944/educxx1.1.10.298

Hilton, C. E. (2015). The importance of pretesting questionnaires: A field research example of cognitive pretesting the Exercise referral Quality of Life Scale (ER-QLS) [La importancia de la prueba previa de los cuestionarios: un ejemplo de investigación de campo de la prueba previa cognitiva de la Escala de Calidad de Vida referida al Ejercicio (ER-QLS)]. International Journal of Social Research Methodology, 20 (1), 21-34. 10.1080/13645579.20 15.1091640

Janer, À. y Úcar, X. (2020). Social pedagogy in the world today: An analysis of the academic, training and professional perspectives [La pedagogía social en el mundo actual: un análisis de las perspectivas académicas, formativas y profesionales]. The British Journal of Social Work, 50 (3), 701-721. 10.1093/ bjsw/bcz025

León, V. y Fernández, M. J. (2019). Diseño y validación de una escala para evaluar el funcionamiento de las tutorías en Educación Secundaria. Revista de Investigación Educativa, 37 (2), 525-541. 10.6018/ rie.37.2.345251

Llena-Berñe, A., Agud-Morell, I., Páez de la Torre, S. y Vila-Mumbrú, C. (2017). Explorando momentos clave para el empoderamiento de jóvenes a partir de sus relatos. Pedagogía Social. Revista Interuniversitaria, 30, 81-94. https:// doi.org/10.7179/PSRI_2017.30.06

Luttrell, C., Quiroz, S., Scrutton, C. y Bird, K. (2009). Understanding and operationalising empowerment [Comprender y hacer operativo el empoderamiento]. https://www.1decada4.es/ pluginfile.php/189/course/section/47/understanding.pdf

Miranda, M., Burguera, J. L., Arias, J. M. y Peña, E. (2019). Inclusión, diversidad y equidad: diseño y validación de un cuestionario de opinión dirigido al profesorado de orientación educativa (IDEC-O). Revista de Investigación Educativa, 37 (2), 505-524. 10.6018/ rie.37.2.333891

Morton, M. H. y Montgomery, P. (2013). Youth empowerment programs for improving adolescents’ self-efficacy and self-esteem [Programas de capacitación juvenil para mejorar la autoeficacia y la autoestima de los adolescentes]. Research on Social Work Practice, 23 (1), 22-33. 10.1177/1049731512459967

Murphy, D. L. y Ermeling, B. A. (2016). Feedback on reflection: Comparing rating-scale and forced-choice formats for measuring and facilitating teacher team reflective practice [Feedback sobre la reflexión: comparación de los formatos de escala de valoración y de elección forzada para medir y facilitar la práctica reflexiva del equipo docente]. Reflective Practice, 17 (3), 317-333. 10.1080/14623943.201 6.1164681

Neuert, C. E. y Lenzner, T. (2015). Incorporating eye tracking into cognitive interviewing to pretest survey questions [Incorporación del seguimiento ocular a la entrevista cognitiva para preevaluar las preguntas de la encuesta]. International Journal of Social Research Methodology, 19 (5), 501-519. 10.1080/13 645579.2015.1049448

Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review [Repaso del uso de rúbricas de puntuación para la evaluación formativa: una revisión]. Educational Research Review, 9, 129-144. 10.1016/j. edurev.2013.01.002

Petrie, P. (2005). Extending "pedagogy" [Ampliar la «pedagogía»]. Journal of Education for Teaching, 31 (4), 293-296. https://doi. org/10.1080/02607470500280126

Planas, A., Trilla, J., Garriga, P., Alonso, A. y Monseny, M. (2016a). ¿Qué dimensiones conforman el empoderamiento juvenil? Una propuesta de indicadores. En P. Soler, J. Ballera y A. Planas (Eds.), Pedagogía Social, Juventud y Transformaciones Sociales (pp. 311-318). Universitat de Girona. http://hdl.handle.net/10256/13324

Planas, A., Úcar, X., Páez de la Torre, S., Trilla, J. y Garriga, P. (2016b). Aproximación a los indicadores de empoderamiento juvenil. En C. González y M. Castro Morera (Coords.), Libro de Actas del XVI Congreso Nacional y VII Congreso Iberoamericano de Pedagogía: Democracia y Educación en el Siglo XXI. La obra de John Dewey 100 años después (p. 386). Universidad Complutense de Madrid. https://biblioteca. ucm.es/data/cont/docs/405-2016-10-05-LibroDeActas_SEP2016.pdf

Proyecto HEBE (2019). Rúbrica para la evaluación de acciones y proyectos socioeducativos de empoderamiento juvenil. Universitat de Girona. http://hdl.handle.net/10256/17643

Reddy, Y. M. y Andrade, H. (2010). A review of rubric use in higher education [Una revisión del uso de rúbricas en la educación superior]. Assessment and Evaluation in Higher Education, 35 (4), 435-448. https://doi. org/10.1080/02602930902862859

Richez, J. C., Labadie, F. y De Linares, C. (2012). «Youth empowerment» dans l’espace euroméditerranéen. Rapport d’étude [El empoderamiento juvenil en la zona euromediterránea. Informe del estudio]. https://injep.fr/wp-content/uploads/2019/03/rapport-2012-01_Empower-Youth.pdf

Soler, P. (2017). Presentación monográfico empoderamiento juvenil y pedagogía social. Pedagogía Social. Revista Interuniversitaria, 30, 13-16. 10.7179/PSRI_2017.30.01

Soler, P. (2020). El ocio como recurso privilegiado para el empoderamiento juvenil. En I. Lazcano y Á. De-Juanas (Eds.), Ocio y juventud. Sentido, potencial y participación comunitaria (pp. 161-180). Universidad Nacional de Educación a Distancia (UNED).

Soler, P., Planas, A., Ciraso-Cali, A. y Ribot-Horas, A. (2014). Empoderamiento en la comunidad. El diseño de un sistema abierto de indicadores a partir de procesos de evaluación participativa. Pedagogía Social: Revista Interuniversitaria, 24, 49-77. https://doi. org/10.7179/PSRI_2014.24.03

Soler, P., Trilla, J., Jiménez-Morales, M. y Úcar, X. (2017). La construcción de un modelo pedagógico del empoderamiento juvenil: espacios, momentos y procesos. Pedagogía Social. Revista Interuniversitaria, 30, 19-32. 10.7179/PSRI_2017.30.02

Soler, P., Trull, C., Rodrigo-Moriche, M. P. y Corbella, L. (2019). El reto educativo del empoderamiento juvenil. En I. Alonso y K. Artetxe (Eds.), Educación en el tiempo libre: la inclusión en el centro (pp. 129-142). Ediciones OCTAEDRO, S.L.

Tinsley, S. y Sheats, S. (2020). The role of teacher educators and university supervisors to help student teachers reflect: from monological reflection toward dialogical conversation [El papel de los formadores de profesores y de los supervisores universitarios para ayudar a los estudiantes de magisterio a reflexionar: de la reflexión monológica a la conversación dialógica]. Reflective Practice, 21 (2), 171-182. 10.1080/1462 3943.2020.1716710

Tourón, J., Martín, D., Navarro, E., Pradas, S. y Íñigo, V. (2018). Validación de constructo de un instrumento para medir la competencia digital docente de los profesores (CDD) | Construct validation of a questionnaire to measure teachers’ digital competence (TDC). revista española de pedagogía, 76 (269), 25-54. doi: 10.22550/REP76- 1-2018-02

Úcar, X., Jiménez-Morales, M., Soler, P. y Trilla, J. (2016a). Exploring the conceptualization and research of empowerment in the field of youth [Exploración de la conceptualización e investigación del empoderamiento en el ámbito de la juventud]. International Journal of Adolescence and Youth, 22 (4), 405-418. https://doi.org/10.1080/02673843.2016.1209120

Úcar, X. (Coord.), Planas, A., Novella, A., Rodrigo, P., Vila, C., Núñez, H., Paladines, B., Paéz de la Torre, S., Turón, N., Paéz, J. y Arenillas, M. (2016b). Informe del proceso de evaluación participativa del empoderamiento juvenil con 4 grupos de jóvenes. Dipòsit Digital de Documents. Universitat Autónoma de Barcelona. https://ddd.uab.cat/record/167223

Wagaman, M. A. (2011). Social empathy as a framework for adolescent empowerment [La empatía social como marco para el empoderamiento de los adolescentes]. Journal of Social Service Research, 37 (3), 278-293. https://doi.o rg/10.1080/0148837 6.20 11.564045

Zimmerman,M. A., Eisman, A.B.,Reischl, T. M., Morrel-Samuels, S., Stoddard, S., Miller, A. L., Hutchison, P., Franzen, S. y Rupp, L. (2018). Youth empowerment solutions: Evaluation of an after-school program to engage middle school students in community change [Soluciones para el empoderamiento de los jóvenes: evaluación de un programa extraescolar para involucrar a los estudiantes de secundaria en el cambio de la comunidad]. Health Education and Behavior, 45 (1), 20-31. 10.1177/1090198117710491

Biografía de Autor

Laura Corbella Molina es Investigadora Predoctoral dentro del programa de Doctorado en Educación en el departamento de Teorías de la Educación y Pedagogía Social de la Universitat Autònoma de Barcelona (UAB) y Profesora Colaboradora de la Universitat Oberta de Catalunya. Su actividad de investigación está ubicada dentro de la pedagogía social y en concreto en la dimensión ética de las relaciones socioeducativas.

https://orcid.org/0000-0002-2151-089X

Carme Trull Oliva es Profesora Asociada del Área de Teoría e Historia de la Educación y Técnica Especializada de Investigación del Área de Estudios de Educación y Psicología de la Universitat de Girona (UdG). Es educadora social y ha cursado los estudios de Máster Interuniversitario en Juventud y Sociedad, y el Doctorado en Educación. Su actividad de investigación está ubicada dentro de la pedagogía social y en concreto en las intervenciones socioeducativas del sistema de justicia juvenil.

https://orcid.org/0000-0003-2777-0315

M.ª Pilar Rodrigo-Moriche es Profesora Asociada del Departamento de Pedagogía de la Universidad Autónoma de Madrid (UAM) y Profesora Colaboradora en la Facultad de Educación de la Universidad Nacional de Educación a Distancia (UNED). Ha desempeñado su labor profesional en centros de educación infantil, áreas de juventud, organizaciones de integración social y laboral de personas en situación de desventaja social y organizaciones para personas con discapacidad intelectual. Forma parte del Grupo de Investigación EMIPE y del Grupo de investigación TABA International Research.

https://orcid.org/0000-0002-6513-0899

Xavier Úcar Martínez es Catedrático de Pedagogía Social en la Universidad Autónoma de Barcelona. Especializado en Educación Social y en Diseño y Evaluación de Programas de Desarrollo Comunitario y Programas de Animación Sociocultural. Presidente de la «Sociedad Iberoamericana de Pedagogía Social» (SIPS) (2012- 2018). Presidente de la «Coordinadora per l’Animació Sociocultural de Cataluña» (CASC_CAT) (2009-2014). Miembro del grupo de investigación GIPE sobre Política Educativa y del grupo GPSEJ «Pedagogía Social y Empoderamiento Juvenil».

https://orcid.org/0000-0003-3678-8277

Citación recomendada | Recommended citation

Corbella Molina, L., Trull Oliva, C., Rodrigo-Moriche, M. P. y Úcar Martínez, X. (2021). Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil | Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79 (280), 537-555. 10.22550/REP79-3-2021-05