Límites de la evaluación en el Sistema de Aseguramiento de la Calidad de la educación chilena: un estudio de caso
Limits of Evaluation in the Quality Assurance System of Chilean Education: a Case Study
Resumen (es)
Los Sistemas de Aseguramiento de la Calidad de la Educación (SAC) son arquitecturas institucionales con las que algunos sistemas educativos buscan potenciar el logro de resultados por parte de actores e instituciones. La evaluación tiene un lugar central, dentro del conjunto de componentes que disponen los SAC, debido a que se requiere juzgar el desempeño para determinar en qué medida se están alcanzando los resultados esperados. El resultado de dicha evaluación es objeto de rendición de cuentas, con consecuencias positivas o negativas. Dada su relevancia, la evaluación del SAC debe ser suficientemente válida para capturar los logros y debilidades de las instituciones y actores, así como para ser creíble al interior del sistema. Además, se requiere que los diferentes dispositivos de evaluación estén articulados y se potencien entre sí, para dar cuenta de la lógica sistémica de esta estrategia. Se realizó un estudio de caso para analizar las capacidades y límites de la evaluación del SAC, buscando comparar resultados de la evaluación de una institución educativa categorizada como “insuficiente” por su desempeño en logros de aprendizaje, con el análisis y datos considerados al interior de su comunidad educativa. Los resultados dieron cuenta de importantes brechas entre ambas perspectivas y de debilidades en el funcionamiento del mecanismo de evaluación del SAC, tales como la actualización de información para categorizar a la institución, la identificación de resultados relevantes que dan cuenta de su desempeño, o el uso de información producida por el mismo sistema de aseguramiento. Estas dificultades son relevantes por los efectos que producen en las instituciones evaluadas y abren la discusión sobre el proceso evaluativo en sí mismo, pero también respecto de los mecanismos de rendición de cuentas que se utilizan a partir de los resultados de estas evaluaciones.
Resumen (en)
Education Quality Assurance Systems (in Spanish, SAC) are institutional architectures with which some educational systems seek to enhance the achievement of results by actors and institutions. Evaluation has a central place within the set of components that SAC have, since it is necessary to judge performance in order to determine to what extent the expected results are being achieved. The result of such evaluation is subject to accountability, which positive or negative consequences. Given its relevance, the SAC evaluation must be sufficiently valid to capture the achievements and weaknesses of the institutions and actors, as well as to be credible within the system. In addition, the different evaluation devices need to be articulated and mutually reinforcing, to account for the systemic logic of this strategy. A case study was carried out to analyze the capacities and limits of the SAC evaluation, seeking to compare the results of the evaluation of an educational institution categorized as “insufficient” for its performance in learning achievements, with the analysis and data considered within its educational community. The results revealed important gaps between both perspectives and weaknesses in the functioning of the SAC evaluation mechanism, such as: the updating of information to categorize the institution, the identification of relevant results that account for its performance, or the use of information produced by the assurance system itself. These difficulties are relevant because of the effects they produce on the evaluated institutions and open the discussion about the evaluation process itself, but also regarding the accountability mechanisms used on the basis on the results of these evaluations.
Referencias
Agencia de Calidad de la Educación (2021), “Categoría de desempeño”, Santiago, Agencia de Calidad de la Educación, https://www.agenciaeducacion.cl/categoria-dedesempeno/, 08-11-2021.
Anstorp, M. (2010), Using Student Test Results for Accountability and Improvement: a Literature Review, Paris, OECD (OECD Education Working Paper; N° 54), https://doi.org/10.1787/5km4htwzbv30-en DOI: https://doi.org/10.1787/5km4htwzbv30-en
Assáel, J. y Pavez, J. (2008), “La construcción e implementación del sistema de evaluación del desempeño docente chileno: principales tensiones y desafíos”, en Revista Iberoamericana de Evaluación Educativa, Vol. 1 N° 2, pp. 42-55, https://doi.org/10.15366/riee2008.1.2.003 DOI: https://doi.org/10.15366/riee2008.1.2.003
Banco Mundial (2007), El diseño institucional de un sistema efectivo de aseguramiento de la calidad de la educación en Chile, Santiago, Banco Mundial. Oficina Regional para América Latina y el Caribe.
Bellei, C. (2013), “El estudio de la segregación socioeconómica y académica de la educación chilena”, en Estudios Pedagógicos, Vol. 39 N° 1, pp. 325-345, http://dx.doi.org/10.4067/S0718-07052013000100019 DOI: https://doi.org/10.4067/S0718-07052013000100019
Bernal, D.; Martínez, M.; Parra, A.; y Jiménez, J. (2015), “Investigación documental sobre calidad de la educación en instituciones educativas del contexto iberoamericano”, en Revista Entramados: Educación y Sociedad, Vol. 2 N° 2, pp. 107-124.
Bolívar, A. (2005), “¿Dónde situar los esfuerzos de mejora? Política educativa, escuela y aula”, en Educação e Sociedade, Vol. 26 N° 92, pp. 859-888, https://doi.org/10.1590/S0101-73302005000300008 DOI: https://doi.org/10.1590/S0101-73302005000300008
Bolívar, A (2015), “La autoevaluación en la construcción de capacidades de mejora de la escuela como Comunidad de Aprendizaje Profesional”, en Revista Portuguesa de Investigação Educacional, N° 14, pp. 9-40, https://orcid.org/0000-0001-8818-5799
Bolívar, A. y Segovia, D. (2006), “La investigación biográfica-narrativa en Iberoamérica: campos de desarrollo y estado actual”, en Forum: Qualitative Social. Revista Electrónica, Vol. 7 N° 4, http://jbposgrado.org/icuali/La%20investigacion%20biografica%20y%20narrativa%20en%20iberoamerica%20%20%20.pdf
Cáceres, P. (2003), “Análisis de contenido cualitativo: una alternativa metodológica alcanzable”, en Psicoperspectivas: Individuo y Sociedad, Vol. 2 N° 1, pp. 53-82, https://dx.doi.org/10.5027/psicoperspectivasVol2-Issue1-fulltext-3 DOI: https://doi.org/10.5027/psicoperspectivas-Vol2-Issue1-fulltext-3
Carrasco, C.; Luzón, A.; y López, V. (2019), “Identidad docente y políticas de accountability: el caso de Chile”, en Estudios Pedagógicos, Vol. 45 N° 2, pp. 121-139, https://doi.org/10.4067/S0718-07052019000200121 DOI: https://doi.org/10.4067/S0718-07052019000200121
Chile. Ministerio de Educación (2020), Estándares indicativos de desempeño para los establecimientos educacionales y sus sostenedores, Santiago, Ministerio de Educación. Unidad de Currículum y Evaluación, https://bibliotecadigital.mineduc.cl/handle/20.500.12365/14361
Consejo Científico de CLAD (1998), “Una Nueva Gestión Pública para América Latina”, Caracas, CLAD.
Council of the Great City Schools (2015), Student Testing in America’s Great City Schools: an Inventory and Preliminary Analysis, Washington, Council of the Great City Schools, https://eric.ed.gov/?id=ED569198
Creswell, J. y Plano Clark, V. (2011), Designing and Conducting Mixed Methods Research, Thousand Oaks, Sage.
Darling-Hammond, L. y Ascher, C. (1991), Creating Accountability in Big City School Systems, New York, ERIC; National Center for Restructuring Education, Schools and Teaching (Urban Diversity Series; N° 102).
De la Vega, L. (2015), “Educational Accountability: High and Low Points of Its Implementation and Challenges for Latin America”, en Estudios sobre Educación, Vol. 29, pp. 191-213, https://doi.org/10.15581/004.29.191-213 DOI: https://doi.org/10.15581/004.29.191-213
Dos Santos, F. y Flórez, M. T. (2019), “Internacionalización de los sistemas de evaluación. Evidencias de Brasil y Chile”, en Revista Ibero-Americana de Estudos em Educação, Vol. 14 N° Especial 3, pp. 1829-1846, https://doi.org/10.21723/riaee.v14iesp.3.12766 DOI: https://doi.org/10.21723/riaee.v14iesp.3.12766
Elmore, R. (2010), Mejorando la escuela desde la sala de clases, Santiago, Fundación Chile; Fundación CAP.
ERO (2016), School Evaluation Indicators, Wellington, Education Review Office, https://ero.govt.nz/how-ero-reviews/schoolskura-englishmedium/school-evaluationindicators
Espínola, V. y Claro, J. (2010), “El sistema nacional de aseguramiento de la calidad: una reforma basada en estándares”, en Ecos de la revolución pingüina. Avances, debates y silencios en la reforma educacional, C. Bellei, D. Contreras y J. Valenzuela (eds.), Santiago, Universidad de Chile, pp. 51-83.
Falabella, A. (2015), “El mercado escolar en Chile y el surgimiento de la nueva gestión pública: el tejido de la política entre la dictadura neoliberal y los gobiernos de la centroizquierda (1979 a 2009)”, en Educação y Sociedade, Vol. 36 N° 132, pp. 699-722. DOI: https://doi.org/10.1590/ES0101-73302015152420
Falabella, A. (2016), “¿Qué aseguran las políticas de aseguramiento de la calidad? Un estudio de casos en distintos contextos escolares”, en Estudios Pedagógicos, Vol. 42 N° 1, pp. 107-126, http://dx.doi.org/10.4067/S0718-07052016000100007. DOI: https://doi.org/10.4067/S0718-07052016000100007
Falabella, A. (2018), “Evaluaciones a gran escala. Una historia ecléctica”, en A 100 años de la Ley de Educación Primaria Obligatoria. La educación chilena en el pasado, presente y futuro, Alejandra Falabella y Juan Eduardo García Huidobro (eds.), Santiago, Universidad Alberto Hurtado. Facultad de Educación.
Falabella, A. y De la Vega, L. (2016), “Políticas de responsabilización por desempeño escolar: un debate a partir de la literatura internacional y el caso chileno”, en Estudios Pedagógicos, Vol. 42 N° 2, pp. 395-413, https://doi.org/10.4067/S0718-07052016000200023 DOI: https://doi.org/10.4067/S0718-07052016000200023
Ferrer, F. (2007), “Apuntes para la interpretación de los resultados PISA en cuatro países”, en Cuadernos de Pedagogía, N° 369, pp. 89-93.
Flórez, M. T. (2015), “Validity and Equity in Educational Measurement: the Case of SIMCE”, en Psicoperspectivas: Individuo y Sociedad, Vol. 14 N° 3, pp. 31-44, https://dx.doi.org/10.5027/psicoperspectivasVol14-Issue3-fulltext-618 DOI: https://doi.org/10.5027/psicoperspectivas-Vol14-Issue3-fulltext-618
Flórez, M.; Rozas, T.; Gysling, J.; y Olave, J. (2018), “The Consequences of Metrics for Social Justice: Tensions, Pending Issues, and Questions”, en Oxford Review of Education, Vol. 44 N° 5, pp. 651-667, https://doi.org/10.1080/03054985.2018.1500356 DOI: https://doi.org/10.1080/03054985.2018.1500356
Flyvbjerg, B. (2011), “Case Study”, en The Sage Handbook of Qualitative Research, Norman K. Denzin e Yvonna S. Lincoln (eds.), Thousand Oaks, Sage, pp. 301-316.
Gómez, A. y Diez, J. (2009), “Metodología comunicativa crítica. Transformaciones y cambios en el s. XXI”, en Teoría de la Educación: Educación y Cultura en la Sociedad de la Información, Vol. 10 N° 3, pp. 103-118, https://dot.org/10.14201/eks.3964 DOI: https://doi.org/10.14201/eks.3964
Gorgodze, S. y Chakhaia, L. (2021), “The Uses and Misuses of Centralised High Stakes Examinations-Assessment Policy and Practice in Georgia”, en Assessment in Education: Principles, Policy y Practice, Vol. 28 N° 3, pp. 322-342, https://doi.org/10.1080/0969594X.2021.1900775 DOI: https://doi.org/10.1080/0969594X.2021.1900775
Gysling, J. (2016), “The Historical Development of Educational Assessment in Chile: 1810-2014”, en Assessment in Education: Principles, Policy and Practice, Vol. 23 N° 1 (Educational Assessment in Latin America), https://doi.org/10.1080/0969594X.2015.1046812 DOI: https://doi.org/10.1080/0969594X.2015.1046812
Hamilton, L.; Stecher, B.; y Yuan, K. (2012), “Standards-Based Accountability in the United States: Lessons Learned and Future Directions”, en Educational Inquiry, Vol. 3 N° 2, pp.149-170. DOI: https://doi.org/10.3402/edui.v3i2.22025
Heffernan, A. (2018), “The Influence of School Context on School Improvement Policy Enactment: an Australian Case Study”, en International Journal of Leadership in Education, Vol. 21 N° 6, pp. 621-632, https://doi.org/10.1080/13603124.2018.1463461 DOI: https://doi.org/10.1080/13603124.2018.1463461
Hevia, F. y Vergara, S. (2019), ¿Accountability educativo o accountability social en educación? Semejanzas, tensiones y diferencias, Washington, Medición Independiente de Aprendizajes; Accountability Research Center (Accountability Working Paper; Nº 5), https://accountabilityresearch.org/publication/accountabilityeducativo-o-accountabilitysocial-en-educacionsemejanzas-tensiones-ydiferencias/
Hursh, D. (2008), High-Stake Testing and the Decline of Teaching and Learning. The Real Crisis in Education, Maryland, Rowman y Littlefield Publishers.
Inostroza, F. (2020), “Resistencias cotidianas a las políticas de rendición de cuentas o accountability: un estudio de casos de dos educadoras diferenciales en Chile”, en RIDE: Revista Iberoamericana para la Investigación y el Desarrollo Educativo, Vol. 10 N° 20, pp. 1-26, https://doi.org/10.23913/ride.v10i20.638 DOI: https://doi.org/10.23913/ride.v10i20.638
Joiko, S. (2012), “El cuasi-mercado educativo en Chile: desarrollo y consecuencias”, en Revista Electrónica Diálogos Educativos, Vol. 12 N° 23, pp. 148-174.
Kim, J. (2018), “School Accountability and StandardBased Education Reform: the Recall of Social Efficiency Movement and Scientific Management”, en International Journal of Educational Development, Vol. 60 (c), pp. 80-87, https://doi.org/10.1016/j.ijedudev.2017.11.003. DOI: https://doi.org/10.1016/j.ijedudev.2017.11.003
Lee, J. y Kang, C. (2019), “A Litmus Test of School Accountability Policy Effects in Korea: CrossValidating High-Stakes Test Results for Academic Excellence and Equity”, en Asia Pacific Journal of Education, Vol. 39 N° 4, pp. 517-531, https://doi.org/10.1080/02188791.2019.1598851 DOI: https://doi.org/10.1080/02188791.2019.1598851
Leiva, M. y Donoso, E. (2021), “Políticas educativas del sistema escolar chileno: privatización, políticas de mercado, subsidio a la demanda, libertad de elección y accountability”, en Dispositivos de accountability em perspectiva: limites e alternativas, Marilda Pasqual Schneider, Camila Regina Rostirola y Jaime Moreles Vázquez (orgs.), Curitiba, Appris. Loeb, S. y Strunk, K. (2007), “Accountability and Local Control: Response to Incentives with and without Authority over Resource Generation and Allocation”, en Education Finance and Policy, Vol. 2 N° 1, pp. 10-39. DOI: https://doi.org/10.1162/edfp.2007.2.1.10
Maier, U. (2010), “Accountability Policies and Teachers’ Acceptance and Usage of School Performance Feedback: a Comparative Study”, en School Effectiveness and School Improvement. An International Journal of Research, Policy and Practice, Vol. 21 N° 2, pp. 145- 165, https://doi.org/10.1080/09243450903354913 DOI: https://doi.org/10.1080/09243450903354913
Mancebo, M. y Romero, M. (2020), “Supervisión escolar y cambio educativo. Uruguay a la luz de la experiencia internacional (2005-2020)”, en Cuadernos del CLAEH, Segunda Serie, Año 40 Nº 113, https://www.researchgate.net/publication/352947745_Supervision_escolar_y_cambio_educativo_Uruguay_a_la_luz_de_la_experiencia_internacional_2005-2020_School_inspectors_and_educational_change_The_Uruguayan_case_in_light_of_the_international_experience_2 DOI: https://doi.org/10.29192/claeh.40.1.5
Maroy, C. y Pons, X. (2019), Accountability Policies in Education. A Comparative and Multilevel Analysis in France and Quebec, New York, Springer. DOI: https://doi.org/10.1007/978-3-030-01285-4
Mizala, A.; González, P.; Romaguera, P.; y Guzmán, A. (2000), Los maestros en Chile: carreras e incentivos, Washington, BID. DOI: https://doi.org/10.18235/0011849
Moller, J. (2009), “School Leadership in an Age of Accountability: Tensions between Managerial and Professional Accountability”, en Journal of Educational Change, Vol. 10 N° 1, pp. 37- 46. DOI: https://doi.org/10.1007/s10833-008-9078-6
Mourshed, M.; Chijioke, C.; y Barber, M. (2010), “How the World’s Most Improved School Systems Keep Getting Better”, en How the World’s Most Improved School Systems Keep Getting Better, M. Mourshed, C. Chijioke y M. Barber (eds.), London, McKinsey.
National Research Council (2011), “Incentives and Test-Based Accountability in Education”, en Committee on Incentives and Test-Based Accountability in Public Education, M. Hout y S. W. Elliott (eds.), Washington, The National Academies Press. Division of Behavioral and Social Sciences and Education. Board on Testing and Assessment.
New Zealand Qualification Authority (2021), “Understanding”, Wellington, NCEA; NZQA, https://www.nzqa.govt.nz/ncea/, 01-12-2021.
Nga Le, A. y Guo, H. (2021), “The Effect of Results-Based Intergovernmental Transfers in the Educational Accountability System: an Examination of the Race to the Top Program”, en Public Performance and Management Review, Vol. 44 N° 4, pp. 785-816, https://doi.org/10.1080/15309576.2021.1881802 DOI: https://doi.org/10.1080/15309576.2021.1881802
OCDE (2013), OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes, Paris, OCDE, https://www.oecd.org/education/school/oecdreviewonevaluationandassessmentframeworksforimprovingschooloutcomes.htm
OCDE (2016), Improving Schools in Scotland: an OECD Perspective, Paris, OCDE, https://www.oecd.org/education/school/improvingschools-in-scotland.htm
Ortiz, I. (2015), “Escuelas inclusivas en el contexto de segregación social del sistema escolar chileno”, en Calidad en la Educación, N° 42, pp. 93-122, http://dx.doi.org/10.4067/S0718-45652015000100004 DOI: https://doi.org/10.4067/S0718-45652015000100004
Parcerisa, L. y Verger, A. (2016), “Rendición de cuentas y política educativa: una revisión de la evidencia internacional y futuros retos para la investigación”, en Profesorado: Revista de Currículum y Formación de Profesorado, Vol. 20 N° 3, pp. 15-51.
Pascual, J. y Rodríguez, D. (2018), “Accountability en Chile. Un estudio sociocrítico sobre innovación educativa y control de la docencia”, en Revista Iberoamericana de Evaluación Educativa, Vol. 11 N° 2, pp. 133- 150, https://doi.org/10.15366/riee2018.11.2.007 DOI: https://doi.org/10.15366/riee2018.11.2.007
Popkewitz, T. (2009), El cosmopolitismo y la era de la reforma escolar: la ciencia, la educación y la construcción de sociedad mediante la construcción de la infancia, Madrid, Morata.
PREAL (2005), Cantidad sin calidad. Un informe del progreso educativo en América Latina, Buenos Aires, Programa de Promoción de la Reforma Educativa en América Latina.
Prudencio, J. (2016), “Propuesta de un modelo de gestión educativa relacional compleja”, en Revista Acta Nova, Vol. 7 N° 3, pp. 352-366.
Sahlberg, P. (2010), “Rethinking Accountability in a Knowledge Society”, en Second International Handbook of Educational Change, Andy Hargreaves, Ann Lieberman, Michael Fullan y David Hopkins (eds.), London, Springer.
Sahlberg, P. (2015), “Finnish Schools and the Global Education Reform Movement”, en Flip the System. Changing Education from the Ground up, Jelmer Evers y René Kneyber (eds.), London, Routledge. DOI: https://doi.org/10.4324/9781315678573-19
Saw, G.; Schneider, B.; Frank, K.; y Chen, I. (2017), “The Impact of Being Labeled as a Persistently Lowest Achieving School: Regression Discontinuity Evidence on Consequential School Labeling”, en American Journal of Education, Vol. 123 N° 4, pp. 585-613. DOI: https://doi.org/10.1086/692665
Suto, I. y Oates, T. (2021), “HighStakes Testing after Basic Secondary Education: How and Why Is it Done in HighPerforming Education Systems?”, Cambridge, Cambridge Assessment (Research Report).
Teaching Council of Aotearoa New Zealand (2020), Annual Report 2020, Wellington, Teaching Council of Aotearoa New Zealand, https://teachingcouncil.nz/assets/Files/Publications/TCANZ-Annual-Report-2020.pdf
The Scottish Government (2019), National Standardised Assessments in Scotland: Purpose and Use, Edinburgh, The Scottish Government (Collection: Scottish National Standardised Assessments), https://www.gov.scot/publications/scottish-nationalstandardised-assessmentspurpose-and-use/
Thrupp, M. (2018), The Search for Better Educational Standards. A Cautionary Tale, London, Springer. DOI: https://doi.org/10.1007/978-3-319-61959-0
Verger, A. y Normand, R. (2015), “Nueva gestión pública y educación: elementos teóricos y conceptuales para el estudio de un modelo de reforma educativa global”, en Educação y Sociedade, Vol. 36 N° 132, pp. 599-622, https://doi.org/10.1590/ES0101-73302015152799 DOI: https://doi.org/10.1590/ES0101-73302015152799
Yin, R. (2014), Case Study Research. Design and Methods, Los Angeles, Sage. 5. ed.
Zancajo, A.; Bonal, X; y Verger, A. (2014), “Mercados educativos y segmentación de la oferta escolar: efectos sobre las desigualdades educativas en Chile”, en Revista Tempora, N° 17, octubre, pp. 11-30, https://riull.ull.es/xmlui/bitstream/handle/915/4734/TM_17_%282014%29_01.pdf?sequence=1&isAllowed=y
Cómo citar
Licencia
Derechos de autor 2024 Revista del CLAD Reforma y Democracia
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los contenidos de la revista se distribuyen bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional (CC BY-NC-4.0), que permite a los usuarios copiar, usar, difundir, transmitir y exponer públicamente los contenidos, siempre y cuando se cite la autoría (https://creativecommons.org/licenses/by-nc/4.0).