Principales detonantes y funciones percibidas de la evaluación de evaluabilidad de las políticas públicas en la actualidad
Main Triggers and Perceived Functions of Evaluability Assessment of Public Policies Today
Abstract (en)
This article presents the results of a research on evaluability assessment. It has two main purposes. On the one hand, to identify the triggers or central reasons why evaluability assessment of public policies is currently being implemented. And, on the other hand, to glimpse which are its most relevant purposes in terms of importance and prevalence. The sense is that despite the interest that evaluability assessment currently arouses at the international level, multiple conceptual and application misunderstandings about this methodology are evident. Evaluability assessment is one of the most widely recognized types of evaluation. It began to be applied in the last quarter of the 20th century as a response to the problems encountered in experimental evaluations. In its beginnings, it was used as a pre-evaluation tool to discern between evaluable and non-evaluable public programs, as well as to assess whether outcome evaluations, after evaluability evaluations, were useful and represented a good decision to respond to the information needs of governments. However, this approach reduced evaluability to an overly rational and limited dimension, which quickly led to its application falling into disuse. Based on new approaches to this type of evaluation that have emerged in this century, this article provides a broader and updated definition of its concept. The article concludes by stating the value of evaluability as a tool for promoting a greater culture and institutionalization of public policy evaluation in general. It also concludes that evaluability today is fundamentally an instrument aimed at promoting public evaluation capacities and systems, as opposed to the more limited role it had been given until now identifying and proposing improvements in the design and availability of data on public interventions, purposes which are now relegated to a secondary role.
Abstract (es)
Este artículo expone los resultados de una investigación sobre evaluación de evaluabilidad. Presenta dos propósitos principales. De una parte, identificar los detonantes o motivos centrales por los cuales se pone en marcha en la actualidad una evaluación de evaluabilidad de las políticas públicas. Y, de otra, vislumbrar cuáles son sus finalidades más relevantes en términos de importancia y prevalencia. El sentido es que, pese al interés que la evaluación de evaluabilidad suscita hoy día en el ámbito internacional, se evidencian múltiples malentendidos conceptuales y de aplicación en torno a esta metodología. La evaluación de evaluabilidad representa uno de los tipos de evaluación más reconocidos. Se comenzó a aplicar en el último cuarto del pasado siglo XX como respuesta a los problemas que se habían encontrado las evaluaciones experimentales. En sus inicios, se utilizó como herramienta de preevaluación para discernir entre programas públicos evaluables y no evaluables, así como para valorar si las evaluaciones de resultados, posteriores a las de evaluabilidad eran útiles y representaban una buena decisión para dar respuesta a las necesidades de información de los gobiernos. Sin embargo, este planteamiento llevó la evaluabilidad a una dimensión demasiado racional y limitada, lo que hizo que su aplicación cayera rápidamente en desuso. A partir de nuevos enfoques sobre este tipo de evaluación surgidos en este siglo, en el presente artículo se alcanza una definición más amplia y actualizada de su concepto. El trabajo concluye constatando el valor de la evaluabilidad como herramienta impulsora de una mayor cultura e institucionalización de la evaluación de las políticas públicas en general. Asimismo, concluye que la evaluabilidad hoy día es, fundamentalmente, un instrumento dirigido a promover capacidades y sistemas públicos de evaluación, frente al rol más limitado que se le había otorgado hasta ahora de identificar y proponer mejoras en torno del diseño y la disponibilidad de datos de las intervenciones públicas, finalidades estas que se ven relegadas a un segundo plano.
References
Alonso-Morillejo, E. (2003). La evaluabilidad de los programas de formación en prevención de riesgos laborales [Tesis de Doctorado, Universidad de Almería]. Repositorio institucional, Universidad de Almería.
Alonso, D., Kataryniuk, I., Moreno, C., & Pérez, J. (2022). El programa Next Generation EU: características y claves para su éxito. Información Comercial Española, ICE, Revista de Economía, (924), 77-98. DOI: https://doi.org/10.32796/ice.2022.924.7356
Aguilar, L. (2016). Las transformaciones posburocráticas, posgubernamentales y transterritoriales del Estado y del gobierno. Sociología, (89), 9-43.
Baizerman, M., Compton, D., & Stockdill, S. (2005). Capacity building. In M. Matthsion (Ed.), Encyclopedia of evaluation (pp. 50-52). Sage.
Bañón, R. (2002). La evaluación de la acción pública como responsabilidad democrática. Ediciones Diaz de Santos.
Basile, K., Lang, K., Bartenfeld, T., & Clinton-Sherrod, M. (2005). Report from the CDC: Evaluability assessment of the rape prevention and education program: summary of findings and recommendations. Journal of Women’s Health, 14(3), 201-207. DOI: https://doi.org/10.1089/jwh.2005.14.201
Bustelo, M. (2001). La evaluación de las políticas públicas de igualdad de género de los gobiernos central y autonómicos en España: 1995-1999 [Tesis de Doctorado, Universidad Complutense de Madrid]. Repositorio institucional, Universidad Complutense de Madrid.
Cardozo, M. (2012). Evaluación y metaevaluación en las políticas y programas públicos. Universidad Autónoma Metropolitana.
Casero-Cepeda, J. F., Catalá-Pérez, D., & Cano-Orellana, A. (2022). Design and Application of a Citizen Participation Tool to Improve Public Management of Drought Situations. Land, 11(10), 1802. https://doi.org/10.3390/land11101802 DOI: https://doi.org/10.3390/land11101802
Casilla, C., & Macía, M. (2022). La Ley 27/2022, de institucionalización de la evaluación en la AGE como elemento de refuerzo del sistema público de evaluación en España. Información Comercial Española, ICE, Revista de Economía, (931), 9-24.
Craig, P., & Campbell, M. (2015). Evaluability Assessment: a systematic approach to deciding whether and how to evaluate programmes and policies. What Works Scotland.
Dahler-Larsen, P. (2007). ¿Debemos evaluarlo todo? O de la estimación de la evaluabilidad a la cultura de la evaluación. Información Comercial Española, ICE, Revista de Economía, (836), 93-104.
Dahler-Larsen, P. (2013). Evaluation as a situational or a universal good? Why evaluability assessment for evaluation systems is a good idea, what it might look like in practice, and why it is not fashionable. Scandinavian Journal of Public Administration, 16(3), 29-46. DOI: https://doi.org/10.58235/sjpa.v16i3.16249
Davies, R. (2013). Planning evaluability assessments: a synthesis of the literature with recommendations (Working Paper 40). DFID. https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/248656/wp40-planning-eval-assessments.pdf
Davies, R., & Payne, L. (2015). Evaluability Assessments: Reflections on a review of the literature. Evaluation, 21(2), 216-231. DOI: https://doi.org/10.1177/1356389015577465
Del Amo, J., Martín, M., & Pérez, J. (2023). La evaluación de las políticas públicas desde una perspectiva macroeconómica en el contexto europeo. Ekonomiaz Revista Vasca de Economía, 103, 283-298.
Denhardt, R., & Denhardt, J. (2000). The new public service: serving rather than steering. Public Administration Review, 60(6), 549-559. DOI: https://doi.org/10.1111/0033-3352.00117
European Commission. (2013). Evalsed. The resource for the evaluation of Socio-Economic Development. European Commission.
Feinstein, O. (2012). Evaluación y gestión pública innovadora. Ekonomiaz Revista Vasca de Economía, 80, 138-155.
García, E. (2003). La evaluación de programas de reforma educativa en España: tres estudios de caso desde un enfoque de metaevaluación [Tesis de Doctorado, Universidad Complutense de Madrid]. Repositorio institucional, Universidad Complutense de Madrid.
Garde, J. (2004). La evaluación de políticas públicas y su institucionalización en España. Gestión y Análisis de Políticas Públicas, (30-31), 11-28. DOI: https://doi.org/10.24965/gapp.vi30-31.371
Garde, J. (2006). La evaluación de políticas públicas y su institucionalización en España. Ministerio de Administraciones Públicas.
Garde, J. (2023). La experiencia AEVAL en España (2005-2017). Gestión y Análisis y de Políticas Públicas, (32), 96-115. DOI: https://doi.org/10.24965/gapp.11000
Gilchrist, J. (2014). Evaluability Assessment. Developing a process to determine if a program is ready and able to be evaluated. Simon Fraser University.
González, M., & Barral, C. (2023). La evaluabilidad en la Ley 27/2022. Una propuesta metodológica para el análisis previo de evaluabilidad. Información Comercial Española, (931). https://doi.org/10.32796/ice.2023.931.7601 DOI: https://doi.org/10.32796/ice.2023.931.7601
Gracia-Pérez, M. L. (2023). Índice de evaluabilidad: diseño e implementación en un programa de capacitación continua en atención médica. Endless: International Journal of Future Studies, 6(2), 104-122.
Grau, N., & Ospina, S. (2008). Fortalecimiento de los sistemas de Monitoreo y Evaluación (M&E) en América Latina: informe comparativo de 12 países. Banco Mundial.
Izquierdo, B. (2008). De la evaluación clásica a la evaluación pluralista. Criterios para clasificar los distintos tipos de evaluación. Revista de Metodología de Ciencias Sociales, (16), 115-134. DOI: https://doi.org/10.5944/empiria.16.2008.1392
Jung, S., & Schubert, J. (1983). Evaluability assessment: A two-year retrospective. Educational Evaluation and Policy Analysis, 5(4), 435-444. DOI: https://doi.org/10.3102/01623737005004435
Lam, S., & Skinner, K. (2021). The Use of Evaluability Assessments in Improving Future Evaluations: A Scoping Review of 10 Years of Literature (2008–2018). American Journal of Evaluation, 42(4), 523-540. DOI: https://doi.org/10.1177/1098214020936769
Las Naves. (2021). Barómetro de la Evaluación de las Políticas Públicas en España. Laboratori d’Análisi i Avaluació de Polítiques Públiques de Las Naves, Avalua.Lab, Ayuntamiento de Valencia.
Leviton, L., Khan, L., Rog, D., Dawkins, N., & Cotton, D. (2010). Evaluability Assessment to Improve Public Health Policies, Programs, and Practices. Annual Review of Public Health, (31), 213-233. DOI: https://doi.org/10.1146/annurev.publhealth.012809.103625
Longhurst, R., Wichmand, P., & Perrin, B. (2016). Building Evaluability Assessments into Institutional Monitoring and Evaluation (M&E) Frameworks. CDI Practice Paper, (17), 1-8.
Merino, M. (2007). La evaluabilidad: de instrumento de gestión a herramienta estratégica en la evaluación de políticas públicas. Ministerio de Administraciones Públicas, Agencia Estatal de Evaluación de Políticas Públicas y Calidad de los Servicios.
OECD. (2002). Glossary of Key Terms in Evaluation and Results Based Management. OECD.
OECD. (2010). Quality Standards for Development Evaluation. OECD. DOI: https://doi.org/10.1787/9789264083905-en
OECD. (2019). Better Criteria for Better Evaluation Revised Evaluation Criteria Definitions and Principles for Use. OECD/DAC Network on Development Evaluation.
OECD. (2020). Building Capacity for Evidence-Informed Policymaking: Lessons from Country Experiences. OCDE Publishing.
Pérez, G., & Maldonado, C. (2015). Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina. CIDE.
Picciotto, R. (2005). The Evaluation of Policy Coherence for Development. Evaluation, 11(3), 311-330. DOI: https://doi.org/10.1177/1356389005058479
Rist, R., & Stame, N. (2006). From Studies to Streams. Managing Evaluative Systems. Transaction Publishers.
Rogers, P. (2014). La teoría del cambio, Síntesis metodológicas: evaluación de impacto Nº 2. Centro de Investigaciones de UNICEF.
Rutman, L. (1980). Planning Useful Evaluations: Evaluability Assessment. Sage.
Smith, M. (1989). Evaluability Assessment: A Practical Approach. Kluwer Academic Publishers. DOI: https://doi.org/10.1007/978-94-015-7827-1
Smith, M. (2005). Evaluability assessment. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 139-141). Sage.
Stockmann, R., Meyer, W., & Taube, L. (2020). The Institutionalisation of Evaluation in Europe. Palgrave Macmillan. DOI: https://doi.org/10.1007/978-3-030-32284-7
Thurston, W., & Potvin, L. (2003). Evaluability assessment: a tool for incorporating evaluation in social change programmes. Evaluation, 9(4), 453-469. DOI: https://doi.org/10.1177/1356389003094006
Trevisan, M., & Huang, Y. (2002). Evaluability assessment: A primer. Practical Assessment, Research and Evaluation, 8(20).
Trevisan, M. (2007). Evaluability assessment from 1986 to 2006. American Journal of Evaluation, 28(3), 290-303. DOI: https://doi.org/10.1177/1098214007304589
Trevisan, M., & Walser, T. (2015). Evaluability Assessment: Improving Evaluation Quality and Use. Sage. DOI: https://doi.org/10.4135/9781483384634
United Kingdom Government. (2020). Magenta Book. Central Government guidance on evaluation. HM Treasury.
UNEG. (2016). Norms and Standards for Evaluation. United Nations Evaluation Group.
Vedung, E. (1997). Evaluación de Políticas Públicas y Programas. Ministerio de Trabajo y Asuntos Sociales, Instituto Nacional de Servicios Sociales.
Wholey, J. (1979). Evaluation: Promise and performance. Urban Institute.
Wholey, J., Hatry, H., & Newcomer, K. (2010). Handbook of practical program evaluation. Jossey Bass Wiley.
How to Cite
License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Los contenidos de la revista se distribuyen bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional (CC BY-NC-4.0), que permite a los usuarios copiar, usar, difundir, transmitir y exponer públicamente los contenidos, siempre y cuando se cite la autoría (https://creativecommons.org/licenses/by-nc/4.0).