Evaluation of Social Programmes: a Multicriteria Approach
Evaluación de programas sociales: un enfoque multicriterio
Abstract (en)
The purpose of this work is to design a methodological proposal in order to measure the outcomes of social programs and projects, to support its management and to evaluate its outcomes. To accomplish this, the methodology integrated the logical framework with the multiple criteria decision tool Analytic Hierarchy Process (AHP) and, later, it is applied to a relevant social program called “Country Service Program” in Chile. The results show the usefulness of developing an integrated model that provides an indicator that synthesizes the outcomes of a social program as well as the results of the logical framework components. We propose the design of a valid methodology that supports focusing resources on effective social programs implementation, as well as, it offers some advantages related with obtaining prioritized components and the strengths and weaknesses of a social program. Finally, this study highlights the relative dearth of qualitative-quantitative assessments for social programs results. The proposed methodology will encourage stakeholders to develop new empirically supported measures in order to evaluate outcomes. Future research could apply this quantitative method in different programs, samples and contexts.
Abstract (es)
El propósito de este trabajo es exponer una propuesta metodológica para medir el logro de programas y proyectos sociales, apoyar su gestión y evaluar sus resultados. Para ello, se integró el marco lógico con la metodología multicriterio “Proceso Analítico Jerárquico” y luego se aplicó a un programa social de prestigio denominado “Programa Servicio País” en Chile. Los resultados muestran la utilidad de desarrollar un modelo integrado que permite obtener un indicador que sintetiza el logro del programa, así como el logro y peso de cada componente del marco lógico. Se propone el diseño de una metodología válida que apoye a los tomadores de decisión en el proceso de focalización de los recursos en la etapa de implementación de un proyecto social. Esta herramienta ofrece una serie de ventajas, entre ellas, la obtención de prioridades en los componentes y la identificación de fortalezas y debilidades en la evaluación de resultados de un programa social. Finalmente, esta investigación pone de manifiesto la escasez relativa de técnicas cuantitativas para evaluar los resultados de un programa social mediante un índice de logro por cada dimensión considerada. La metodología propuesta motivará a los tomadores de decisión a desarrollar nuevas mediciones útiles para el análisis de los logros. Futuras investigaciones pueden aplicar esta herramienta, de carácter cuantitativo, para establecer soluciones frente a diversas problemáticas sociales, con distintas muestras y en diferentes contextos.
References
Ackerman, John (2005), “Social Accountability for the Public Sector: a Conceptual Discussion”, Washington, World Bank (Social Development Papers, Participation and Civic Engagement; Nº 82), http://siteresources.worldbank.org/INTPCENG/2145741116506074750/20542263/FINALAckerman.pdf, 20-06-2014.
Aldunate, Eduardo y Córdoba, Julio (2011), “Formulación de programas con la metodología de marco lógico”, Santiago, CEPAL (Serie Manuales; Nº 68), http://unpan1.un.org/intradoc/groups/public/documents/uneclac/unpan045744.pdf, 11-06-2014.
Arriagada, Ricardo (2002), “Diseño de un sistema de medición de desempeño para evaluar la gestión municipal”, Santiago, CEPAL (Serie Manuales CEPAL; Nº 20), http://repositorio.cepal.org/bitstream/handle/11362/5582/S0260445_es.pdf?sequence=1, 01-07-2014.
Banco Mundial (2005), The Logframe Handbook: a Logical Framework Approach to Project Cycle Management, Washington, Banco Mundial, http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2005/06/07/000160016_20050607122225/Rendered/PDF/31240b0LFhandbook.pdf, 04-08-2014.
Blakewell, Oliver y Garbutt, Anne (2005), The Use and Abuse of the Logical Framework Approach, Washington, BID, http://www.intrac.org/data/files/resources/518/The-Use-and-Abuse-of-the-Logical-Framework-Approach.pdf, 04-08-2014.
Comisión Europea (1993), Project Cycle Management: Integrated Approach and Logical Framework, Brussels, Commission of the European Communities. Directorate General for Development. Evaluation Unit.
Comisión Europea (2001), Manual de gestión del ciclo de proyecto, s.l., Oficina de Cooperación EuropeAid. Unidad de Evaluación, http://www.centrourbal.com/sicat2/documentos/36_20065171532_PU-mp1-spa.pdf, 25-08-2014.
Consejo Científico del CLAD (1998), “Una nueva gestión pública para América Latina: documento del CLAD”, Caracas, CLAD, http://old.clad.org/documentos/declaraciones/una-nueva-gestion-publica-para-america-latina/view, 25-08-2014.
DIPRES (2009), “Notas técnicas”, Santiago, Ministerio de Hacienda. Dirección de Presupuestos. Unidad de Control de Gestión, http://www.dipres.gov.cl/572/articles-22557_doc_pdf.pdf, 06-07-2014.
Durlak, Joseph A. (2010), “The Importance of Doing Well in Whatever You Do: a Commentary on the Special Section, ‘Implementation Research in Early Childhood Education’”, en Early Childhood Research Quarterly, Vol. 25 Nº 3, pp. 348-357. DOI: https://doi.org/10.1016/j.ecresq.2010.03.003
Fernández, A. (2004), Investigación y técnicas de mercado, Madrid, Editorial ESIC.
Fujita, Nobuko (ed.) (2010), Beyond Logframe; Using Systems Concepts in Evaluation, Tokio, Foundation for Advanced Studies on International Development; International Development Research Institute (Issues and Prospects of Evaluations for International Development; Nº IV).
García López, Roberto y García Moreno, Mauricio (2010), La gestión para resultados en el desarrollo: avances y desafíos en América Latina y el Caribe, Washington, BID.
Gasper, Des (2000), “Evaluating the ‘Logical Framework Approach’ towards Learning-Oriented Development Evaluation”, en Public Administration and Development, Vol. 20 Nº 1, pp. 17-28. DOI: https://doi.org/10.1002/1099-162X(200002)20:1<17::AID-PAD89>3.0.CO;2-5
Güell, Pedro; Frei, Raimundo; y Palestini, Stefano (2009), “El enfoque de las prácticas: un aporte a la teoría del desarrollo”, en Polis: Revista de la Universidad Bolivariana, Vol. 8 Nº 23, pp. 63-94. DOI: https://doi.org/10.4067/S0718-65682009000100004
Jackson, Bill (1997), Designing Projects and Project Evaluations Using the Logical Framework Approach, Gland, The World Conservation Unit Monitoring and Evaluation Initiative.
Jaraís, Erika y Barreiro, Xosé (2011), “Consistencias e inconsistencias del marco lógico”, ponencia presentada en el X Congreso de la Asociación Española de Administración y Ciencia Política, Murcia, España, septiembre.
Kazi, Mansoor; Pagkos, Brian; y Milch, Heidi (2011), “Realist Evaluation in Wraparound: a New Approach in Social Work Evidence-Based Practice”, en Research on Social Work Practice, Vol. 21 Nº 1, pp. 57-64. DOI: https://doi.org/10.1177/1049731510371345
Kelly, Michael y Moore, Tessa (2011), “Methodological, Theoretical, Infrastructural, and Design Issues in Conducting Good Outcome Studies”, en Research on Social Work Practice, Vol. 21 Nº 6, pp. 644-653. DOI: https://doi.org/10.1177/1049731511405070
Lorenz, Walter (2012), “Hermeneutics and Accountable Practice: Lessons from the History of Social Work”, en Research on Social Work Practice, Vol. 22 Nº 5, pp. 492-498. DOI: https://doi.org/10.1177/1049731512444167
McLean, Diana (1998), “The Logical Framework in Research Planning and Evaluation”, The Hague, International Service for National Agricultural Research (Working Paper; Nº 12).
Okech, David (2012), “Evaluating the Effects of Child Savings Accounts Program Participation on Parental Well-Being”, en Research on Social Work Practice, Vol. 22 Nº 4, pp. 357-366. DOI: https://doi.org/10.1177/1049731512440185
Olavarría, Mauricio (2012), “La evaluación de los programas en Chile: análisis de una muestra de programas públicos evaluados”, en Revista del CLAD Reforma y Democracia, Nº 54, octubre, pp. 143-178.
Ortegón, Edgar; Pacheco, Juan; y Prieto, Adriana (2005), “Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas”, Santiago, ILPES, CEPAL (Serie Manuales; Nº 42).
PNUD (2002), Manual de seguimiento y evaluación de resultados, New York, PNUD. Oficina de Evaluación.
PNUD (2011), “Hacia un enfoque de gestión por resultados en el sector público: la experiencia de Trinidad y Tobago”, Panamá, PNUD (Serie Compartir Conocimiento; Vol. XI), http://compartir.undp-regionalcentrelac.org/pdf/es/13.pdf, 09-09-2014.
Porporato, Marcela y García, Norberto (2011), “Sistemas de control de gestión: un estudio exploratorio de su efecto sobre el desempeño organizacional”, en Academia: Revista Latinoamericana de Administración, Nº 47, pp. 61-77.
Ramió, Carles y Salvador, Miquel (2005), Instituciones y nueva gestión pública en América Latina, Barcelona, Fundación CIDOB.
Saaty, Thomas (1997), Toma de decisiones para líderes: el proceso analítico jerárquico, la toma de decisiones en un mundo complejo, Pittsburgh, RWS Publications.
Sartorius, Rolf (1991), “The Logical Framework Approach to Project Design and Management”, en American Journal of Evaluation, Vol. 12 Nº 2, pp. 139-147. DOI: https://doi.org/10.1177/109821409101200204
Sato, Yuriko (2005), “A Case of Policy Evaluation Utilizing a Logical Framework: Evaluation of Japan’s Foreign Student Policy towards Thailand”, en Evaluation, Vol. 11 Nº 3, pp. 351-378. DOI: https://doi.org/10.1177/1356389005058483
Savaya, Riki y Waysman, Mark (2005), “The Logic Model”, en Administration in Social Work, Vol. 29 Nº 2, pp. 85-103. DOI: https://doi.org/10.1300/J147v29n02_06
Serra, Albert …[et al] (2007), Modelo abierto de gestión para resultados en el sector público, Caracas, CLAD, BID.
Shaw, Ian (2012), “The Positive Contributions of Quantitative Methodology to Social Work Research: a View from the Sidelines”, en Research on Social Work Practice, Vol. 22 Nº 2, pp. 129-134. DOI: https://doi.org/10.1177/1049731511420171
How to Cite
License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Los contenidos de la revista se distribuyen bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional (CC BY-NC-4.0), que permite a los usuarios copiar, usar, difundir, transmitir y exponer públicamente los contenidos, siempre y cuando se cite la autoría (https://creativecommons.org/licenses/by-nc/4.0).