El reto de evaluar los Presupuestos Participativos: revisión de modelos y planteamiento de una propuesta sintética
The Challenge of Evaluating Participatory Budgets: Review of Models and Approach to a Synthetic Proposal
Abstract (en)
Participatory budgets (PB) have become the most widespread mechanism in the framework of the construction of participatory democracies on a planetary scale. At the same time, although at a slower pace, there has been a proliferation of initiatives that seek to gauge the democratic quality of these public budgetary management processes. The diversity of experiences, the heterogeneity of socio-political contexts in which they are implemented, and their own evolution have generated a wide but confusing analytical repertoire for the evaluative practice of participatory budgets. Consequently, to adequately evaluate this mechanism of democratic deepening constitutes a challenge, in addition to an imperative for administrations and analysts. The ultimate aim of this paper is to formulate a proposal for a synthetic evaluation model that gathers and organizes this repertoire of works. The method involved a review of the existing evaluative models in the scientific literature by identifying the analytical axes included in each of the proposals. Based on this analysis, a proposal is formulated that integrates the results of the review and includes other emerging categories of analysis. The proposed model includes 105 indicators grouped into 35 areas, 15 criteria and 4 dimensions. The results provide significant innovations in two directions. On the one hand, in terms of the internal structure of the proposed model, a complete methodological sequence is incorporated that overcomes the fragmentation in terms of the levels of categorization of the previous inputs analyzed. On the other hand, in terms of its content, the model includes an area related to the deployment and development of the participatory process, which allows the incorporation of contingent variables that contribute to registering the dynamism of these experiences. Consequently, the indicators included in the model, in addition to being relevant, measurable and easy to apply, are sensitive to capture those aspects that can contribute to plan how to face the limitations detected and strengthen the potential of the different processes that are implemented. This model aims to contribute to the design of systematic evaluation procedures and could be used to evaluate future experiences.
Abstract (es)
Los presupuestos participativos (PP) se han convertido en el mecanismo más difundido en el marco de la construcción de democracias participativas a escala planetaria. En paralelo, y aunque a un ritmo menor, han proliferado las iniciativas que persiguen calibrar la calidad democrática de dichos procesos de gestión pública presupuestaria. La diversidad de experiencias, la heterogeneidad de contextos sociopolíticos en los que se implementan y su propia evolución ha generado que la práctica evaluativa de los presupuestos participativos cuente con un amplio, pero confuso repertorio analítico. En consecuencia, evaluar adecuadamente este mecanismo de profundización democrática constituye, además de un imperativo para administraciones y analistas, todo un reto. El objeto último de este trabajo es formular una propuesta de modelo sintético de evaluación que recoja y ordene este repertorio de trabajos. El método supuso la revisión de los modelos evaluativos existentes en la literatura científica mediante la identificación de los ejes analíticos incluidos en cada una de las propuestas. A partir de dicho análisis, se formula una propuesta que integra los resultados de la revisión y que incluye otras categorías emergentes de análisis. El modelo propuesto recoge 105 indicadores agrupados en 35 ámbitos, 15 criterios y 4 dimensiones. Los resultados aportan novedades significativas en dos direcciones. Por un lado, en cuanto a la estructura interna del modelo propuesto, se incorpora una secuencia metodológica completa que permite superar la fragmentación en cuanto a los niveles de categorización de los insumos previos analizados. Por otro, en cuanto al contenido del mismo, se incluye en el modelo un ámbito relativo al despliegue y desarrollo del proceso participativo, lo que permite incorporar variables contingentes que contribuyen a registrar el dinamismo de estas experiencias. En consecuencia, los indicadores que se incluyen en el modelo, además de relevantes, medibles y de sencilla aplicación, son sensibles a captar aquellos aspectos que pueden contribuir a planear cómo enfrentar las limitaciones detectadas y fortalecer las potencialidades de los distintos procesos que se ponen en marcha. Este modelo persigue contribuir a avanzar en el diseño de procedimientos sistemáticos de evaluación y podría ser utilizado para evaluar futuras experiencias.
References
Abelson, Julia; Forest, Pierre-Gerlier; Eyles, John; Smith, Patricia; Martin, Elisabeth; y Gauvin, François-Pierre (2003), “Deliberations about Deliberative Methods: Issues in the Design and Evaluation of Public Participation Processes”, en Social Science and Medicine, Vol. 57 N° 2, July, pp. 239-251.
Allegretti, Giovanni; García Leiva, Patricia; y Paño Yánez, Pablo (2011), Viajando por los presupuestos participativos: buenas prácticas, obstáculos y aprendizajes, Málaga, Centro de Ediciones de la Diputación de Málaga.
Allegretti, Giovanni y Lopes Alves, Mariana (2011), “Evaluar a los presupuestos participativos: un ejercicio dinámico”, en Democracia participativa y presupuestos participativos: acercamiento y profundización sobre el debate actual, Andrés Falck y Pablo Paño Yáñez (eds.), Málaga, Parlocal.
Anduiza Perea, Eva y Maya, Sergi (2005), La qualitat en la participació: una proposta d’indicadors, Barcelona, Fundació Jaume Bofill.
Baiocchi, Gianpaolo y Ganuza, Ernesto (2016), Popular Democracy: the Paradox of Participation, Stanford, Stanford University Press.
Barbosa, Jorge Winston; Barbosa-Herrera, Juan Carlos; y Rodríguez Villabona, Margarita (2013), “Revisión y análisis documental para estado del arte: una propuesta metodológica desde el contexto de la sistematización de experiencias educativas”, en Bibliotecológica: Archivonomía, Bibliotecología e Información, Vol. 27 Nº 139, pp. 83-105.
Blanco, Ismael (2009), “Gobernanza urbana y políticas de regeneración: el caso de Barcelona”, en Revista Española de Ciencia Política, Nº 20, pp. 125-146.
Blanco Ismael y Gomá, Ricard (2002), Gobiernos locales y redes participativas, Barcelona, Ariel.
Brugué, Joaquim (2018), “Los ritmos y los tumbos de la participación ciudadana”, en Revista Cuadernos Manuel Giménez Abad, Nº 16, pp. 154-165.
Cabannes, Yves (2004), “Presupuestos participativos: marco conceptual y análisis de su contribución a la gobernanza urbana y a los objetivos de desarrollo del milenio. Documento conceptual”, Quito, Campaña Global para la Gobernanza Urbana, Programa de Naciones Unidas para los Asentamientos Humanos.
Calvo, Manuel; Ger, Alicia; Gómez-Quintero, Juan David; Martínez, Mariana; y Tomás, Eva (2017), Evaluación de los presupuestos participativos del Ayuntamiento de Zaragoza, Zaragoza, Ayuntamiento de Zaragoza. Oficina Técnica de Participación, Transparencia y Gobierno Abierto.
Conley, Alexander y Moote, Margaret (2003), “Evaluating Collaborative Natural Resource Management”, en Society and Natural Resources, Vol. 16 Nº 5, pp. 371-386.
Costa, Danielle Martins Duarte (2010), “Vinte anos de orçamento participativo: análise das experiências em municípios brasileiros”, en Cadernos Gestão Pública e Cidadania, Vol. 15 Nº 56, pp. 8-28.
Da Rocha Resende, Paulo Edgar (2012), “Cartografías de la participación. Entre los límites del liberalismo y de la democracia en Barcelona y São Paulo”, Barcelona, Universitat Autónoma de Barcelona. Tesis Doctoral.
Dahl, Robert (2002), La poliarquía: participación y oposición, Madrid, Tecnos.
Dias, Nelson (org.) (2018), Hope for Democracy: 30 Years of Participatory Budgeting Worldwide, Faro, Epopeia Records; Oficina, https://www.oficina.org.pt/uploads/7/0/6/1/70619115/hope_for_democracy_-_digital.pdf
Dias, Nelson y Júlio, Simone (2018), “The Next Thirty Years of Participatory Budgeting in the World Start Today”, en Hope for Democracy. 30 Years of Participatory Budgeting Worlwide, Nelson Dias (org.), Faro, Epopeia Records; Oficina, pp. 15-34, https://www.oficina.org.pt/hopefordemocracy.html
Dulzaides Iglesias, María Elinor y Molina Gómez, Ana María (2004), “Análisis documental y de información: dos componentes de un mismo proceso”, en ACIMED, Vol. 12 N° 2, marzo-abril, pp. 1-4, http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352004000200011&lng=es&tlng=es, 22-09-2020.
Fedozzi, Luciano Joel y Furtado, Adriana (2009), “Monitorizando el presupuesto participativo de Porto Alegre: una propuesta ilustrativa sobre indicadores de evaluación para procesos participativos”, en Participación y calidad democrática. Evaluando las nuevas formas de democracia participativa, Marc Parés (coord.), Barcelona, Ariel.
Fedozzi, Luciano Joel y Martins, André Luís (2015), “Trajetória do orçamento participativo de Porto Alegre: representação e elitização política”, en Lua Nova: Revista de Cultura e Política, Nº 95, mayo-agosto, pp. 181-224.
Font, Joan y Galais, Carolina (2011), “The Qualities of Local Participation: the Explanatory Role of Ideology, External Support and Civil Society as Organizer”, en International Journal of Urban and Regional Research, Vol. 35 Nº 5, pp. 932-948.
Fung, Archon (2006), “Varieties of Participation in Complex Governance”, en Public Administration Review, Vol. 66 Special Issue, pp. 66-75.
Galais, Carolina; Navarro, Clemente J.; y Fontcuberta, Paloma (2013), “La calidad de los procesos participativos locales: indicadores y factores explicativos contextuales. El caso de Andalucía”, en Revista Española de Ciencia Política, Nº 32, julio, pp. 65-87.
Ganuza, Ernesto (2005), “Democracia y nuevos horizontes: emergencia y límites de los presupuestos participativos en España”, en Acciones e Investigaciones Sociales, Nº 20, pp. 5-39.
Ganuza, Ernesto y Gómez Fortes, Braulio (2008), Control político y participación en democracia: los presupuestos participativos, Madrid, Fundación Alternativas.
Gilman, Hollie Russon (2012), “Transformative Deliberations: Participatory Budgeting in the United States”, en Journal of Public Deliberation, Vol. 8 Nº 2, Article 11.
Gilman, Hollie Russon (2016), Democracy Reinvented: Participatory Budgeting and Civic Innovation in America, Washington, Brookings Institution Press.
Goldfrank, Benjamin (2006), “Los procesos de presupuesto participativo en América Latina: éxito, fracaso y cambio”, en Revista de Ciencia Política, Vol. 26 Nº 2, pp. 3-28.
Goldfrank, Benjamin (2019), “La difusión y el diseño de los presupuestos participativos en Brasil y los Estados Unidos”, en Revista de Ciencia Política y Gobierno, Vol. 6 Nº 11, pp. 59-80.
Ispizua, Marian y Lavia, Cristina (2016), La investigación como proceso: planificación y desarrollo, Madrid, Dextra Editorial.
Jorba, Laia y Anduiza, Eva (2009), “¿Por qué y cómo evaluar la participación?”, en Participación y calidad democrática. Evaluando las nuevas formas de democracia participativa, Marc Parés (coord.), Barcelona, Ariel.
Jorba, Laia; Martí, Joel; y Parés, Marc (2007), La qualitat en la participació: orientacions per a l’avaluació participada, Barcelona, Fundació Jaime Bofill.
Lerner, Josh y Secondo, Donata (2012), “By the People, for the People: Participatory Budgeting from the Bottom up in North America”, en Journal of Public Deliberation, Vol. 8 Nº 2, Article 2.
Lorente, Jaime y Sánchez-Vítores, Irene (2018), “La desafección en las urnas: las elecciones generales de 2015 en España”, en Reis: Revista Española de Investigaciones Sociológicas, N° 161, pp. 41-62.
McNulty, Stephanie (2019), “Participación decepcionante: una evaluación de quince años de la Ley Nacional del Presupuesto Participativo”, en Revista de Ciencia Política y Gobierno, Vol. 6 Nº 11, pp. 7-30.
Miller, Steven A.; Hildreth, R. W.; y Stewart, LaShonda (2019), “The Modes of Participation: a Revised Frame for Identifying and Analyzing Participatory Budgeting Practices”, en Administration and Society, Vol. 51 Nº 8, pp. 1254-1281.
Montecinos, Egon (2009), “El presupuesto participativo en América Latina. ¿Complemento o subordinación a la democracia representativa?”, en Revista del CLAD Reforma y Democracia, N° 44, junio, pp. 145-174.
Montecinos, Egon (2014), “Diseño institucional y participación ciudadana en los presupuestos participativos. Los casos de Chile, Argentina, Perú, República Dominicana y Uruguay”, en Política y Gobierno, Vol. 21 Nº 2, pp. 349-376.
Montero, José Ramón; Gunther, Richard; y Torcal, Mariano (1998), “Actitudes hacia la democracia en España: legitimidad, descontento y desafección”, en Reis: Revista Española de Investigaciones Sociológicas, Nº 83, pp. 9-49.
Navarro, Clemente J. (2008), “Los rendimientos de los mecanismos de participación: propuesta de sistema de evaluación y aplicación al caso de los presupuestos participativos”, en Revista del CLAD Reforma y Democracia, Nº 40, febrero, pp. 81-102.
Navarro, Clemente J.; Galais, Carolina; Font, Joan; Fontcuberta, Paloma; y Ganuza, Ernesto (2010), “Medir y explicar la calidad de la participación a nivel municipal”, documento presentado en el X Congreso Español de Sociología, GT08. Grupo de Trabajo de Sociología Política. Sesión Nº 3 “Ciudadanía y participación política”, Pamplona, España, 1 al 3 de julio.
Parés, Marc (coord.) (2009), Participación y calidad democrática: evaluando las nuevas formas de democracia participativa, Barcelona, Ariel.
Parés, Marc; Pomeroy, Melissa; y Díaz, Leonardo. (2007), Guía práctica para la evaluación de procesos participativos, Barcelona, Observatorio Internacional de Democracia Participativa.
Parry, Geraint; Moyser, George; y Day, Neil (1992), Political Participation and Democracy in Britain, New York, Cambridge University Press.
Pharr, Susan J. y Putnam, Robert D. (eds.) (2018), Disaffected Democracies: What’s Troubling the Trilateral Countries?, Princeton, Princeton University Press.
Pindado, Fernando (2000), La participación ciudadana en la vida de las ciudades, Barcelona, Del Serbal.
Pineda, Carmen (2009), “Los presupuestos participativos en España: un nuevo balance”, en Revista de Estudios de la Administración Local y Autonómica, Nº 311, septiembre-diciembre, pp. 277-301.
Pineda, Carmen y Pires, Valdemir (2012), “Características de las experiencias españolas de presupuesto participativo: intento de encuadramiento en una tipología”, en Gestión y Análisis de Políticas Públicas, Vol. 4 Nº 7 (Nueva Época), pp. 51-90.
Röcke, Anja (2014), Framing Citizen Participation: Participatory Budgeting in France, Germany and the United Kingdom, Basingstoke, Springer.
Rosener, Judy B. (1978), “Citizen Participation: Can We Measure its Effectiveness?”, en Public Administration Review, Vol. 38 Nº 5, pp. 457-463.
Rowe, Gene y Frewer, Lynn Jayne (2000), “Public Participation Methods: a Framework for Evaluation”, en Science, Technology and Human Values, Vol. 25 Nº 1, pp. 3-29.
Schneider, Cecilia y Díaz Rosaenz, Micaela (2016), “Democracia y participación local: debates teóricos y análisis empírico de los presupuestos participativos en las ciudades argentinas”, en RIEM: Revista Iberoamericana de Estudios Municipales, Nº 13, pp. 139-169.
Sintomer, Yves (2005), “Los presupuestos participativos en Europa: retos y desafíos”, en Revista del CLAD Reforma y Democracia, Nº 31, febrero, pp. 63-92.
Sintomer, Yves (2009), La démocratie participative, Paris, La Documentation Française.
Sintomer, Yves; Herzberg, Carsten; y Röcke, Anja (2008), “Participatory Budgeting in Europe: Potentials and Challenges”, en International Journal of Urban and Regional Research, Vol. 32 Nº 1, pp. 164-178.
Subirats, Joan (2005), “Catorce puntos esenciales sobre la evaluación de las políticas públicas con especial referencia al caso de las políticas sociales”, en Ekonomiaz: Revista Vasca de Economía, Nº 60 Fascículo 1 (La evaluación de políticas públicas), pp. 18-37.
Valles, Miguel (1997), Técnicas cualitativas de investigación social. Reflexión metodológica y práctica profesional, Madrid, Síntesis.
How to Cite
License
Copyright (c) 2024 Revista del CLAD Reforma y Democracia
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Los contenidos de la revista se distribuyen bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional (CC BY-NC-4.0), que permite a los usuarios copiar, usar, difundir, transmitir y exponer públicamente los contenidos, siempre y cuando se cite la autoría (https://creativecommons.org/licenses/by-nc/4.0).