Herramientas de medición de la gestión pública en Colombia: el Formulario Único de Avance a la Gestión como herramienta de medición del Modelo Integrado de Planeación y Gestión

Introducción

Según el concepto de organización expuesto por Bernárdez (2007) y Guevara (2001) y las características definidas por Robbins y Coulter (1996), Scott (2005) y Yopo (1970), las organizaciones han existido desde el origen de la sociedad y se caracterizan por tener un propósito, por estar conformadas por personas interesadas en sus fines, así como por tener una estructura, una división de trabajo, centros de poder y un interés por formalizarse mediante procedimientos que guíen las decisiones. De acuerdo con Rivas Tovar (2009) la teoría de las organizaciones es multidisciplinar, entendiendo que su estudio es un tema extenso que puede ser abordado desde diferentes perspectivas.

La necesidad de estudiar las organizaciones, así como de buscar métodos y herramientas para mejorarlas, radica en razones sociales, económicas y humanas (Chiavenato, 2008) que han motivado su estudio teórico desde hace un siglo (Alonso y Ocegueda, 2006). Teniendo en cuenta el centro de atención de estos estudios, surge la necesidad de abordar el desempeño organizacional, entendido como la evaluación que se hace de una organización para saber cómo se encuentra en relación con sus metas y objetivos propuestos, de acuerdo con todos los interesados en la organización, y para adoptar decisiones que le permitan perdurar en el tiempo (Machorro ...[et al], 2016). Sin embargo, esta evaluación se vuelve un elemento problemático, complejo y holístico no solo por la multidisciplinariedad teórica organizacional, sino también por la falta de un consenso sobre los criterios de evaluación y medición (Lusthaus ...[et al], 2002).

En este sentido, el desempeño organizacional pretende dar respuesta a interrogantes que buscan saber cuándo las organizaciones y sus miembros se están dirigiendo hacia un rumbo adecuado, cómo debieran medirse los factores que están relacionados al buen desempeño. Desde el enfoque del sector privado es frecuente la perspectiva de desempeño organizacional orientada a medir el lucro, el aumento de ganancias y el crecimiento financiero de las empresas, pero la misma no es idónea para organizaciones públicas que se legitiman por estar orientadas a la creación de valor público y que tienen un mandato legal que legitima su existencia en la procura del bienestar general, excediendo la dimensión económico-financiera (Armijo, 2011; Toca, 2011).

Desempeño institucional y evaluación de la gestión pública en América Latina

En los años 90 del siglo pasado, el Consenso de Washington operó en América Latina como fuente de inspiración e inducción de políticas que integraron las condicionalidades de la asistencia ofrecida por los organismos financieros internacionales. Las reformas que promovieron esas políticas pusieron el foco en la reducción del aparato estatal y su presencia en la economía por medio de instrumentos como las privatizaciones y la desregulación para privilegiar la liberalización de los mercados, apostando a su efectividad para superar el estancamiento en el proceso de desarrollo. La corriente de la Nueva Gestión Pública (NGP) acompañó esas políticas promoviendo reformas para lograr administraciones orientadas a resultados, incluyendo asegurar el desempeño, el control y la responsabilidad; desarrollar la competencia y la elección; proveer servicios adecuados y amigables a los ciudadanos; mejorar la gerencia de los recursos humanos; explotar la tecnología de la información y mejorar la calidad de la regulación (Ormond y Loeffler, 1999; OCDE, 1995; Ospina, 2001; Culebro, 2008; Bolívar y García, 2014).

Hacia fines de la década, se empiezan a consolidar visiones alternativas que dieron cuenta de las limitaciones de las reformas de primera generación. El informe sobre el desarrollo mundial de 1997 del Banco Mundial, bajo el título “El Estado en un mundo en transición” da cuenta de la diversidad de escenarios en los que el Estado se desenvuelve, reconociendo casos exitosos en los cuales la intervención estatal activa incide decididamente en el desarrollo de los países (Banco Mundial, 1997). Pocos años después, la Declaración de la XIII Cumbre Iberoamericana de Jefes de Estado y Gobierno (2003) expresa su “empeño en el fortalecimiento institucional del Estado, en lograr administraciones públicas más eficaces y transparentes y en promover los instrumentos necesarios para una mayor participación de la sociedad civil en el proceso de toma de decisiones” (Cumbre Iberoamericana, 2003: 2). La Cumbre manifiesta un especial compromiso para avanzar en la profesionalización de la función pública, acorde con los principios y orientaciones adoptadas en la Carta Iberoamericana de la Función Pública (CLAD, 2003).

Con la denominación de neoweberianismo se va conformado una corriente de pensamiento a la que se adscribe una nueva ola de reformas que reafirman el rol del Estado como autoridad política suprema y piloto fundamental de la acción pública, reconociendo que algunos sectores de intervención considerados como fundamentales para el bien común deben quedarse bajo la tutela del Estado central (Larrouqué, 2018). Según Narbondo el neoweberianismo combina el rigor de la lógica burocrática con la flexibilidad del funcionamiento neogerencial: “los modelos neoweberianos son ‘neo’ porque fortalecen la orientación de la administración pública en función de resultados y logros sustantivos, con una mayor sensibilidad por diagnosticar y resolver problemas de la gente concreta y del funcionamiento material de sus áreas de acción” (Narbondo, 2015: 188, citado por Larrouqué, 2018).

La CEPAL (2018) también aporta argumentos a favor del fortalecimiento institucional del Estado y de las prácticas de gestión pública para permitir el establecimiento progresivo de esta nueva relación de colaboración entre los actores del Estado, del mercado y de la ciudadanía, para avanzar hacia la provisión de bienes públicos de mejor calidad.

Es así como la gestión para resultados de desarrollo se sigue consolidando en los procesos de transformación de las administraciones públicas en la región latinoamericana, por medio de innovaciones que privilegian el logro de objetivos que satisfagan las necesidades y demandas de la población, sin descuidar el buen uso de los recursos (Makón, 2014). A su vez, la medición de los logros públicos implica la gestión por objetivos y la evaluación de desempeño, dando apertura a indicadores cuya intención es verificar la medida en que se han alcanzado los propósitos, no para aplicar sanciones sino para constatar carencias y mejorar la gestión (Sánchez Albavera, 2003).

Distintos países de la región desarrollaron sistemas nacionales de evaluación. En Chile, México, Perú y Uruguay fueron sistemas de resultados basados en el presupuesto; en Colombia y Costa Rica fueron sistemas sustentados en el sistema de planificación y análisis de cumplimiento de políticas (Makón, 2014).

La gestión para resultados trae consigo la evaluación de la gestión pública, entendida como una herramienta que provee insumos para la toma de decisiones de las instituciones gubernamentales y que conlleva a una mejora continua (Bonnefoy y Armijo, 2005). Se considera que esta evaluación es un proceso que consolida información y permite verificar el cumplimiento de las políticas públicas y de la gestión en general, volviéndose un elemento significativo al detectar falencias, estructurar alternativas y entregar información para implementar acciones organizacionales, presupuestarias, políticas y estratégicas.

La implantación de la evaluación lleva a establecer un sistema de seguimiento de la ejecución de las políticas como proceso complementario. El seguimiento permite establecer si el plan de trabajo y los objetivos intermedios se están cumpliendo, mientras que la evaluación determina si se han logrado los procesos, productos y resultados finales, además de identificar los factores que intervienen. Según la Comisión Económica para América Latina y el Caribe (CEPAL, 2018), la evaluación necesita la información generada por el seguimiento para emitir un juicio sobre el valor generado y las variables que intervienen en dicho resultado. En conclusión, la evaluación de la gestión pública es un instrumento de planeación que mide y promueve la calidad y la mayor efectividad de la gestión del sector público y que determina el grado de eficiencia y eficacia de la administración al generar información sobre el cumplimiento de metas y objetivos, brindando elementos para la toma de decisiones sobre la planeación y asignación de recursos (CONPES, 1994).

El concepto de desempeño público, definido por Bonnefoy y Armijo (2005) como la productividad, calidad, oportunidad, responsabilidad y eficacia de los servicios y programas públicos suma en la evaluación de las actuaciones públicas las dimensiones de eficiencia, eficacia, calidad y economía. Le evaluación debe medirse después de la intervención y dar respuesta a la medida en la cual se cumplieron los objetivos, el nivel de satisfacción de la calidad percibida por los usuarios, cuán oportunamente llegó el servicio y cuán aceptable ha sido el desempeño de la entidad. El objetivo de esta evaluación del desempeño público es mejorar el curso de acción de la gestión a partir de la toma de decisiones. Sin embargo, estas no son las únicas dimensiones. Así, en los últimos años, la Organización para la Cooperación y el Desarrollo Económicos (OCDE, 2019) incluyó nuevos criterios de evaluación y desempeño público tales como: el grado en que responden las intervenciones públicas a las necesidades de la ciudadanía (pertinencia); la compatibilidad o apoyo de las intervenciones públicas con otras instituciones, sectores o acciones (coherencia); el grado que la intervención genera efectos significativos en el nivel más alto (impacto); el grado en que los beneficios de la intervención es probable que continúen (sostenibilidad).

La Carta Iberoamericana de Calidad en la Gestión Pública (CLAD, 2008) brinda una perspectiva complementaria a considerar en la evaluación, al proponer una gestión orientada a la satisfacción del ciudadano y una gestión de resultados basada en el control sobre las acciones estatales que lleve a una gestión pública de calidad y excelencia. Ejemplos de estos modelos de calidad y normas específicas del sector público han sido implementados por países como Argentina, Brasil, Colombia, Chile y Portugal. Algunos referentes son el Modelo de Excelência em Gestão Pública (MEGP) de Brasil; el Sistema de Monitoreo del Desempeño Institucional y el Sistema de Evaluación del Desempeño de Chile; el Modelo de Evaluación del Desempeño en el Marco de la Planificación de Objetivos y Estratégica en las Administraciones Públicas de España; el Sistema de Evaluación de Desempeño de México; el Índice de Desempeño Municipal, el Índice de Desempeño Integral y el Índice de Desempeño Institucional del Modelo Integrado de Planeación y Gestión (MIPG) de Colombia. Este último es objeto de esta investigación.

La evaluación de la gestión pública en Colombia

En Colombia la evaluación de la gestión pública aparece con la Constitución Política de 1991 como la mejor herramienta para “abrir” la administración pública a la sociedad y fortalecer la gestión orientada a resultados (Ospina, 2001). Se trataba de una gestión que permitiría recuperar la capacidad del Estado mediante la participación de los ciudadanos, la incorporación de esquemas de administración de los recursos de forma eficiente y el logro de flexibilidad para garantizar gobiernos ágiles orientados a la transparencia, la publicidad de la gestión pública, la promoción de la participación ciudadana, el control interno, la vigilancia sobre la gestión pública y la evaluación de gestión y resultados (Quintanilla, 2017).

Específicamente, la Constitución Política de 1991 establece en su artículo 209 los principios de la función pública del Estado colombiano y enmarca el concepto de control interno como un garante del cumplimiento y efectividad. A la vez, en su artículo 343 se establecen los lineamientos sobre la evaluación de la gestión y resultados de la administración pública (Constitución Política de Colombia, 1991). Con estas directrices se han elaborado normas e instrumentos para facilitar la aplicación de dichos artículos constitucionales.

Desde entonces, Colombia ha recorrido un camino de más de 30 años hasta la implementación del Modelo Integrado de Planeación y Gestión (MIPG) en 2017^[1], desarrollando modelos de gestión y control que permitirían a las organizaciones públicas mejorar su desempeño organizacional atendiendo los derechos, problemas y necesidades de los ciudadanos mediante resultados que contribuyan a la construcción de valor público. Todo esto por medio de procesos de gestión que permitan administrar recursos, gestionar el talento humano y el conocimiento, planear, ejecutar y contratar, además de controlar los riesgos y procesos que promuevan la evaluación, rendición de cuentas y el suministro de información. En consecuencia, todos estos modelos, sistemas y lineamientos tienen el objetivo de mejorar las operaciones, asegurar el buen uso de recursos y prestar un buen servicio a los ciudadanos.

El Departamento Administrativo de la Función Pública (DAFP, 2018a) define al Modelo Integrado de Planeación y Gestión (MIPG) como el articulador de los Sistemas de Desarrollo Administrativo, de Gestión de la Calidad y de Control Interno de las entidades públicas. Este es el marco de referencia para dirigir, planear, ejecutar, hacer seguimiento, evaluar y controlar la gestión de las entidades públicas, con el fin de generar resultados que atiendan los planes de desarrollo y resuelvan las necesidades y problemas de los ciudadanos, con integridad y calidad en el servicio. Sus objetivos se encuentran descritos en el Decreto N° 1499 del 11-09-2017. Este modelo busca satisfacer las necesidades de los ciudadanos por medio de la generación del valor público y la gestión para resultados, es decir, por medio de las acciones de las entidades públicas que cumplan las demandas y necesidades de la sociedad en general. De esta manera, el valor público es traducido por la cadena de valor que tienen todas las entidades públicas y que incluye el conjunto de insumos (financieros, humanos, materiales), procesos (actividades que transforman los insumos en productos), productos (bienes y servicios que dan respuestas a necesidades o demandas), resultados (cambios o consecuencias al recibir los bienes y servicios), e impacto (cambio en las condiciones de la población objetivo), los cuales son articulados mediante siete dimensiones y diecisiete políticas de gestión y desempeño que las entidades deben cumplir según sus características y particularidades (DAFP, 2018b).

Con la puesta en marcha de este modelo y para medir su cumplimiento, el DAFP crea una metodología de medición del desempeño de las entidades públicas en el marco del MIPG compuesta por dos herramientas. La primera son los autodiagnósticos, visto como un ejercicio voluntario y de autovaloración que no implica reporte a ninguna instancia de control. El segundo elemento es el Formulario Único de Reporte y Avance a la Gestión (FURAG), objeto de esta investigación, donde se recolecta la información para la captura, monitoreo y evaluación de los avances o el desempeño sectoriales e institucionales en la implementación de las políticas de desarrollo administrativo de la vigencia anterior del MIPG (DAFP, 2018c).

El FURAG es un instrumento a través del cual se capturan los datos para medir el desempeño institucional a partir de un cuestionario donde cada respuesta debe estar soportada con evidencias. El cuestionario fue definido mediante un ejercicio de identificación de aquellas variables que pudieran contribuir a la medición del desempeño de cada una de las dimensiones del MIPG: direccionamiento estratégico y planeación, gestión para resultados con valores, evaluación de resultados, talento humano, control interno, gestión del conocimiento, información y comunicación. Se priorizaron las variables que fueran esenciales para medir la calidad y los resultados de las entidades y se formularon preguntas que evalúan el cumplimiento de normatividad legal vigente, bajo un lenguaje claro y simple, con opciones de respuesta de sí y no o de selección múltiple. En cada pregunta, además, se debe dar a conocer el nombre del archivo que soporta o evidencia la respuesta seleccionada.

El cuestionario fue validado cuantitativamente a partir del análisis estadístico de una prueba piloto y cualitativamente a partir de opiniones externas. En cuanto a las dimensiones temáticas, este instrumento tiene como soporte conceptual el MIPG desde la teoría del valor público y la gestión por resultados. Se incorporan también: una visión multidimensional de la gestión organizacional, un marco integral de las siete dimensiones del MIPG y el cálculo del Índice de Desempeño General por dimensión a partir del Modelo de Respuesta Graduada (MRG). Así, el FURAG abarca las siete dimensiones del MIPG y se enfoca en medir su calidad, eficiencia y eficacia, en el marco de la legalidad y la integridad, a través de preguntas de evidencias diseñadas para tal fin. El cuestionario está actualmente compuesto por más de 600 preguntas.

De esta manera, una vez al año el DAFP captura con el FURAG los datos de cada una de las entidades públicas y genera el Índice de Desempeño Institucional (IDI), con el fin de fortalecer la toma de decisiones y ajustar las políticas de gestión y desempeño. El IDI permite además evaluar el cumplimiento de los objetivos del MIPG, sus avances y mejoras (DAFP, 2018c). El nivel de cumplimiento se publica en términos del Índice de Desempeño del Sistema de Gestión de la entidad y de cada una de las siete dimensiones del MIPG.

Hasta el momento hubo dos versiones del formulario según la Metodología de Medición del Desempeño de Entidades Públicas (DAFP, 2018c). La primera versión de esta herramienta, FURAG I, registró el cumplimiento de los requerimientos de las políticas de desarrollo administrativo. Se lograron avances en cuanto la gestión por resultados, tales como sintetizar varios reportes en un solo documento, generar cifras de implementación de políticas, crear una cultura de reporte por parte de las entidades públicas, entre otros aspectos. Sin embargo, algunas mejoras se hicieron visibles y se transformaron en el propósito de la nueva versión, denominada FURAG II. Las mejoras incluyeron: generar una medición enfocada en el cumplimiento normativo y no en la eficiencia de la gestión de las entidades públicas; establecer una importancia en el modelo y no en el instrumento como tal, impulsando un ejercicio consistente de autoevaluación; fortalecer las estructuras de medición y de seguimiento a resultados; generar información para la toma de decisiones a nivel de definición o ajustes de políticas y de mejora institucional; tener en cuenta las particularidades de las instituciones al momento de la medición, modificando las preguntas del formulario que afectan la comparación; incluir elementos de gestión y de control, permitiendo tener un diagnóstico más completo y confiable, que genere información útil y de confianza para la toma de decisiones óptimas; lograr la cobertura de todas las entidades objeto de implementación del MIPG; medir la eficiencia de la gestión desde la legalidad y la integridad; medir la eficacia, la solución de necesidades y problemas de grupos de valor; tener en cuenta las particularidades de cada una de las entidades; desarrollar una cultura de medición soportada en evidencias y mejora continua; generar información suficiente, confiable y oportuna para soportar la toma de decisiones estratégicas; y, finalmente, identificar las mejores prácticas institucionales con el fin de generar estímulos de gestión y referentes de aprendizaje .

Adicionalmente, según los documentos oficiales del DAFP (2018a, 2018b y 2018c), el objetivo principal de esta evaluación es la provisión de evidencias suficientes que permitan:

1) Conocer el grado de apropiación de las políticas de gestión y desempeño institucional para soportar la toma de decisiones estratégicas y de gestión.

2) Conocer el estado del Sistema de Control Interno Institucional.

3) Identificar los aspectos susceptibles de mejora a nivel sectorial, institucional y territorial en materia de gestión y control.

4) Diagnosticar y caracterizar las capacidades institucionales.

5) Determinar fortalezas y debilidades para poner en marcha acciones que permitan el mejoramiento institucional y sectorial.

6) Priorizar las entidades y sectores a intervenir por parte del DAFP y los líderes de política.

7) Actualizar información y estandarizar en lo posible datos relevantes que permitan comparar los resultados con otras mediciones, índices o indicadores.

8) Determinar la medida en que el MIPG facilita el logro de resultados en aspectos complementarios al desempeño institucional del país como la política fiscal, de gasto, de reducción de la pobreza, de competitividad, de productividad y en el logro de los objetivos de las políticas públicas y el uso eficiente de los recursos en la prestación de los servicios en general.

9) Consolidar un sistema de información agregada sobre gestión y desempeño para el sector público colombiano que permita, a su vez, consolidar al modelo como referente para el desarrollo de ejercicios de proyección, tendencias y prospectiva en materia de gestión pública y también como factor determinante para la elaboración de los planes de desarrollo y presupuestos anuales y plurianuales, proyectos de inversión, y para la definición y gestión de las políticas públicas en general.

De esta manera, el FURAG II es un instrumento que, desde su salida a producción, tiene varios retos y objetivos por cumplir para medir el desempeño institucional de las organizaciones públicas en el marco de la gestión por resultados y la creación de valor. Estas herramientas no son solo importantes en la evaluación y medición de desempeño de las organizaciones públicas, sino que también tienen influencia en el mejoramiento del servicio y la satisfacción del ciudadano, por ende de la gestión pública y en la materialización de la NGP en Colombia. Vale la pena preguntarse entonces por los avances de su implementación y si las mejoras realizadas han sido percibidas por los evaluados, cuando todavía tiene varios retos por cumplir. Debe tenerse en cuenta que, al ser una herramienta con tres años de vigencia, no hay aún estudios o cifras que permitan conocer su pertinencia y efectividad. En otras palabras, esta investigación pretende dar respuesta a las siguientes preguntas: ¿Contribuye el FURAG al fortalecimiento del MIPG? ¿Mide el desempeño institucional de las organizaciones públicas y la mejora la gestión de las entidades del Gobierno Nacional? ¿Cumple los retos para los cuales fue creado?

Meto dología

En tanto el FURAG es una herramienta en uso desde 2017 y no ha sido objeto de análisis anteriormente, este estudio es de corte exploratorio con un enfoque cuantitativo y cualitativo con el fin de describirlo y especificar sus características (Hernández, Fernández y Baptista, 2014a; Campos, 2017). El diseño es no experimental y transeccional: se analiza la percepción que tienen del FURAG los actores que interactúan año a año con la aplicación del instrumento, y se recolectan datos en un solo momento con el fin de describir y analizar las variables definidas.

El objeto de estudio de este proyecto son las entidades a nivel nacional que han sido objeto de aplicación de la herramienta durante los últimos tres años y que han realizado la evaluación por parte de los jefes de planeación y de control interno, es decir, que han obtenido el Índice de Desempeño Institucional completo. Cada año ingresan nuevas entidades como objeto de aplicación, pero existen entidades que no tienen evaluación de algunas de sus dimensiones y, por ende, no tienen una nota final del Índice de Desempeño Institucional.

De esta manera, las entidades a nivel nacional que cumplen las mencionadas características y que conforman la muestra son 143 y se encuentran distribuidas en los 32 departamentos del país. Teniendo en cuenta las recomendaciones de trabajos académicos y de investigación sobre desarrollo organizacional, sistemas de gestión, percepción y validación de herramientas (Morris, Rodríguez, Antonio, Martínez y Gil, 2013; Calderón, Álvarez y Naranjo, 2010; Martínez Avella, 2010; Nunes, Silva, Mota, Almeida y Andriola, 2015; Marín y Cuartas, 2019), que recomiendan generar una muestra representativa, se optó por seleccionar a toda la población que cumpliera los requisitos establecidos anteriormente. El universo de investigación son entonces los 286 jefes de planeación y control interno de las 143 entidades a nivel nacional objeto de aplicación del FURAG, por ser los responsables de diligenciar sus formularios.

El siguiente paso es recolectar los datos sobre los atributos, conceptos o variables del problema de investigación a través de un plan de obtención de datos que sigue las indicaciones de Hernández, Fernández y Baptista (2014a). Las variables de investigación que fueron resultado directo de la revisión bibliográfica son: 1) caracterización de actores, 2) cumplimiento de los objetivos del FURAG, 3) percepción del FURAG, 4) factores que facilitan o dificultan la implementación de esta herramienta y 5) recomendaciones de mejora. Posteriormente, se realiza una revisión de la literatura sobre instrumentos de medición utilizados en estudios previos. De los seis que se encontraron, cinco evaluaban percepción desde otras perspectivas, excepto un instrumento aplicado por el DAFP que no estaba validado. Se optó entonces por crear un instrumento que pasara por un proceso de validez y confiabilidad.

Con lo anterior, se operacionalizan las variables como ítems, identificando su dominio y sus indicadores, señalando componentes, y las dimensiones o factores teóricos que integran a cada una de ellas. Respecto a la selección del instrumento de recolección, se opta por un cuestionario al ser uno de los instrumentos más utilizados para fenómenos sociales (Chasteauneuf, 2009, en Hernández, Fernández y Baptista, 2014b), además de sus facilidades para suministrarlo y obtener resultados. El formato fue virtual, mediante Microsoft Forms. De esta forma, se procede entonces a construir el instrumento obteniendo 100 ítems divididos en 3 secciones y 54 numerales, con niveles de medición nominales para la sección caracterización y ordinales para las otras secciones del instrumento bajo escala tipo Likert. La primera versión del instrumento fue validada por seis expertos, incluyendo docentes universitarios, docentes investigadores y expertos en temas de Desempeño Institucional del DAFP, que permitieron organizar el instrumento eliminando y modificando ítems.

Como el objetivo de la investigación es medir la percepción sobre un instrumento, se entenderá percepción como la predisposición o actitud para responder coherentemente de manera favorable o desfavorable ante un objeto, ser vivo, actividad, concepto, persona o símbolo (Kassin, Fein y Markus, 2013; Devine y Plant, 2013; Oskamp y Schultz, 2009; Fishbein y Ajzen, 1975, en Hernández, Fernández y Baptista, 2014b). En este sentido, se opta por medir las actitudes mediante el método Likert, uno de los más utilizados en este tipo de estudios. De esta manera, se mide la reacción de los participantes al elegir una de las categorías de la siguiente escala en relación con una afirmación: totalmente de acuerdo (5), de acuerdo (4), ni de acuerdo ni en desacuerdo (3), en desacuerdo (2) y totalmente en desacuerdo (1). A mayor acuerdo con la afirmación, más favorable la actitud.

A continuación se realiza la aplicación de una prueba piloto. Para esto se administró el instrumento a personas con características semejantes a la muestra, en este caso exjefes de planeación y de control interno o jefes fuera de la muestra que han tenido acceso al FURAG. Con los resultados de la prueba piloto, el instrumento de medición preliminar se modifica, ajusta y mejora, obteniendo la versión definitiva a administrar con 68 ítems. Se procede entonces con la obtención de autorizaciones, para lo cual se presenta un derecho de petición al DAFP como ente rector del formulario y del sector administrativo público. Adicionalmente, al momento de la aplicación del cuestionario, se comunica a cada participante los criterios de confidencialidad y de uso de la información para los que aceptarán los términos.

Finalmente, se envía el instrumento por correo electrónico para ser aplicado de manera autoadministrada. Se optó por esta forma de administración por sus ventajas de costos bajos, codificación automática y el control del proceso de envío y recepción del cuestionario a la población. Se tuvo en cuenta la limitación de recursos, en especial de tiempo y financieros, para aplicar la encuesta a 286 jefes distribuidos en todo el país, así como las contingencias derivadas de la pandemia de COVID-19 que restringió la posibilidad del desplazamiento a las organizaciones. De esta forma, se proporciona el instrumento directa e individualmente a los jefes de oficina de las entidades mediante correo electrónico.

Al finalizar esta etapa se obtuvieron 216 respuestas. Se procede a analizar la información, transformándola en valores numéricos, resumiendo las respuestas en datos, codificándolos y elaborando así un libro de códigos de todos los ítems en un archivo Excel. Este último se importa al programa Statistical Package for the Social Sciences (IBM® SPSS) para su ejecución y exploración.

Un paso fundamental es evaluar la confiabilidad o fiabilidad y validez lograda por el instrumento de medición. La fiabilidad se obtuvo utilizando la medida de coherencia o consistencia interna, porque es el más ajustable para escalas de respuesta continua tipo Likert. Para este caso, las evidencias de validez aplicables son: de contenido, de estructura interna o fiabilidad y de constructo. La información detallada sobre estos aspectos se presenta en el Anexo.

Resultados

Se respondieron 216 cuestionarios que pertenecían principalmente a los siguientes sectores administrativos públicos: Hacienda y crédito público; Defensa; Salud y protección social; Comercio, industria y turismo; Agropecuario, pesquero y de desarrollo rural; Educación; y Presidencia de la República. El 51,9% de las respuestas fueron provistas por jefes de oficina de planeación y el 48,1% por jefes de oficina de control interno. Otro aspecto de caracterización fue el nivel educativo. Gran parte de los jefes (56,02%) tiene nivel máximo alcanzado de especialización y el 0,93% tiene nivel de doctorado. En cuanto a la experiencia laboral, el 75,5% tiene más de 16 años de experiencia. Finalmente, el 53,7% ha diligenciado más de tres veces el aplicativo FURAG, el 19,4% dos veces, el 14,4% tres veces y el 12,5% una vez.

En términos generales, los resultados de la encuesta permiten observar algunos avances favorables de la herramienta en términos de desempeño institucional, gestión para resultados y el cumplimiento de las funciones y objetivos propuestos en el momento de su creación. Sin embargo, es necesario generar fortalezas en algunos aspectos. Los componentes con mayores medias son: los aspectos de mejora del FURAG (4,45), comparabilidad del instrumento (4,36), objetivos de medición (4,24) y gestión por resultados (4,19). Ahora bien, los que tienen una media menor, pero que hacen parte de la estaca favorable y positiva (de acuerdo) son: nueva gestión pública (3,7), medición de eficiencia (3,68), precepción del FURAG (3,66), propósitos a futuro de la herramienta (3,66) y desempeño institucional (3,28).

Frente al desempeño institucional, se observa que los jefes de planeación y control interno consideran con la mayor puntuación la variable 49 (3,14), mientras que los demás ítems se sitúan en una franja entre 2,9 y 3,09 (Cuadro 1). Con estos resultados, se entiende que los jefes de las oficinas de planeación y control interno muestran en gran parte su acuerdo con los aspectos señalados; sin embargo, tres (3) ítems están en un punto de ni acuerdo ni desacuerdo. Por ello, aunque el FURAG y el IDI miden el desempeño institucional, no está claro cómo este instrumento mide la productividad, calidad y oportunidad de los bienes, servicios y programas públicos de las entidades.

Cuadro 1 : Medias del componente Desempeño institucional

Fuente: elaboración propia.

En el segundo componente relacionado con la gestión para resultados todos los ítems superan la puntuación de 3, donde se situaba la valoración “de acuerdo”. Sin embargo, hay tres (3) que superan la puntuación de 4, es decir, que están en la valoración “totalmente de acuerdo”. En esta franja las puntuaciones oscilan entre 3,44 y 4,16 (Cuadro 2). La mayor puntuación la obtiene la variable 20, lo que evidencia que esta herramienta permite dar a conocer el nivel de cumplimiento de las políticas, programas, planes y acciones, además de la gestión en general de las organizaciones públicas y siendo coherente con la razón de ser de este instrumento. De este componente, la menor puntuación la tiene la variable 22 que, aunque está en el nivel de acuerdo, se aleja de las demás (en 0,3) y permite entender que el instrumento apoya a que las entidades públicas cumplan su gestión, pero hace falta fortalecer cómo promueve la solución de las necesidades y problemas de sus grupos de valor, stakeholders o la ciudadanía en general.

Cuadro 2 : Medias del componente Gestión por resultados

Fuente: elaboración propia.

Frente a los objetivos de medición, los ítems tienen una percepción favorable en general con puntuaciones superiores a 3,4 y un máximo de 4,15 (Cuadro 3). El ítem con mayor puntuación es la variable 61 (4,15) y el de menor puntuación es la variable 47. Esto permite observar el cumplimiento de la razón de ser de la herramienta al medir el nivel de avance de dicho modelo, pero hace falta incluir elementos del Sistema de Control Interno, específicamente de la dimensión de Control Interno y del Modelo Estándar de Control Interno, que permita entenderlo como un elemento transversal de la gestión pública.

Cuadro 3 : Medias del componente Objetivos de medición

Fuente: elaboración propia.

El cuarto componente es la importancia del MIPG y no del instrumento. Los ítems que lo integran están sobre 3,93 y dos de estos (Variables 61 y 59) tienen la mayor puntuación de 4,37 (Cuadro 4). La menor puntuación la tuvo la Variable 34 (3,93). Estos resultados permiten observar una de las grandes fortalezas de la herramienta. En tanto las entidades a nivel nacional objeto del FURAG realizan el ejercicio de aplicación del instrumento, esperan conocer el nivel de implementación del MIPG y los elementos de mejora que pueden aplicar en sus entidades. Pero, y aunque es acorde con las intenciones del DAFP, las mismas le dan un valor alto a la puntuación del IDI, lo que va en contra del objetivo establecido para la herramienta y para esta entidad.

Cuadro 4 : Medias del componente Importancia del modelo

Fuente: elaboración propia.

El componente sobre innovación en gestión pública está compuesto por tres (3) ítems que obtienen una media entre 3,25 y 3,69, ubicando este componente y su relación con el FURAG de manera favorable (Cuadro 5). Se observa que la puntuación más alta es la de la variable 51 (3,69) y la variable 32 tiene la menor puntuación. Por ende, esta herramienta está midiendo e incentivando la recuperación de la capacidad de la gestión estatal que apunta a la participación ciudadana y a gobiernos institucionales ágiles. Sin embargo, la información de los resultados del FURAG II es escasa para tomar decisiones sobre las políticas institucionales, lo cual limita a las entidades a planear y asignar recursos que permitan mejorar el cumplimiento de sus gestiones, interrumpiendo el valor agregado del proceso de evaluación, es decir, la mejora continua.

Cuadro 5 : Medias del componente Innovación en gestión pública

Fuente: elaboración propia.

El siguiente componente es la medición de eficiencia y la estructura de medición de la herramienta. Al igual que los componentes anteriores, sus ítems tienen una media sobre 3, es decir, las entidades están de acuerdo con el componente en general (Cuadro 6). Sin embargo, el ítem con menor puntuación es la variable 31 (3,24), lo que permite pensar que el FURAG tiene una debilidad sobre el seguimiento a las acciones, haciendo de esta forma un incumplimiento de una adecuada evaluación, según la definición de la CEPAL (2018), desentendiendo que la evaluación y el seguimiento son procesos complementarios.

Cuadro 6 : Medias del componente Medición de eficiencia y la estructura de medición

Fuente: elaboración propia.

El componente relacionado con la comparabilidad tiene un puntaje superior a 4, lo que equivale a que los jefes de planeación y control interno están totalmente de acuerdo en comparar los resultados de su IDI principalmente con los años anteriores (4,37), seguido por la comparación con otras entidades (4,06) y luego con otros sectores administrativos (4,16) (Cuadro 7). Aunque la comparación fue un propósito de la herramienta, el mismo DAFP ha establecido que no se puede realizar dicha acción en tanto no es el fin de la medición. Las entidades tienen particularidades y las preguntas han sido modificadas cada año, imposibilitando una línea base de comparación.

Cuadro 7 : Medias del componente Comparabilidad

Fuente: elaboración propia.

El último componente tiene relación con los propósitos a futuros establecidos por el DAFP sobre la medición del desempeño institucional del MIPG. Los ítems que componen esta dimensión tienen una puntuación entre 3,3 y 3,57, es decir, hay una percepción favorable sobre el cumplimiento de dichos propósitos (Cuadro 8). El ítem con mayor puntuación es la Variable 55 (3,57) y el ítem con menor puntuación es la Variable 56. Con lo anterior, se percibe que las entidades con debilidades tienen un acompañamiento de entes externos para cumplir la mejora de su desempeño institucional. No obstante, deben aunarse esfuerzos para que la medición esté acompañada de la socialización de las mejores prácticas, y no las mejores puntuaciones, por cada una de las dimensiones, políticas, entidades o sectores, de tal forma que sea un insumo para el mejoramiento de las gestiones de las demás entidades.

Cuadro 8 : Medias del componente Propósitos a futuro

Fuente: elaboración propia.

Frente a las preguntas abiertas, los jefes de las entidades públicas objeto de esta investigación ven como principales fortalezas del FURAG:

1) Es un instrumento que permite la medición de la gestión de la entidad en general y del MIPG, unificando información de toda la entidad.

2) Es práctico en el diligenciamiento por ser virtual, seguro, entendible, fácil y con preguntas claras.

3) Orienta a la mejora de la entidad, en tanto genera insumos para realizar acciones y planes de mejoramiento.

4) Permite la comparación de resultados con otras entidades.

Ahora bien, sobre las dificultades del instrumento, los jefes de las entidades dieron a conocer como inconvenientes o inconformidades:

1) Las preguntas, pues manifestaron que estas eran complejas, confusas, poco claras, de difícil comprensión, ambiguas, desordenadas y repetitivas.

2) La particularidad de la entidad, donde el instrumento no tiene en cuenta la realidad, naturaleza, característica, tamaño, tipología, normatividad o régimen aplicable, lo cual conlleva a afectar su índice o calificación.

3) La plataforma, ya que existen inconvenientes y fallas al momento de cargar la información como congestión, colapso, disponibilidad, caída, intermitencia.

4) Los roles, participantes, información y evidencia, ya que los jefes manifestaban dificultades sobre articular, unificar, corroborar y controlar toda la información del modelo que está a cargo de muchos responsables en toda la entidad y donde es arduo el identificar la evidencia adecuada en cada uno de los requisitos, por falta de información clara por aporte del modelo o manual operativo.

Discusión

Los resultados de esta investigación permiten observar que el FURAG es una herramienta que contribuye al fortalecimiento del MIPG, mide el desempeño institucional y la mejora la gestión de las entidades públicas. Los actores que interactúan año a año con esta herramienta perciben positivamente factores relacionados con dirigir, planear, ejecutar, hacer seguimiento, evaluar y controlar la gestión de las entidades, lo que es el propósito general de dicho modelo. A la vez, permite medir la productividad, calidad, oportunidad, responsabilidad y eficacia de los servicios y programas públicos de las entidades. No obstante, en términos de gestión por resultados sobre la medición de los logros públicos y su interés en poner al Estado al servicio del ciudadano, existen aún mejoras en término de la utilidad de estos indicadores y de la información de la herramienta como insumo para generar resultados que apunten a solventar necesidades y problemas de sus grupos de valor.

El FURAG, al tener en cuenta factores como el cumplimiento normativo, la eficacia y la solución de necesidades y problemas de la sociedad, se acerca a la definición de desempeño público generada por Bonnefoy y Armijo (2005). Sin embargo, tiene debilidades en factores de medición como la productividad, calidad y oportunidad de los servicios públicos, por lo cual es necesario incluir en el instrumento e incentivar a las entidades a medir productividad del trabajo y del gasto (Mostajo, 2000). En términos de calidad, y teniendo en cuenta que esta incluye el factor de oportunidad, se podría velar por incluir también en la herramienta criterios relacionados con percepción y satisfacción de los ciudadanos, análisis de peticiones, quejas y reclamos, evaluaciones de servicio, accesibilidad, continuidad en la entrega de servicios y cortesía en la atención, además de reconocimientos de la entidad en términos de mejora de la calidad y la innovación pública (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios, 2009).

Esta herramienta también mide la gestión por resultados y es percibida así, pero hace falta mejorar la utilidad de su información como insumo para generar resultados que apunten a solventar necesidades y problemas de sus grupos de valor. Se podría velar por procesos de medición que se complementen con un sistema de seguimiento, permitiendo establecer planes de trabajo orientados en el marco de la innovación en la gestión pública que expresa la corriente neoweberiana, en donde las acciones de las entidades públicas estén orientadas a resolver problemas y necesidades de los ciudadanos (CEPAL, 2018). Este instrumento mide y promueve la relación Estado-ciudadano, la reducción de trámites y la toma de decisiones. Pero en relación con la toma de decisiones y su mejora, se debe propender por entregar información oportuna, relevante, suficiente, de calidad, que sea exacta, válida y confiable.

Hay unos resultados muy positivos sobre el cumplimiento de los objetivos de medición, el propósito de darle importancia al modelo y no al instrumento, la medición de eficiencia y la estructura del FURAG, su comparabilidad y retos a futuro. Pero es necesario que la herramienta tenga en cuenta los siguientes elementos:

- Integrar el control interno y sus efectos sobre la gestión pública mediante el fortalecimiento de factores como la cultura organizacional fundamentada en la información, el control y la evaluación para la toma de decisiones y la mejora continua, robusteciendo el ambiente del MECI y permitiendo entender que el control interno no es un evento aislado, sino interrelacionado en todo el proceso de operación de las entidades públicas y que tiene como objetivo salvaguardar los recursos, fomentando la eficiencia en el marco del cumplimiento normativo (Cuevas, 2019).

- Pensar en optar por otros tipos de medición, cuya connotación o resultado no sea cuantitativo sino cualitativo; como sucede en el ámbito educativo, la calificación del desempeño desde una actitud de enjuiciamiento argumentada, compartida y pertinente permite procesos orientados a la innovación y transformación, ya que apoya, retroalimenta, reformula estrategias al preocuparse por el proceso y no por el resultado final (Morán, 2007).

- Mejorar el seguimiento de las entidades complementando el proceso de medición y de evaluación, estableciendo planes de trabajos y objetivos intermedios que permitan apoyar el avance institucional.

Conclusiones

Esta investigación construye evidencia sobre la importancia de establecer herramientas de medición en entidades públicas, ya que traen consigo efectos positivos sobre el desempeño, la prestación de servicios y la gestión por resultados. Sin embargo, para que se cumplan dichos efectos, las herramientas no solo deben medir el cumplimiento normativo, sino también la productividad, calidad, oportunidad, pertinencia, coherencia, impacto y sostenibilidad (OCDE, 2019). Deben además: entregar información precisa, oportuna y adecuada, permitiendo una creciente y adecuada toma de decisiones; generar decisiones no solo internamente, sino que estén orientadas a la solución de problemas de los grupos de valor; crear sistemas de evaluación interna y externa realizada por terceros que promuevan la objetividad; establecer un acompañamiento a metas de desempeño promoviendo la mejora continua en relación con las capacidades organizacionales de cada entidad; y establecer un sistema de incentivos organizacionales y humanos premiando el cumplimiento de compromisos asumidos (Martner, 2001; Makón, 2014).

Dentro de limitaciones y recomendaciones para futuras investigaciones, cabe resaltar que no existe resultado con el cual comparar lo arrojado en esta investigación, ya que no se han realizado investigaciones con esta temática en el sector.

Respecto a recomendaciones para futuras investigaciones, se podría realizar este análisis con entidades territoriales como departamentos y municipios para conocer su percepción del FURAG con este instrumento ya validado. También se podría preguntar cómo acoplar este instrumento a las particularidades de cada una de las entidades, según su naturaleza y régimen jurídico, o cómo afectan estas particularidades a la evaluación de desempeño institucional; analizar el contenido de las preguntas e ítems del FURAG y su coherencia con las políticas y dimensiones del MIPG, con el objeto de mejorar su entendimiento y percepción de la herramienta; estudiar otras estrategias y métodos de recolección de información, diferente a una autoevaluación por parte de las entidades públicas, que permitan mejorar el proceso de medición del desempeño institucional público; analizar los requisitos de las dimensiones, políticas y normatividad del modelo con el fin de obtener estándares para las evidencias e información solicitada, mejorando el proceso de recolección de información por parte de las entidades públicas. Finalmente, se podría analizar también cómo mejorar la medición de desempeño institucional de entidades públicas mediante estas herramientas en factores como la oportunidad y la calidad.

Anexos

La prueba piloto generó un acercamiento a la confiabilidad del instrumento con un coeficiente de Alfa de Cronbach de 0,836. De esta manera, se procedió a estudiar, modificar o eliminar 19 ítems que mostraban una correlación negativa. Con el instrumento final se procede nuevamente a calcular la fiabilidad de los 59 ítems tipo Likert del instrumento con un resultado de 0,965, lo que en palabras de Cuellar (2018) y Padilla (2018) significa que todos los reactivos del instrumento están correlacionados, es decir el instrumento es altamente confiable, teniendo en cuenta que es superior a 0,700 y se acerca a uno (1).

Resultados de confiabilidad en el programa SPSS

Fuente: elaboración propia.

Una vez que se obtiene la confiabilidad del instrumento, se procede a calcular su validez. La evidencia de validez de contenido se realiza con la primera versión del instrumento, mediante la metodología del juicio de expertos, aplicando el método Coeficiente de Validez de Contenido Total (CVCT) de Hernández Nieto (2011), el cual mide la concordancia entre jueces y la validez de contenido (Pedrosa, Suárez-Álvarez y García-Cueto, 2014) mediante la valoración acerca del grado de acuerdo o desacuerdo de cada ítem en relación con cuatro criterios: pertinencia con el objetivo del instrumento, la variable, el indicador y redacción del ítem. De esta forma, al aplicar los algoritmos, se obtuvo como CVCT del instrumento un 0,93, lo que significa que el instrumento tiene una validez y concordancia excelente frente a su dominio específico de contenido, midiendo adecuadamente las principales dimensiones de las variables del proyecto de investigación.

La evidencia de validez de constructo pretende medir si el instrumento está evaluando o se relaciona de manera consistente con algún constructo teórico de la pregunta de investigación. Para esto, se aplica el análisis de factores (Padilla, 2019) que identifica cuantas dimensiones integran una variable. Según la revisión de literatura se crearon 59 ítems en 9 factores o variables. Sin embargo, una vez finalizado el análisis y limpieza, se eliminan 11 reactivos que no tenían relación suficiente con los constructos, obteniendo así 9 variables como lo muestra más abajo la Matriz de componente rotado final en SPSS. Esta validez se realiza mediante la metodología de rotación Varimax, en la cual se obtiene una prueba de bondad o el Kaiser-Meyer-Olkin (KMO) de 9,15, una prueba de esfericidad de Bartlett de 0,000 que es significativa, ya que está debajo de 0,05, afirmando que el instrumento tiene una buena relación teórica como se muestra a continuación:

Resultados de rotación del instrumento en el programa SPSS Prueba de KMO y Bartlett

Fuente: elaboración propia.

Adicional a lo anterior se obtienen:

- La tabla de comunalidades de los ítems que demuestra que ninguno está por debajo 0,3, es decir, que aportan a los constructos o dimensiones identificadas.

- La varianza máxima explicada cuyo resultado es de 73,77%, permite afirmar que el instrumento se explica adecuadamente por estar por encima del 50%.

- La matriz de componente rotado que da a conocer 14 constructos inicialmente, pero posterior a un análisis de rotación por cada uno de estos, en donde se observa su interacción, correlaciones y el cumplimiento a la regla de por lo menos tener 3 ítems, se obtienen 9 constructos que muestra seguidamente:

En conclusión, este análisis factorial tuvo en cuenta los reactivos que tienen una fiabilidad superior a 0,4 y los factores que agruparan más de tres ítems. Con esta información final, se procede a generar nuevamente los valores de fiabilidad finales del instrumento, KMO y esfericidad, los cuales arrojaron una información positiva en tanto se mostró la existencia de nueve factores, resultado de ocho iteraciones, que tiene una varianza que explica el 71,9% del instrumento. A la vez, los ítems presentan cargas factoriales superiores a 0,50 dentro de su factor y comunalidades mayores a 0,5. De tal forma, el instrumento final quedó conformado por 48 reactivos con una prueba de esfericidad de Bartlett significativa (8905,397; gl = 1128; Sig. = 0,000), un indicador de adecuación del tamaño de muestra Kaiser-Meyer-Olkin adecuado (0,923) y un Alfa de Cronbach de 0,968.