Muchos de los resultados que más importan en la gestión del desarrollo no se dejan observar de frente. Para seguirlos recurrimos a señales indirectas; lo que conviene examinar es con qué rigor leemos esas huellas y en qué condiciones pueden engañarnos.

Imagen: Giovanni Morelli, orejas de pintores italianos, Italian Painters, 1892. A fines del siglo XIX, Giovanni Morelli propuso atribuir cuadros antiguos de los que se desconocía su autor, observando lo que casi nadie miraba: la forma de una oreja, el trazo de una uña, el pliegue de un dedo. Ningún copista se esmeraba en esos detalles, y por eso delataban la mano del autor verdadero. La imagen invita a pensar en un problema cotidiano de la gestión: los resultados que más nos importan tampoco se dejan ver de frente, pero dejan marcas en lugares inesperados. La pregunta es cómo aprender a encontrarlas y, sobre todo, cuándo confiar en lo que parecen decirnos.

Trabajando con un equipo municipal en la identificación de indicadores, llegamos a un punto que conozco bien. Habíamos avanzado con los indicadores de aquello que el equipo hace: los bienes y servicios que entrega a la población y los que le permiten mejorar su propio funcionamiento. Contar personas atendidas, talleres realizados o trámites resueltos exige orden y cierta disciplina de registro, pero rara vez plantea dilemas conceptuales. El clima de la conversación cambió cuando nos preguntamos qué ocurre después de esas entregas. ¿Cómo mostrar que los vecinos confían más en el municipio? ¿Cómo saber si una política de inclusión está funcionando de verdad, y no solo ejecutándose?

Quienes trabajamos en gestión pública conocemos la sensación de que nos pidan un indicador sobre algo que, en el fondo, no sabemos cómo medir. La respuesta habitual consiste en buscar un dato que «se parezca» a lo que queremos conocer, aunque no sea exactamente eso. En esa búsqueda los equipos suelen frustrarse o, lo que resulta más riesgoso, conformarse con un número que no dice lo que creen que dice.

En otros artículos me detuve en por qué los resultados del desarrollo no pueden verse y solo accedemos a ellos a través de sus señales, y en cómo desagregarlos para pasar de lo abstracto a lo observable. Aquella conversación me dejó una pregunta que suele quedar implícita en ese recorrido y que quiero examinar aquí: cuando recurrimos a indicadores proxy —medidas indirectas de aquello que no podemos observar—, ¿qué hace que la lectura de una huella sea confiable, y cuándo puede engañarnos? Para pensarla voy a apoyarme en una idea que proviene de la historia antes que de la ciencia de la administración, y en algunos programas que abordan un campo donde casi nada de lo importante se deja medir directamente: los consumos problemáticos.

Conocer lo que no se ve: el paradigma indiciario

En un ensayo publicado originalmente en 1979, «Indicios. Raíces de un paradigma de inferencias indiciales», el historiador italiano Carlo Ginzburg mostró que disciplinas tan distintas como la historia del arte, la medicina, la investigación criminal y el psicoanálisis habían construido sus métodos sobre una misma lógica: leer señales indirectas para llegar a conclusiones sobre algo que no puede observarse de manera directa.

Uno de sus protagonistas es Giovanni Morelli, el médico y conocedor de arte que a fines del siglo XIX propuso un método para atribuir cuadros antiguos. Morelli advirtió que los grandes maestros tenían una manera característica, casi inconsciente, de resolver los detalles menores. Los copistas se esforzaban por imitar los rasgos más visibles de un pintor —la sonrisa de los personajes de Leonardo, los ojos alzados al cielo en las figuras de Perugino—, pero descuidaban el lóbulo de una oreja o la forma de una uña, precisamente porque parecían insignificantes. Allí quedaba la marca del autor verdadero.

Ginzburg encuentra la misma lógica en Sherlock Holmes, que reconstruye la historia de un desconocido a partir del barro en sus zapatos, y en Sigmund Freud, que buscaba en los lapsus, los sueños y los pequeños olvidos el acceso a una vida interior que no se muestra a simple vista; Freud, además, había leído a Morelli y reconoció su influencia. Y rastrea las raíces de esa forma de conocer mucho más atrás: en los cazadores que aprendieron a reconstruir los movimientos de una presa invisible a partir de pisadas, ramas quebradas o pelos enganchados, y en la medicina hipocrática, que diagnosticaba lo que no podía ver a partir de los síntomas.

A esta forma de conocer Ginzburg la llama paradigma indiciario. Su núcleo es una convicción muy cercana a la experiencia de quien gestiona: cuando la realidad es opaca, no estamos condenados a ignorarla, porque existen ciertos puntos privilegiados —señales, indicios— que permiten descifrarla. Reconocer que las huellas permiten conocer, sin embargo, no resuelve el problema del equipo que necesita un indicador. Deja planteada otra pregunta: ¿qué distingue una lectura rigurosa de esas huellas de una conjetura arbitraria?

Del indicio al indicador proxy

Conviene empezar por precisar qué entendemos por indicio. Un indicio es una señal concreta, observable y verificable que mantiene una relación sistemática con algo que no podemos observar directamente. No constituye una prueba concluyente, pero tampoco una mera suposición: es un dato que, en virtud de una conexión causal o correlacional fundamentada, permite inferir con un grado razonable de confianza algo que está más allá de la observación inmediata. Lo que distingue a un buen indicio no es la certeza, sino la consistencia de su relación con aquello que queremos conocer, su sensibilidad a los cambios de esa realidad y su confiabilidad a lo largo del tiempo y en contextos diferentes.

En el campo del monitoreo y la evaluación esta idea tiene un nombre técnico: indicador proxy. Un indicador proxy es una medida indirecta, vinculada al resultado que nos interesa mediante uno o más supuestos, que se utiliza cuando la medición directa no es posible o no ofrece información a tiempo (USAID, 1996). En términos estadísticos, es una variable observada que se relaciona con otra que no podemos observar, sin ser idéntica a ella (Wooldridge, 2020).

La conversación con el equipo municipal hizo visible una distinción que conviene no perder. Los bienes y servicios que un programa entrega suelen poder contarse directamente, y para eso no hace falta ningún proxy. El indicador proxy se vuelve necesario cuando preguntamos qué produjeron esas entregas. A veces, incluso, un mismo dato admite las dos lecturas.

Las Casas de Atención y Acompañamiento Comunitario (CAAC), que la Secretaría de Políticas Integrales sobre Drogas de la Nación Argentina (Sedronar) cogestiona con organizaciones sociales, ofrecen un buen ejemplo. Se conciben como una «puerta de entrada» para el inicio de procesos integrales de tratamiento e integración social. En un relevamiento de 2023, respondido por 348 de las 517 casas de la red, casi el 80 % declaró haber articulado al menos una vez con actores vinculados a la gestión de documentación, y una proporción muy similar lo había hecho con instituciones educativas. Tramitar un documento de identidad es un servicio que puede contarse. Pero para una persona que lleva años sin documentación también puede ser la condición para volver a la escuela, atenderse en un centro de salud o acceder a un programa social. Leído como producto, el dato informa lo que la casa hizo. Leído como indicio, podría hablarnos de algo que buscamos y no vemos: la restitución de derechos.

El condicional importa. Que el dato funcione como indicio depende de que podamos fundamentar esa conexión y de que conozcamos sus límites. ¿Cómo se construye esa fundamentación?

Leer huellas con método: tres preguntas

Trabajar con indicadores proxy de manera rigurosa supone, a mi juicio, responder tres preguntas que en la práctica suelen quedar implícitas. Los programas que abordan los consumos problemáticos permiten verlas con particular nitidez, porque en ese campo casi nada de lo importante se deja observar de frente.

¿Qué queremos conocer y por qué no podemos medirlo directamente?

La primera pregunta parece obvia, pero de su respuesta depende dónde buscar las huellas. La Agencia de la Unión Europea sobre Drogas (EUDA) necesita estimar cuántas personas presentan un consumo de alto riesgo, que define como un consumo recurrente que está causando daños reales —la dependencia, pero también otros problemas de salud, psicológicos o sociales— o que expone a una probabilidad elevada de sufrirlos. La vía más intuitiva sería preguntarlo en una encuesta a la población general. La propia agencia reconoce que esa vía falla: el estigma y la marginación social que rodean a este grupo producen un subregistro sistemático.

Precisamente porque explicita por qué no puede medirlo de manera directa, la EUDA sabe dónde mirar. Una parte de esa población oculta deja marcas en registros institucionales —servicios de tratamiento, registros sanitarios o policiales—, y a partir de la proporción que queda capturada en ellos es posible estimar la parte que no se ve. Si se conoce, por ejemplo, qué proporción de esa población pasa cada año por un servicio de tratamiento, la cantidad de personas atendidas permite calcular el total; si se cruzan dos registros independientes, el número de personas que aparecen en ambos permite inferir cuántas no figuran en ninguno. La agencia advierte, a la vez, que esas estimaciones descansan en supuestos que deben examinarse con cuidado. Hacer explícito aquello que no puede observarse, lejos de ser un trámite preliminar, orienta la búsqueda de las huellas y permite reconocer de antemano sus debilidades.

¿Qué huellas guardan una relación sólida con ese resultado?

La segunda pregunta obliga a fundamentar la conexión entre la señal y la realidad que nos interesa. La evaluación de resultados de los programas de tratamiento del Servicio Nacional para la Prevención y Rehabilitación del Consumo de Drogas y Alcohol (SENDA) de Chile, realizada por el Centro de Estudios Justicia y Sociedad de la Pontificia Universidad Católica sobre el período 2012–2017, ofrece un ejemplo elocuente. El resultado buscado era la recuperación, entendida como un estilo de vida mantenido voluntariamente que se caracteriza por la sobriedad, la salud personal y el ejercicio de la ciudadanía. Nadie puede observar la recuperación. Se observan sus huellas.

Dos de esas huellas cuentan historias muy distintas. La mayor parte de los programas evaluados mostraba tasas de retención a noventa días cercanas al 90 %, semejantes a las del Reino Unido y superiores a las de Australia o Estados Unidos. La completitud promedio de los tratamientos, en cambio, quedaba por debajo del 20 %, muy lejos de esos mismos países. Ninguno de los dos datos equivale a la recuperación; cada uno capta una dimensión del proceso. La retención sugiere que el programa logra sostener el vínculo con las personas; la completitud, que pocas recorren el trayecto terapéutico previsto. Elegir uno u otro como indicador principal implica, además, una hipótesis sobre qué significa recuperarse y en qué momento del proceso esperamos ver las primeras señales.

Esa hipótesis puede hacerse explícita. Que la retención a noventa días funcione como huella de la recuperación descansa en un supuesto: la permanencia en el tratamiento durante un tiempo suficiente aumenta la probabilidad de reducir o abandonar el consumo. Ese supuesto tiene respaldo en la investigación. La guía de principios para el tratamiento de las adicciones del Instituto Nacional sobre el Abuso de Drogas de los Estados Unidos (NIDA), elaborada a partir de la evidencia acumulada, sostiene que la mayoría de las personas necesita al menos tres meses de tratamiento para reducir o detener de manera significativa el consumo, y que los mejores resultados se asocian con permanencias más prolongadas. El umbral de noventa días traduce en un indicador lo que la evidencia sugiere sobre el proceso de recuperación. La relación, con todo, sigue siendo probabilística: permanecer tres meses indica que se cumplió una condición que la investigación asocia con mayores probabilidades de recuperarse, sin garantizarlo. Fundamentar una huella consiste precisamente en eso: nombrar el supuesto que la conecta con el resultado, mostrar la evidencia que lo sostiene y reconocer hasta dónde llega.

¿En qué condiciones pueden engañarnos?

La tercera pregunta es la más incómoda, y quizá la más importante. La misma evaluación señala que el indicador de «logro terapéutico» constituye una apreciación subjetiva del equipo tratante, y advierte que, en ausencia de un escenario contrafactual —una estimación de cómo habrían evolucionado esas mismas personas sin el tratamiento—, no es posible extraer conclusiones sobre la efectividad causal de los programas. Una huella producida por quienes brindan el servicio, o una huella que no permite distinguir el efecto del programa de lo que habría ocurrido de todos modos, son dos formas frecuentes en que los indicadores nos hablan con más seguridad de la que merecen.

El modelo islandés de prevención muestra otra forma posible de engaño. Desde 2018, la Clínica Psiquiátrica Universitaria de la Universidad de Chile lo implementa junto con municipios y escuelas en seis comunas de la Región Metropolitana. El modelo trabaja sobre los factores de riesgo y de protección que rodean a los adolescentes —la supervisión parental, la participación en actividades deportivas y recreativas, el tiempo que pasan fuera de casa— y los mide periódicamente mediante encuestas. Entre 2018 y 2020, el consumo de alcohol en el último mes entre los escolares encuestados bajó del 45,8 % al 33,9 %, y el consumo de marihuana alguna vez en la vida, del 29,5 % al 18,7 %. Las huellas se movieron en la dirección deseada. Pero ese período incluyó el confinamiento por la pandemia, y los propios investigadores observaron que las restricciones redujeron factores de riesgo como permanecer fuera de casa después de las 22 horas o consumir con pares. Al mismo tiempo, aumentaron los síntomas ansiosos y depresivos. Una huella puede moverse por razones ajenas al programa, y un indicador que mejora puede ocultar una dimensión del bienestar que se deteriora.

Ninguno de estos ejemplos invalida el uso de indicadores proxy. Muestran, más bien, que su valor depende de combinarlos —la retención con la completitud, el consumo con el bienestar emocional— y de preguntarse sistemáticamente quién produce cada dato y qué otras razones podrían explicar sus cambios. Si ninguna huella basta por sí sola y todas pueden, en ciertas condiciones, engañarnos, ¿dónde reside entonces el rigor?

Un rigor elástico

Sería tentador responder que el rigor consiste en abandonar la intuición del cazador que lee huellas en el barro para adoptar el sistema del médico que ordena los síntomas en categorías. La lectura de Ginzburg sugiere algo más matizado. Las disciplinas indiciarias trabajan sobre casos, situaciones y documentos individuales, y por eso nunca se dejaron reducir por completo a las reglas de la ciencia galileana —la que, desde Galileo, busca leyes generales mediante la cuantificación y la experimentación repetible—: sus resultados conservan siempre un margen conjetural. Para nombrar la forma de rigor que les resulta propia, Ginzburg recurre deliberadamente a un oxímoron y habla de un «rigor elástico».

Creo que esa expresión describe bien lo que ocurre cuando un equipo de gestión trabaja con indicadores proxy. Las tres preguntas anteriores ofrecen criterios explícitos, y sin ellos la lectura de huellas se vuelve arbitraria. Pero los criterios no sustituyen el ojo entrenado de quien conoce el programa, las personas y el territorio: el que advierte que un dato demasiado bueno merece sospecha, que un registro cambió de responsable o que una mejora coincide con un acontecimiento externo. Las láminas de orejas de Morelli pueden parecer un simple catálogo, pero detrás de ellas había décadas de mirar cuadros. Del mismo modo, la capacidad para leer huellas se construye en la práctica, y se afina especialmente cuando se contrasta con la mirada de otros.

Por eso el rigor en la medición no siempre pasa por medir directamente lo que queremos medir. Pasa por elegir bien los indicios, fundamentar su relación con la realidad que nos interesa y ser honestos sobre lo que pueden y no pueden decirnos.

La oreja y el cuadro

Morelli podía reconocer la mano de un maestro a partir de una oreja, pero nunca confundió la oreja con el cuadro. Esa distinción, sencilla de enunciar y difícil de sostener en la práctica cotidiana, es la que permite apoyarse en los indicadores para decidir y, quizá, la que mejor protege a un equipo de la tentación de conformarse con el dato que «se parece».

De aquella conversación con el equipo municipal me quedaron algunas preguntas que hoy formularía ante cualquier resultado que no se deja ver. ¿Qué huellas deja realmente en la vida de las personas? ¿Quién produce esos registros y con qué incentivos? ¿Qué dimensión queda afuera de lo que medimos? ¿En qué circunstancias esas huellas se moverían aunque el programa no hiciera nada? Ninguna de ellas tiene una respuesta definitiva, pero formularlas cambia la manera de elegir y de leer los indicadores proxy.

Estas preguntas ocupan un lugar central en el curso-taller Indicadores: indicios y señales para tomar decisiones en la gestión del desarrollo, donde cada participante examina un resultado de su propia iniciativa, lo desagrega en dimensiones y busca, en diálogo con colegas, las manifestaciones observables que permiten seguirlo. Es una habilidad que no se aprende solo en los manuales. Se aprende también en la discusión sobre por qué un dato nos sorprende y en la pregunta persistente de si lo que estamos midiendo nos dice lo que necesitamos saber.

Conocé el curso-taller sobre indicadores, certificado por el Banco Interamericano de Desarrollo  [enlace a la página del BID]

Referencias

Centro de Estudios Justicia y Sociedad. (s.f.). Evaluación de resultados de los programas de tratamiento y rehabilitación del Servicio Nacional para la Prevención y Rehabilitación del Consumo de Drogas y Alcohol, SENDA [Resumen ejecutivo]. Dirección de Presupuestos, Gobierno de Chile. https://www.dipres.gob.cl/597/articles-214465_r_ejecutivo_institucional.pdf

European Union Drugs Agency. (2024). Statistical Bulletin 2024 — methods and definitions for problem drug use. https://www.euda.europa.eu/data/stats2024/methods/pdu_en

Ginzburg, C. (2008). Mitos, emblemas e indicios: Morfología e historia (2.ª ed.). Editorial Gedisa.

La Tercera. (2023, 3 de junio). Estudio revela inesperada consecuencia posterior a la pandemia en adolescentes en Chile. https://www.latercera.com/que-pasa/noticia/la-pandemia-disminuyo-el-consumo-de-drogas-y-alcohol-en-adolescentes-en-chile/FG2RFEJNPVHOVISJGCGYVXA4QU/

National Institute on Drug Abuse. (2018). Principles of drug addiction treatment: A research-based guide (3.ª ed.). https://nida.nih.gov/sites/default/files/podat-3rdEd-508.pdf

Torres Fezza, I. (2023). Casas de Atención y Acompañamiento Comunitario (CAAC): análisis de motivos y modalidades de articulación. Secretaría de Políticas Integrales sobre Drogas de la Nación Argentina. https://www.argentina.gob.ar/sites/default/files/casas_de_atencion_y_acompanamiento_comunitario_caac_analisis_de_motivos_y_modalidades_de_articulacion._junio_2023.pdf

Universidad de Chile. (2022, 29 de noviembre). Presentan resultados de modelo islandés para prevenir consumo de drogas en jóvenes. https://uchile.cl/noticias/193414/presentan-resultados-de-modelo-islandes-para-prevenir-uso-de-drogas

USAID Center for Development Information and Evaluation. (1996). Selecting performance indicators (Performance Monitoring and Evaluation TIPS, n.º 6). USAID.

Wooldridge, J. M. (2020). Introductory econometrics: A modern approach (7.ª ed.). Cengage Learning.

Imagen

Giovanni Morelli, orejas de pintores italianos. Ilustración de Italian Painters (1892). Wikimedia Commons, dominio público. https://commons.wikimedia.org/wiki/File:Morelli_ears.jpg

Para ampliar

European Union Drugs Agency. Key epidemiological indicator: Prevalence of problem drug use (guía metodológica). https://www.euda.europa.eu/system/files/publications/321/Guidelines_Prevalence_Revision_280704_b-1_124620.pdf

Sedronar, Observatorio Argentino de Drogas. Monitoreo de estrategias de atención y acompañamiento comunitario. https://www.argentina.gob.ar/sedronar/observatorio-argentino-de-drogas/monitoreo-de-estrategias-de-atencion-y-acompanamiento-1