Un mismo proyecto de desarrollo se juzga de otra manera según quién lo mire y en qué momento. Quien lo evalúa desde afuera, a mitad de camino o al terminar, puede preguntar cosas que quien lo gestiona día a día no está en condiciones de responder, y a la inversa. Elegir los criterios con que la función gerencial de monitoreo sigue una iniciativa empieza por reconocer desde qué posición se la está mirando.

Hace un tiempo me pidieron evaluar un programa de transferencias monetarias condicionadas en un país de la Región. Quienes debían decidir sobre su continuidad pretendían discontinuarlo. La pregunta que tenía delante no era la que el equipo del programa se hacía a diario, si las transferencias llegaban a tiempo y a quiénes, sino si el programa justificaba seguir existiendo. Ese tablero cotidiano no podía responderla. Un mismo proyecto, mirado desde dos lugares, genera dos conjuntos de preguntas.

Aquella vez mi lugar era el de quien mira desde afuera. En el artículo anterior sostuve que cada actor de una iniciativa lee los criterios con su propia vara: dos gobiernos pueden coincidir en que una campaña de vacunación debe ser equitativa y entender cosas distintas por ello. Esa diferencia nace de los valores y los intereses de cada uno. Hay otra, de origen distinto, que conviene separar de aquélla. Dos personas con los mismos valores pueden ver cosas distintas de un proyecto simplemente porque están paradas en lugares diferentes, y lo que cada una ve condiciona las preguntas que puede formular.

Quien conoce los criterios con que se evalúa la cooperación internacional habrá notado que los cuatro que trabajo en el curso, eficacia, eficiencia, equidad y sostenibilidad, no coinciden con ellos. El Comité de Ayuda al Desarrollo de la OCDE (CAD) usa seis, desde que en su revisión de 2019 agregó la coherencia: pertinencia, coherencia, eficacia, eficiencia, impacto y sostenibilidad. La equidad no figura entre ellos como criterio propio, aunque esa revisión la incorporó a la definición de la eficacia, que ahora incluye los resultados diferenciados entre grupos. En cambio, faltan en el cuarteto tres de los seis: la pertinencia, la coherencia y el impacto. Podría pensarse que es un descuido. Me inclino a creer que es una decisión, y que su sentido depende de quién esté juzgando.

Dos miradores

El CAD pensó sus criterios sobre todo para quien evalúa desde afuera, a mitad de camino o al terminar, aunque sus definiciones admiten juzgar también lo que se espera que ocurra. Para esa persona tiene sentido preguntar si el diseño respondía a las necesidades, si encajaba con lo que hacían otros y qué efectos de largo plazo produjo. El cuarteto cumple otra función cuando lo usa el equipo gestor: reúne las preguntas que éste puede responder mientras el proyecto avanza, con los datos que tiene a mano; información que todavía puede aprovechar para corregir el rumbo. Es el uso que le doy en el curso, y no necesariamente el que tuvo en mente Karen Mokate (2001) al formularlo.

Lo que el equipo ve y puede corregir con el monitoreo

Cada uno de los cuatro criterios responde a algo que el equipo puede observar durante la implementación y modificar sobre la marcha. Si los productos no se entregan con la calidad prevista o los efectos inmediatos no aparecen, la eficacia lo muestra a tiempo para ajustar. Si el costo en confianza o en tiempo ajeno crece más de lo que registra la planilla, la eficiencia, entendida en sentido amplio, lo hace visible. Se puede ver quién queda afuera de un servicio mientras todavía es posible llegar a esas personas. Y los indicios de que lo logrado va a perdurar, o no, solo los ve de cerca quien está implementando. Una historia ficticia sobre un problema real, que conté en La casa que estaba lista para mejorar, lo muestra. Las familias de un programa de mejoramiento habitacional habían aprendido las técnicas, pero en las visitas posteriores muchos materiales seguían guardados o se habían usado en urgencias. En ese solo dato el equipo podía leer la eficacia (capacitación sin cambio de práctica), la eficiencia (recursos que no llegaban a mejoras), a quiénes se les hacía más difícil (familias con menos tiempo o con un enfermo en casa) y cuánto iban a durar las mejoras. Son preguntas con consecuencia inmediata: lo que se descubre mañana se puede usar pasado mañana.

Tres preguntas que el seguimiento cotidiano no formula

La primera es la del impacto: qué cambios de fondo y de largo plazo produjo la iniciativa y cuánto de ellos se debe a ella. Responderla exige comparar con lo que habría ocurrido sin el proyecto, y eso se hace después, con otro tipo de estudio y con otros tiempos. Es la pregunta que se me planteó en el programa de transferencias que mencioné al comienzo. Si justificaba su continuidad era una cuestión de impacto, y la evidencia para responderla estaba en estudios hechos en otros lugares y en otros momentos: tuve que mostrar cómo las evaluaciones de ese mismo tipo de programa en otros países ya habían demostrado sus beneficios. No cito aquí esos estudios, porque formaron parte de un informe de evaluación que no me corresponde difundir. Un equipo que espera esa respuesta para decidir llega tarde. Lo que sí puede hacer mientras tanto es seguir los indicios: si los efectos que busca están apareciendo y hacia dónde se mueven. No pretende demostrar que su intervención los causó; trabaja con la hipótesis, formulada en su teoría del cambio, de que contribuye a ellos.

La segunda es la coherencia, es decir, si la iniciativa es compatible con otras que operan en el mismo país, sector o institución y, cuando apuntan al mismo efecto, se complementan con ella. Un equipo conoce de cerca a sus vecinos más próximos, pero rara vez a todos, y la pregunta no desaparece del seguimiento: entra como supuesto sobre lo que harán otros actores del entorno, que se vigila a medida que éste se mueve.

La tercera es la pertinencia: si los objetivos y el diseño responden a las necesidades de la población, y si siguen haciéndolo cuando las circunstancias cambian. Es la más fácil de dar por saldada, porque se respondió al diseñar el proyecto, y la que más conviene volver a abrir. En el curso la trabajo como parte del aprendizaje de doble ciclo: no solo corregir lo que se hace, sino revisar el supuesto desde el que se actúa.

El riesgo de no volver a preguntar

La omisión de esos tres criterios tiene un precio que conviene reconocer. Imaginemos que, a mitad de la campaña de vacunación que analicé y conté en el artículo anterior, un brote desplaza la prioridad sanitaria de la zona. El equipo podría seguir distribuyendo las dosis con una eficacia, una eficiencia y una equidad intachables según los datos de su tablero, y estar atendiendo una prioridad que ya pasó. Es poco probable que alguno de los cuatro criterios lo advierta. Lo advertiría una pregunta sobre la pertinencia, y alguien tiene que hacerla. Un seguimiento que se concentra en lo que puede corregir corre el riesgo de optimizar con rigor algo que ya no vale la pena. Por eso los momentos de revisión de las propias preguntas forman parte del proceso gerencial, y no son un lujo para cuando sobre tiempo.

No diría que el cuarteto sea mejor ni peor que los seis criterios del CAD. Sirven a perspectivas distintas, a lugares desde los cuales se observa la iniciativa, y quizá lo más útil sea que ambas miradas se encuentren en algún momento de la vida de un proyecto: cuando un equipo gestor reabre la pertinencia, está asumiendo, aunque sea por un rato, la posición de quien mira desde afuera. Queda una pregunta que me gustaría discutir con quienes gestionan proyectos: en una iniciativa en marcha, ¿quién vuelve a hacerle las preguntas que el seguimiento cotidiano no formula, y cada cuánto?

Muchas de estas cuestiones, en particular cómo se decide qué preguntas formular en cada etapa de un proyecto y desde qué posición, son las que trabajo con mayor profundidad en el curso-taller Proceso Gerencial de Monitoreo y Evaluación, cuya próxima edición se describe aquí.

Referencias

Mokate, K. M. (2001). Eficacia, eficiencia, equidad y sostenibilidad: ¿qué queremos decir? (Documentos de Trabajo I-24). Instituto Interamericano para el Desarrollo Social, Banco Interamericano de Desarrollo. https://publications.iadb.org/publications/spanish/document/Eficacia-eficiencia-equidad-y-sostenibilidad-%C2%BFQu%C3%A9-queremos-decir.pdf

OCDE. (2020). Mejores criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del CAD de la OCDE. https://www.oecd.org/es/publications/mejores-criterios-para-una-mejor-evaluacion_8c1741fb-es.html