Esta pauta fue elaborada por Edgar Ortegón y por Juan Francisco Pacheco, Jefe y
experto, respectivamente, del Área de Proyectos y Programación de Inversiones
del ILPES, y por los consultores del ILPES Hugo Navarro y Katiuska King,
quienes se han desempeñado como profesor auxiliar y alumna emérita
respectivamente, del curso sobre “Uso de Indicadores Socioeconómicos para la
Evaluación del Impacto de Proyectos y Programas de Lucha contra la Pobreza”.
Los autores agradecen los valiosos comentarios y sugerencias de Fernando Medina
y Marco Galván de la División de Estadísticas y Proyecciones Económicas de la
CEPAL. Las observaciones y trabajos, tanto individuales como
en grupo, de los alumnos de los últimos cinco cursos sobre “Uso de Indicadores
Socioeconómicos para la Evaluación del Impacto de Proyectos y Programas de
Lucha contra la Pobreza”, donde Fernando Medina se desempeñó como profesor titular, constituyeron un
aporte fundamental para la preparación de este documento. Los autores desean
agradecer, de igual manera, la discusión de estos temas en los cursos del
Diplomado sobre “Gerencia deProyectos y Programas”, llevado a cabo bajo el
patrocinio de CEPAL/ILPES, la Agencia Española de Cooperación Internacional
(AECI) y la Universidad Alcalá de Henares. Las
opiniones expresadas en este documento, que no ha sido sometido a revisión
editorial, son de exclusiva responsabilidad de los autores y pueden no
coincidir con las de la Organización.
Publicación de las Naciones Unidas ISSN impreso 1680-886-X ISSN electrónico
1680-8878 ISBN: 92-1-322831-7 LC/L.2449-P LC/IP/L.266 N° de venta: S.06.II.G.18
Copyright © Naciones Unidas, enero de 2006. Todos los derechos reservados
Impreso en Naciones Unidas, Santiago de Chile La autorización para reproducir
total o parcialmente esta obra debe solicitarse al Secretario de la Junta de
Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados
Unidos. Los Estados miembros y sus instituciones gubernamentales pueden
reproducir esta obra sin autorización previa. Sólo se les solicita que mencionen
la fuente e informen a las Naciones Unidas de tal reproducción.
CEPAL - SERIE manuales
N° 48
Índice
Resumen
7
Introducción
9 1. Evaluación de impacto
ex-ante..13 Paso 1. Diagnóstico
..15 1.
Medición e intensidad de la pobreza.16 2.
Perfil
.28
3. Determinantes de la pobreza..30
Paso 2. Formulación de programas
.33 1. Descripción del Proyecto
1: Nutrición.34 2. Descripción del Proyecto 2:
Vivienda..34 3. Descripción del Proyecto 3:
Capacitación de
jóvenes..35
4. Descripción del Proyecto 4: Acueducto y
alcantarillado35
5. Descripción del Proyecto 5: Microcrédito .36 6.
Descripción del Proyecto 6: Subsidio escolar..36 Paso 3.
Línea base
.37
Paso 4. Selección de beneficiarios39
1. Beneficiarios
permanentes..39 2.
Beneficiarios temporales..43
Paso 5. Simulación de la situación con proyecto y medición del impacto
.44 1. Simulación del
Proyecto 1: Nutrición ..44 2. Simulación del
Proyecto 2: Vivienda45 3. Simulación del
Proyecto 3: Capacitación laboral
ajóvenes.46
3
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
4. Simulación del Proyecto 4: Acueducto y
alcantarillado47 5. Simulación del
Proyecto 5: Microcrédito
.48 6.
Simulación del Proyecto 6: Subsidio escolar..48
Paso 6. Jerarquización por eficacia y eficiencia
49 1.
Restricción presupuestaria50
2. Jerarquización por eficacia
..51
3. Jerarquización por eficiencia
..52
4. Jerarquización por eficiencia según el método ILPES
..53 2. Evaluación de impacto
ex_post
..57
Paso 1. Análisis de los objetivos del
programa..59
Paso 2. Características y efectos del
programa
..61 1.
Modalidades de inscripción o ingreso al programa por parte de losbeneficiarios
..61
2. Componentes del programa .62
3. Efectos
62
4. Factores exógenos ajenos al control del
programa ..63 5. Diagrama de
flujo
.64
Paso 3. Identificación de las preguntas de evaluación
66 1. sCuáles
efectos
evaluar?66
2. sQué se quiere conocer de los efectos del
programa? 69 Paso 4. Selección
de los
indicadores70
1. Indicadores de impacto
..71
2. Indicadores de factores exógenos
.73
Paso 5. Estimación del
impacto..75
1. Opción 1: Evaluación con grupos de
controlreflexivos80 2. Opción 2:
Evaluación con grupos de control no
equivalentes88 3. Opción 2.1: Diseño sólo
después..94
4. Opción 2.2: Diseño de diferencias en diferencias
97 Paso 6. Análisis de
eficacia y eficiencia
.104
1. Eficacia
104
2. Eficiencia
105
Conclusiones
.109
Bibliografía
.111
Anexos
.115
Serie manuales: números publicados..129
Índice de cuadros
Cuadro 1 Cuadro 2 Cuadro 3 Cuadro 4 Cuadro 5 Cuadro 6 Cuadro 7 Cuadro 8 Cuadro
9 Cuadro 10 Cuadro 11 4 MIP Línea de pobreza absoluta para hogares y personas
.24 MIP Línea de pobreza relativa
parahogares y personas ..25 Número de
pobres según método de medición
..28 Participación de
los pobres en el total de población de cada grupo 29
Participación vertical de los pobres en cada método de medición
..30 Efectividad según niveles de participación de
la comunidad en proyectos rurales de
agua..34
Impacto Proyecto 1
..44
Impacto Proyecto 2 ..46
Impacto Proyecto 3
..47
Impacto Proyecto 4 ..47
Impacto Proyecto 5
..48
CEPAL - SERIE manuales
N° 48
Cuadro 12 Cuadro 13 Cuadro 14 Cuadro 15 Cuadro 16 Cuadro 17 Cuadro 18 Cuadro 19
Cuadro 20 Cuadro 21 Cuadro 22 Cuadro 23 Cuadro 24
Impacto Proyecto
6..
49 Visitas al médico..
71 Estado de salud del
niño
..
72 Estado nutricional.
72 Características de los
niños.
73 Característica de la
madre
73 Características del
hogar..
74 Características del municipio
75 INBI e ICV en los municipios de las provincias de la Sabana Centro y
Occidente..
91 Tamaño de la muestra del grupo de
control.
94 Matriz de impacto en el diseño de diferencias en diferencias
(teórica) 101 Matriz de impacto en el diseño
de diferencias en diferencias (resultados) 101
Matriz de impacto en el diseño de diferencias en diferencias
(teórica) 102
Índice de tablas
Tabla1 Tabla 2 Tabla 3 Tabla 4 Tabla 5 Tabla 6 Tabla 7 Tabla 8 Tabla 9 Tabla 10
Tabla 11 Tabla 12 Tabla 13 Tabla 14 Tabla 15 Tabla 16 Tabla 17 Tabla 18 Tabla
19 Tabla 20 Variables de impacto..
38 Línea de base para cada proyecto
..
38 Beneficiarios por
proyecto..
39 Rentabilidad privada y social
50 Costos y tipo de acción pública de los proyectos
. 51
Impacto por indicador
52 Jerarquización por eficacia
.
52 Jerarquización por eficiencia o costo
impacto
53 Jerarquización según el método
ILPES..
54 Indicadores de impacto en la situación con y sin
proyecto. 81 Impacto
promedio del programa usando controles
reflexivos. 82 Modelos
econométricos en la estimación del impacto del
programa.. 83 Estimación econométrica del
impacto del programa
. 84 Estimación
econométrica del impacto del programa aislando el efecto de los factores
exógenos
86 Indicadores de impacto en la situación sin y con
proyecto. 95 Impacto
promedio del programa usando el diseño de sólo
después. 96 Diferencias entre los grupos
de control y tratamiento en la situación sin proyecto
..
99 Indicadores de impacto para el grupo de tratamiento en la situación sin y
con
proyecto..
100 Indicadores de impacto para el grupo de tratamiento en la situación sin y
con proyecto..
100 Impacto del programa medido con el diseño de diferencias en
diferencias.. 102
Índice de gráficos
Gráfico 1 Gráfico 2 Gráfico 3 Gráfico 4 Gráfico 5 Gráfico 6 Gráfico 7
Incidencia de lapobreza absoluta de personas por
zona.. 20 Componentes
del INBI pobreza de personas..
21 Incidencia de la pobreza extrema de personas por zona
.. 22 Componentes del
INBI extrema pobreza de personas
.. 23 Método
integrado de la pobreza
absoluta..
24 Componentes del
IDH
25 Curva de Lorenz
27
5
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Gráfico 8
Impacto del programa en el riesgo de desnutrición al primer año de ejecución
según diferentes diseños de evaluación de
impacto.. 103
Índice de diagramas
Diagrama 1 Diagrama 2 Diagrama 3 Diagrama 4 Diagrama 5 Diagrama 6 Diagrama 7
Diagrama 8 Diagrama 9 Diagrama 10 Diagrama 11 Diagrama 12 Diagrama 13 Diagrama
14 Diagrama 15 Diagrama 16 Diagrama 17 Diagrama 18 Diagrama 19 Diagrama 20
Diagrama 21 Evaluaciones de impacto y el ciclo del
proyecto..11Evaluación de
impacto ex-ante y ex-post
.14 Mapa o
esquema operativo de la evaluación ex-ante .15
Criterios de selección Proyecto 1 Nutrición
39 Criterios de
selección Proyecto 2
Vivienda.40
Criterios de selección Proyecto 3 Capacitación de jóvenes
40 Criterios de selección Proyecto 4
Acueducto y alcantarillado ..41 Criterios de
selección Proyecto 5 Microcrédito 41
Criterios de selección Proyecto 6 Subsidio escolar
.42 Criterios de selección
trabajadores Proyecto 2 Vivienda .43
Criterios de selección trabajadores Proyecto 4 Acueducto
.44 Pasos para evaluar el impacto de un
programa social 59 Factores
exógenos al programa que son determinantes de la nutrición de los niños
..64
Diagrama de flujo
.65
Efectos incluidos en
laevaluación68
Ruta a seguir en la selección y aplicación de los diseños de evaluación de
impacto 77
Diseño cuasi-experimental con controles reflexivos
..80 Diagrama de flujo de la
evaluación usando grupos de control..88 Diseño
sólo
después.94
Flujo de caja del programa usando el diseño sólo después con grupos de
comparación equivalentes ..96
Diseño de diferencias en diferencias
..97
Índice de recuadros
Recuadro 1 Recuadro 2 Recuadro 3 Recuadro 4 Recuadro 5 Recuadro 6 Recuadro 7
Recuadro 8 Recuadro 9 Recuadro 10 El ciclo del proyecto
11
Métodos de medición de la pobreza
18
Componentes del índice de necesidades básicas insatisfechas
(INBI)..21 Autonomía económica de la mujer
..36
Otros criterios de selección de beneficiarias para un proyecto similar
.42 Ventajas comparativas delProyecto
145
Objetivos del
programa..60
Efectos identificados a partir de los objetivos del
programa..60 Estándares para medir eficacia
..70
Demostración matemática del sesgo que se genera al no aislar un factor exógeno
al programa
.85
Recuadro 11 Prueba estadística de diferencia de
medias..92
Índice de figuras
Figura 1 División de las provincias de la sabana centro y occidente
..90 Figura 2 Municipios
seleccionados para conformar el grupo de control93
6
CEPAL - SERIE manuales
N° 48
Resumen
Aumentar la eficacia y la eficiencia de las políticas públicas es un objetivo
permanente de los gobiernos. Para responder a
este desafío, en la última década se han desarrollado nuevas herramientas de
gestión que permiten el monitoreo y la evaluación de los resultados de las
inversiones públicas en la reducción de la pobreza y mejora de los indicadores
sociales de los países. Una de las herramientas más relevante hoy en día en la
administración pública es la evaluación de impacto. Esta Pauta
Metodológicamuestra paso a paso y de la manera más didáctica posible el
procedimiento de la evaluación impacto. Para la evaluación ex–ante se analizan
seis proyectos sociales con la información disponible del Sistema Integrado de
Selección de Beneficiarios (SISBEN) aplicando en primera instancia simulaciones
denominadas “antes y después” o “sin y con proyecto”. Para
la evaluación ex–post, se examina el programa “Familias en Acción” de Colombia,
y se emplea un diseño experimental “antes y después” con grupo de control.
7
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
La aplicación de una evaluación impacto requiere del conocimiento y manejo de métodos de
investigación y técnicas estadísticas que en algunos casos pueden llegar a ser
de difícil implementación. Con el propósito de facilitar la aplicación de estos
métodos y técnicas, en la presente Pauta se analiza y desarrolla paso a paso
cada una de las actividades que se deben seguir en una evaluación de impacto
tanto ex–ante como
ex–post. En la evaluación ex ante, la Pauta se concentra en seis pasos con sus
respectivas actividades: 1) Diagnosticar la pobreza en el área geográfica respectiva;
2) Proponer alternativas de solución a los problemas específicos identificados;
3) Levantar la línea de base; 4) Seleccionar los posibles beneficiarios; 5)
Simular la situación con proyecto y medir el impacto de los programas; 6)
Jerarquizar los proyectos por eficiencia y eficacia. Por otro lado, en la
evaluaciónex–post los pasos son: 1) Analizar los objetivos del
programa a evaluar; 2) Determinar las características y los efectos del programa; 3) Identificar las preguntas de evaluación;
4) Seleccionar los indicadores de impacto; 5) Estimar el impacto del programa; 6) Analizar la eficacia y eficiencia del programa. La Pauta
cuantifica el impacto de los programas mediante los enfoques cuantitativos
indirectos de medición de línea de pobreza (ingreso), el método de necesidades
básicas insatisfechas, el método integral de la pobreza y el índice de
desarrollo humano. Aunque los resultados que arrojan los diferentes enfoques no
sean comparables, su estimación permite tener un conocimiento más amplio de la
pobreza desde diferentes perspectivas. De igual manera, mediante el desarrollo
riguroso de cada paso la Pauta se propone también demostrar y facilitar la
aplicación de la evaluación impacto a proyectos y programas sociales. La
evaluación de impacto ex–post permite determinar si las intervenciones cumplen
o no con los objetivos y metas planteados y si el cambio experimentado en el
bienestar de los beneficiarios es atribuible a las acciones de estas
intervenciones. La Pauta, mediante su enfoque metodológico, busca ante todo
extender la práctica de la evaluación impacto, servir de guía para las
actividades docentes que el ILPES y otras instituciones llevan a cabo sobre la
materia y ampliar la discusión sobre el tema a fin de aumentar la eficacia, la
eficiencia y la equidad de las políticas públicas.
8
CEPAL - SERIE manuales
N°48
Introducción
La preocupación fundamental que surge al momento de realizar una acción
pública, sea esta un plan programa o acción es que esta mejore el bienestar de
la población. Es deseable entonces analizar los impactos generados por estas
acciones públicas en el bienestar de la población. Muchas veces las
intervenciones del Estado no tienen los suficientes elementos de juicio que
permitan tomar la decisión más adecuada, es por eso que la evaluación de
impacto muestra con precisión las relaciones de causalidad producidas por un
proyecto en cuestión. Estimar el impacto de un proyecto requiere comparar la
situación actual de los beneficiarios con la que hubieran experimentado en caso
que de no haber sido beneficiarios del
proyecto. Dado que es imposible observar a los individuos en estos dos
escenarios al mismo tiempo, es necesario utilizar diseños de evaluación
experimentales y/o cuasi-experimentales para construir un escenario contrafactual
que simule la situación de los beneficiarios en el escenario de no
participación en el programa. Estos diseños deben incluir como mínimo un grupo de tratamiento
(beneficiarios) y uno de control (escenario contrafactual).
9
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Los diseños de evaluación experimental y cuasi experimental se diferencian
principalmente en la forma como
se asignan los participantes a los grupos de tratamiento y control. En el
diseño experimental los participantes se asignanaleatoriamente antes de
iniciarse la operación del
proyecto. La asignación aleatoria permite conformar grupos que sean en promedio
similares en todas sus características excepto por su participación en el
proyecto. De este modo, las diferencias entre los dos grupos se deberán
exclusivamente a la intervención. Por el contrario, en los diseños
cuasi-experimentales la asignación es no aleatoria, de modo que el grupo de
control puede conformarse una vez el programa ha iniciado su operación. En
estos diseños el método de asignación dificulta la conformación de grupos
similares, lo que hace necesario el uso de técnicas estadísticas y
econométricas para corregir el sesgo de selección generado. Se utilizan para
esto técnicas como
los métodos de pareo y las variables instrumentales. La evaluación de impacto,
al igual que cualquier otra evaluación, puede realizarse antes (exante) o
después (ex-post) de la ejecución del
proyecto. En términos generales es conveniente realizar evaluaciones de impacto
ex-ante cuando se quiere escoger el proyecto o la combinación de los mismos que
pueda contribuir de forma más efectiva a la reducción de la pobreza; y para las
evaluaciones ex-post, cuando la evaluación de impacto puede retroalimentar la
efectividad del proyecto en cuestión. Tal como
se muestra en el diagrama 1, las evaluaciones de impacto ayudan al proceso de
toma decisiones de este ciclo. La evaluación ex-ante ayuda a tomar la decisión
de cual es el proyecto o la combinación de proyectos que producirá un mayor
impacto en la pobreza uotro indicador acorde con la planificación establecida.
Por otro lado, la evaluación ex-post permitirá validar si efectivamente el
programa está cumpliendo los objetivos para los cuales fue creado y podrá
retroalimentar la ejecución del
mismo para mejorar aquellos puntos sobre los cuales haya problemas. El objetivo
de esta Pauta metodológica es mostrar paso a paso como
se pueden realizar evaluaciones de impacto ex-ante, para decidir cual es el
proyecto más conveniente en términos de eficiencia y eficacia así como realizar una
evaluación de impacto ex-post a través de dos ejercicios prácticos. Es así como la evaluación de impacto ex-ante debería convertirse
en un paso adicional de la evaluación de proyectos y en los casos que amerite
la evaluación de impacto ex-post debería empezar desde el diseño u operación del proyecto. En el
recuadro 1 se recuerda el ciclo del
proyecto y en el diagrama 1 se presenta la evaluación de impacto dentro de este
ciclo.
10
CEPAL - SERIE manuales
N° 48
Recuadro 1
EL CICLO DEL PROYECTO En forma general el ciclo del proyecto está compuesto por tres fases
(o estados) sucesivos: preinversión, inversión y operación. La fase de
preinversión corresponde a todo el proceso que se realiza para identificar
adecuadamente un problema o necesidad, formular y preparar alternativas de
solución y evaluarlas con el objeto de determinar si es conveniente ejecutarlas
o no y cuál es la más recomendable. Si la decisión es de ejecutar una de las
alternativas de solución al problema, se pasa a lafase de inversión, donde se
realizan el diseño del proyecto y la ejecución de la obra o implementación de
las actividades. Finalmente, en la fase de operación se pone en marcha la obra
terminada o el plan específico a seguir, de acuerdo a lo proyectado. En esta
fase se comenzarán a generar los beneficios estimados en la preinversión. En la
fase de preinversión se distinguen las siguientes etapas: perfil,
prefactibilidad y factibilidad; y en la fase de inversión las de diseño y
ejecución del
proyecto. La fase de operación corresponde a la puesta en marcha de los
proyectos y la operación plena. Durante la fase de preinversión se efectúan
evaluaciones ex-ante del proyecto y en la de
operación puede efectuarse un seguimiento a fin de efectuar una evaluación
ex-post de él, sin embargo la evaluación ex-ante debe estar concebida desde el
diseño del
proyecto. Por evaluación ex-ante se entenderá la comparación, numérica o no, de
los costos y beneficios que se estima generará el proyecto si es ejecutado. Si
dicha comparación se realiza desde el punto de vista de la empresa o entidad
que realiza el proyecto será una evaluación privada. En cambio, si la
evaluación se realiza desde la perspectiva de la sociedad en su conjunto, se
tratará de una evaluación social. Por control de proceso se entenderá el
seguimiento físico y financiero que se realiza a un proyecto durante la etapa
de ejecución. Se evalúa el avance de las obras o acciones en términos de cantidad,
calidad, costo incurrido versus el presupuestado y cumplimiento delcronograma.
Todo esto se resume en un Informe de Término de Proyecto. Las evaluaciones
ex-post permiten determinar una evaluación de resultados para ver si
efectivamente el proyecto o programa está alcanzando (o alcanzó) los objetivos
estimados en la evaluación ex-ante así como
los objetivos planteados por el proyecto.
Fuente: Serie Manuales 24 ILPES, “Bases conceptuales para el ciclo de cursos
sobre gerencia de proyectos y programas. Diagrama 1
EVALUACIONES DE IMPACTO Y EL CICLO DEL PROYECTO
PREINVERSI ON
EVALUACIÓN EX-ANTE
INVERSION
INICIO EVALUACIÓN EX-P OST
OPERACIÓN
Evaluación de resultados Control de proceso
RESULTADOS EVALUACI Ó N EX-POST
Fuente: Elaboración de los autores.
11
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
En una primera parte, esta Pauta se evalúa el impacto ex ante de seis proyectos
sociales formulados por la Alcaldía de Zipaquirá aplicando un diseño
cuasi-experimental denominado “antes y después” o si se quiere expresar de otra
forma sin proyecto y con proyecto. Estos seis proyectos tratan temas variados
desde subsidios nutricionales y subsidios por educación hasta proyectos de
construcción de vivienda y alcantarillado pasando por microcrédito y
capacitación a jóvenes. En una segunda parte de la Pauta, el programa “Familias
en Acción” deberá ser evaluado usando un diseño experimental “antes y después”
con grupo de control. En este caso, se utilizará información que fue
recolectadaespecíficamente para evaluar este programa. Se contará con la
información de línea base y un seguimiento para los grupos de tratamiento y
control (ver diagrama 2, panel derecho).
12
CEPAL - SERIE manuales
N° 48
1. Evaluación de impacto ex-ante
La evaluación ex-ante trata de simular el efecto de un proyecto antes de que
este se ponga en práctica o entre en operación. El objetivo de la evaluación
ex-ante es proporcionar elementos de juicio para determinar cual es el proyecto
o la combinación de proyectos que más conviene a la población en términos del cambio de las
condiciones de vida de los beneficiarios. Para las evaluaciones ex-ante, el
diseño del grupo de control será representado por la situación actual de pobreza
de los beneficiarios del proyecto (el “antes”, línea base o situación sin
proyecto), y el grupo de tratamiento corresponderá a la simulación de la
situación con proyecto (el “después”). Así, el impacto del
proyecto será la diferencia en cualquier variable de resultado antes y después
de la ejecución del
proyecto. Para el análisis del caso práctico, en este capítulo se utilizó la
información del SISBEN1 para un municipio colombiano, Zipaquirá, en el que se
implementó el programa “Familias en Acción” y que pertenece al grupo de
tratamiento determinado en la evaluación de impacto ex-post que se analizará en
el capítulo 2. En otras palabras, Zipaquirá es beneficiario del programa “Familias en Acción”.
1
El SISBEN (Sistema Integrado de selección de beneficiarios) realiza encuestas
socioeconómicasque se aplican a la población de menor ingreso con el propósito
de determinar su calidad de vida y permitir su acceso a los programas sociales
de Colombia. El SISBEN nace en 1993 con el establecimiento del marco legal para
la focalización del
gasto social. A marzo del
2005, 99.6% de los Municipios colombianos tenían implantado la actualización
del SISBEN.
13
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Es importante estar conscientes de las limitaciones de validez interna que
surgen al aplicar este diseño, que afectan su confiabilidad al inferir
previamente en la simulación la relación de causalidad que existe entre el
proyecto y los cambios observados en el bienestar de los beneficiarios. Sin
embargo, se considera que los resultados son valiosos para informar la
situación actual de los beneficiarios y contar con una primera medición de los
posibles efectos de los proyectos que se proponen. En el diagrama 2 se muestra
el esquema del diseño “antes” (o sin proyecto) y “después” (o con proyecto) que
se aplicará en este ejercicio (ver panel izquierdo).
Diagrama 2
EVALUACIÓN DE IMPACTO EX-ANTE Y EX-POST
SIN PROYECTO ANTES (línea base situación actual de pobreza) CON PROYECTO
(DESPUÉS) (simulación de la situación con proyecto) SIN PROYECTO ANTES (línea
base) CON PROYECTO DESPUÉS (seguimiento)
Beneficiarios
Yt
X (Proyecto)
Yt+1
Grupo de tratamiento
Yt
X (PEE)
Yt+1
Grupo de control Diseño antes y después
Yt
Yt+1Diseño antes y después con grupo de control Fuente: Elaboración de los
autores.
Este capítulo está dividido en seis partes, cada una corresponde a los pasos
que se debe seguir para realizar una evaluación de impacto ex-ante, tal como se observar en el
diagrama 3. PASO 1) Se empezará por un diagnóstico de la pobreza en la
municipalidad escogida. PASO 2) Posteriormente, se describirán las alternativas
de solución a los distintos problemas de la región en cuestión, en base a la
formulación detallada de los seis proyectos antes mencionados. PASO 3) Para
cada proyecto se levantará la línea
de base para los indicadores que sufrirán alguna modificación. PASO 4) Se
realizará una selección de los posibles beneficiarios de acuerdo a la
descripción del
proyecto. PASO 5) Con estos beneficiarios se simulará la situación con proyecto
en los indicadores escogidos en el
paso 3 y se medirá el impacto de cada proyecto. PASO
6) Finalmente, se realizará una jerarquización de los proyectos solamente por
costos, por eficacia, de acuerdo al impacto y por eficiencia, de acuerdo a la
relación costo impacto.
14
CEPAL - SERIE manuales
N° 48
Diagrama 3
MAPA O ESQUEMA OPERATIVO DE LA EVALUACIÓN EX-ANTE
3$62 -HUDUTXL]DU ORV SURHFWRV SRU
HILFLHQFLD HILFDFLD 3$62 6LPXODU OD
VLWXDFLyQ FRQ SURHFWR PHGLU HO LPSDFWR GH ORV SURJUDPDV 3$62 6HOHFFLRQDU ORV SRVLEOHV EHQHILFLDULRV 3$62 /HYDQWDU OD OtQHD GH EDVH 3$62 3URSRQHU
DOWHUQDWLYDV GH VROXFLyQ D ORV GLVWLQWRV SUREOHPDV GHO iUHD DFRUGHV D OD
SODQLILFDFLyQ DWUDYpV GH OD IRUPXODFLyQ GH SURHFWRV 3$62 5HDOL]DU XQ
GLDJQyVWLFR GH OD SREUH]D HQ HO iUHD JHRJUiILFD G
Fuente: Elaboración de los autores.
Paso 1. Diagnóstico
El objetivo de este primer paso es elaborar un diagnóstico de la situación de
pobreza y desigualdad que responda a las preguntas: sA quién se le debe
considerar pobre?, sCuál es la magnitud y la severidad de la pobreza?, y
sQuiénes son los más afectados por la pobreza? En evaluación de proyectos, el
diagnóstico es la descripción de la situación actual del problema que se va a evaluar. Este debe
suministrar información, referente a cuatro aspectos básicos: A) la magnitud y
severidad del
problema, B) scómo afecta a los distintos grupos de la población?, C) scuáles
son sus posibles causas? y D) sus consecuencias. Antes de comenzar con el
diagnostico se presenta a continuación una descripción de la base analizada y
ciertos aspectos metodológicos que se deben realizar antes de empezar cualquier
diagnostico. El municipio objeto de análisis en este capítulo será Zipaquirá
que está situado cerca de la ciudad de Bogotá. La base de datos utilizada es la
del SISBEN, la cual consta de 10,730 hogares y 46,865 personas.2 También se
podría utilizar información del Censo de Población sin embargo, para el caso
práctico analizado en esta Pauta no se incluye dicha información ya que el
último Censo disponible es aquel de 1993, es decir 10 años antes de la
información recolectada por el SISBEN. Por otro lado, cabe mencionar que
existían distintas fechas en las cuales fuerecolectada la información del
SISBEN, todas ellas comprendidas entre enero del
2003 y julio del
2004. En esta base la única variable monetaria era la “ingresos totales
recibidos en el mes”, por lo que se
2
Para realizar análisis comparativos de NBI y pobreza monetaria, de la base
original de los 10,860 núcleos y 47,199 personas se eliminaron los casos con
ingresos nulos, 383 personas. Esto por cuanto en los análisis de pobreza
monetaria sólo se deben considerar los hogares con ingresos estrictamente
positivos.
15
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
procedió a llevar todos estos valores a un solo mes y año,3 de tal forma de que
sean comparables y se pueda utilizar una sola línea de pobreza monetaria. Se
escogió el mes de noviembre 2003 por cuanto este mes recogía la mayor cantidad
de hogares (moda de la variable “ingreso”). Asimismo, cuando se analiza
cualquier serie monetaria, en este caso, la variable “ingreso”, es importante
explorar la información con el fin de comprobar que no existan valores
aberrantes o extremos4 es decir, valores demasiado altos que no reflejen la
realidad sino problemas de digitación o registro. Para este análisis se puede
utilizar la técnica de inspección gráfica mediante un box plot o diagrama de
caja.5 En el anexo 1 se presenta el diagrama de caja de la variable “ingreso”
cruzada con la variable “zona”. En base a este gráfico se eliminaron los
hogares con ingresos mensuales per cápita6 de508,892,000 y 87,199,665 que en
dólares equivalen a US$179,440 y US$30,747. Se consideró que el primer valor es
bastante elevado para una viuda que no tiene ninguna actividad económica y el
segundo es alto para un jubilado con primer grado de primaria. El resto de
casos se mantuvieron porque pueden ser valores reales que reflejen una
inequitativa distribución del
ingreso. En este punto cabe hacer una aclaración del caso, si bien es cierto la
variable monetaria de ingresos mensuales de la base de datos analizada se encuentra
en pesos colombianos para facilitar la lectura, todos los valores monetarios se
van a presentar en dólares de noviembre de 2003.7
1. Medición e intensidad de la pobreza
El primer paso del diagnóstico busca determinar: a) a quién se le debe considerar
como pobre en esta zona, b) cuál es la magnitud de la pobreza, c) cuál es su
intensidad, y d) cuáles serían las ventajas o desventajas de utilizar algunos
de estos índices de pobreza en la formulación y evaluación de impacto de los
programas. La medición de la pobreza es una tarea que involucra aspectos
conceptuales y metodológicos muy variados. Existen diferentes enfoques de
medición, siendo los más utilizados: el índice de incidencia de la pobreza (H),
los índices de Foster (FTG), el índice de necesidades básicas insatisfechas
(INBI), el índice de pobreza humana (IPH) y el índhce de desarrollo humano
(IDH). Cada uno de estos índices aborda el problema de la pobreza bajo
diferentes enfoques teóricos y metodológicos. Por ello, es necesario tener claridadrespecto
a que se esta midiendo cuando se utiliza cada uno de estos indicadores. Lo más
importante, es conocer qué dimensiones de la pobreza incorpora el indicador
(i.e. ingresos, consumo, educasión, salud, vivienda, acceso a servicios
sociales, etc.), qué variables determinan la situación de pobreza de una
persona, qué criterio se utiliza para definir si una persona es pobre o no, y
finalmente, cuál es el método de agregación de los niveles de bienestar
individuales (Feres y Mancero, 2001a).
3
De acuerdo a la variación de la inflación entre el mes y año en el cual se
realizó la encuesta (datos que se encontraban en la base) y el mes y año
escogidos. En el caso que la fecha de realización de la encuesta sea antes de
la fecha escogida, se debe multiplicar por uno más la variación de la
inflación, es decir actualizar el valor con la inflación de los meses
anteriores. Por otro lado, en el caso de observaciones con una fecha posterior
a la fecha escogida se debe dividir por uno más la inflación, es decir descontar
la inflación de los meses posteriores. En inglés a estos puntos se los conoce como
'outliers'. El box plot da una idea de la distribución de una
variable aun cuando el número de observaciones sea pequeño. Permite localizar
valores aberrantes es decir valores muy extremos (Govaerts, 2002). Se suman los
ingresos de los perceptores del
hogar y se divide para el número total de personas en el hogar. En este caso
cada persona tiene la misma ponderación, sin embargo en otras metodologías se
consideranponderaciones diferentes por grupos de personas. Para esto se
consideró la Tasa representativa del mercado que se refiere a la tasa promedio,
calculada considerando únicamente los días hábiles tomada de la
Superintendencia Bancaria, cálculos del Banco de la República, Estudios
Económicos.
4 5
6
7
16
CEPAL - SERIE manuales
N° 48
Mientras, el índice H es un método indirecto de medición de la pobreza a través
de variables monetarias que reflejan el ingreso del hogar, el índice INBI es un
método directo para la medición de la pobreza a través de variables de
infraestructura, educación y dependencia económica. El índice H forma parte de
los índices de Foster (incidencia, brecha y severidad) que utilizan variables
monetarias como
el ingreso. El índice H o incidencia de la pobreza cuantifica el número de
pobres es decir la población que se encuentra bajo la línea de la pobreza. La brecha de la
pobreza es la distancia media que separa a la población de la línea de pobreza, asignándole a las
personas no pobres una distancia de cero. Este índice cuantifica los recursos
necesarios para eliminar la pobreza mediante transferencias de renta dirigidas.
La severidad de la pobreza mide la el cuadrado de la distancia media a la cual
se encuentran los pobres de la línea de pobreza, otorgando más peso a las
personas más pobres. El índice de Gini mide la desigualdad de una región o un
país. Por último, los índices IPH e IDH asignan puntajes y sirven para comparar
países o regiones en base al puntaje obtenido.8
8
EdgarOrtegón, “Estado, Bienestar y Planificación”, conferencia dictada en la
Universidad de Concepción, 2005.
17
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recuadro 2
MÉTODOS DE MEDICIÓN DE LA POBREZA
Existen cuatro métodos para medir y cuantificar a la pobreza, así como para
identificar a quién se puede considerar como pobre: 1. El Método Indirecto.
Mide la pobreza a través de un enfoque cuantitativo, es decir a través de un
nivel de ingreso o consumo, se determina la
línea de la pobreza. Se define como pobre a una persona carente de recursos
monetarios suficientes para comprar una canasta de bienes y servicios que
satisfagan un nivel mínimo de necesidades y que generen un conjunto básico de
capacidades. El método indirecto de medición de pobreza es un método monetario
y es indirecto porque se asume que el ingreso es un medio para satisfacer
necesidades. Este método se realiza mediante las encuestas de hogares y permite
la continua obtención de información de pobreza monetaria. Este método responde
a un criterio utilitarista del
bienestar. 2. El Método Directo, o de las Necesidades Básicas Insatisfechas.
Intenta acercarse a un enfoque de medición más cualitativo que cuantitativo sin
embargo, concibe a la pobreza como un conjunto
de necesidades, en vez de concebirla como
la carencia de capacidades. A partir de un conjunto de necesidades
insatisfechas (educación, salud, vivienda, nutrición) se fija la línea de
pobreza, un hogar que nosatisface ciertas necesidades que se consideran
básicas, es considerado como pobre. Es así como
se define como
pobre a una persona que adolece de carencias graves en el acceso a servicios
básicos que proveerían las capacidades suficientes para funcionar normalmente.
Este método es más estable en el tiempo pero más difícil de obtener por la
falta de información. La satisfacción de necesidades depende parcialmente de
decisiones familiares (Medina,
2005a). 3. El Método Integral de la Pobreza. Es una aportación latinoamericana,
en función de que los dos métodos anteriormente expuestos presentan ciertas
limitaciones que impiden una cuantificación exacta de la pobreza. El Método
Integral intenta reunir los puntos rescatables de los dos métodos anteriores,
pero el resultado es menos confiable, porque se puede hacer una doble
cuantificación. Es importante señalar, que estos tres métodos, representan tres
maneras distintas de concebir a la pobreza y por lo tanto de identificarla.
Según el método que se utilice dependerá el resultado. Este método también
presenta serias limitaciones. 4. Pobreza humana. Se refiere a la negación de
oportunidades y opciones básicas para el desarrollo Humano. En este método, la
pobreza es un fenómeno multidimensional definido como la insatisfacción o privación de las
capacidades básicas, es decir, la imposibilidad de vivir una vida mínimamente
decente (Sen, 1995). Por esta razón, la definición comprende, además de la
insatisfacción de una o más necesidades humanas básicas, la carencia de
oportunidadespara satisfacerlas. Esta medida se propone resumir tres aspectos
de la pobreza: la probabilidad de morir a una edad temprana, la privación de
educación básica, y la falta de acceso a recursos públicos y privados (PNUD). Para esto se considera las siguientes variables: -
Porcentaje de personas que morirán antes de los 40 años. - Porcentaje de
adultos analfabetos. - Porcentaje de personas sin acceso a servicios de salud
(partos sin atención profesional o embarazos sin control pre-natal) y agua
potable. - Porcentaje de infantes con bajo peso al nacer. Generalmente, se
utiliza el primer método para medir, cuantificar e identificar la pobreza. En
el método indirecto o de la Línea de pobreza, el objetivo es medir a la pobreza
a través de la incapacidad monetaria para satisfacer lo básico sobre la base de
un ingreso mínimo, por eso se lo conoce como el “método del ingreso”. Consiste
en calcular el ingreso mínimo requerido para satisfacer la canasta básica; a
partir de este ingreso mínimo se obtiene la línea
de la pobreza, la cual identifica como
pobres a todos aquellos hogares cuyo ingreso es inferior a dicha línea. A los
hogares que no cubren con su ingreso el valor de una canasta alimentaria, se
les considera pobres. Aquellos hogares que no cubren con su ingreso la mitad del valor de la canasta alimenticia de la definición de
pobres, se les considera como
pobres extremos.
Fuente: Rolando Cordera, https://www.rolandocordera.org.mx/.
Aunque los resultados que arrojan los diferentes enfoques de medición de la
pobreza noson comparables, su estimación permite tener un conocimiento más
amplio de la pobreza, desde diferentes perspectivas. Por ejemplo, mientras el
indicador de necesidades básicas insatisfechas muestra que la pobreza en
Colombia disminuyó 30.1% entre 1993 y 1998, el índice de incidencia 18
CEPAL - SERIE manuales
N° 48
de la pobreza (H) muestra que la reducción fue de sólo 8.7%.9 De este modo, la
definición de pobreza que se adopte y los indicadores que se seleccionen
afectará la formulación y evaluación proyectos y programas de lucha contra la
pobreza (Van del Walle, 1995). A continuación, se analizarán los índices antes
mencionados. 1.1. Pobreza El criterio utilizado para medir la incidencia de la
pobreza monetaria es el ingreso en una definición simplificada, ya que por
ejemplo no se incluyen ingresos de autoconsumo ni tampoco los ingresos
recibidos por remesas. Para esta medición
también se puede utilizar el consumo, sin embargo, la base analizada no incluye
esta variable. Como ya se mencionó anteriormente solo se consideran los hogares
con ingreso no nulo porque los hogares que no tienen ingreso, por defecto serán
considerados como no pobres o pobres sólo por NBI en el Método Integrado de la
Pobreza (MIP), siendo que fueron excluidos del cálculo de H. La incidencia de
la pobreza (H) muestra el número de personas u hogares que tienen un ingreso
inferior al valor de una canasta básica de bienes. Este valor se lo conoce
también como
línea de pobreza absoluta y cuyo valor para noviembre de 2003 es de 73.6
dólaresde Estados Unidos. Considerando los indicadores monetarios de pobreza
absoluta, Zipaquirá tiene 91.6% personas pobres y 88.4%, hogares pobres. Estos
índices son elevados, pero existen más personas que hogares pobres.10 Esta
diferencia obedece al hecho que en promedio existen 4.09 personas por hogar. En
el gráfico 1 se puede analizar la incidencia de la pobreza por zona o área
geográfica. Como
se puede observar, la zona rural dispersa tiene una incidencia de la pobreza de
personas de 95.2%, más alto que el promedio del Municipio que es de 91.6%. El
centro poblado tiene la menor incidencia de la pobreza, 89.1% y la cabecera
tiene un % de 91.5 muy cercano al promedio de toda Zipaquirá.
9 10
Cálculos en base al documento “Public spending on social protection in Colombia:
analysis and proposals”. BID. www.iadb.org. Para
profundizar en el cálculo de estos indicadores se puede consultar el Manual 15
del ILPES “El uso de indicadores socioeconómicos en la formulación y evaluación
de proyectos sociales”, en el apéndice “Cálculo de los indicadores sociales”,
pág.76-79.
19
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Gráfico 1
INCIDENCIA DE LA POBREZA ABSOLUTA DE PERSONAS POR ZONA
5XUDO GLVSHUVR
&HQWUR SREODGR
&DEHFHUD
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Por otro lado, también se puede realizar el análisis de pobreza con una línea
de pobreza relativa, pero estano debería estar muy cerca de la línea de pobreza
absoluta, caso contrario, el análisis no aporta información adicional o
relevante. La línea de pobreza relativa es igual
a la mediana de la distribución del ingreso,
es decir, se considera pobre a aquellas personas que tienen un ingreso menor al
valor ingreso que divide la serie del
ingreso en dos partes iguales. En términos prácticos, para el cálculo de la
línea de pobreza relativa se tomó la encuesta de hogares del 2004 en Colombia,
en la cual se calculó la mediana del ingreso para la variable “Ingreso per
cápita ajustado de la unidad de gasto”11 que tiene un valor de US$ 102.4. Es
así como para la pobreza relativa, Zipaquirá tiene un 96.4% de personas y 94.2%
de los hogares pobres. Estos índices son más altos que los obtenidos con la línea de pobreza
absoluta, lo cual es obvio porque el valor de la línea de pobreza relativa es
más alto que el de la pobreza absoluta. Para
complementar el análisis de la pobreza monetaria se calcula el Índice de
necesidades básicas insatisfechas (INBI)12 donde no se realizan consideraciones
monetarias sino que se incluyen dimensiones de vivienda, servicios públicos,
hacinamiento, dependencia económica y educación. Para
este Municipio 25.78% de los hogares y 25.03% de las personas tienen una
necesidad básica insatisfecha y por lo tanto son considerados pobres por NBI.
11 12
Como esta encuesta correspondía a noviembre del 2004, se descontó la inflación anual del 2004 a la línea de
pobreza relativa para obtener una línea anoviembre 2003. Para
profundizar en el cálculo de estos indicadores se puede consultar el Manual 15
del ILPES “El uso de indicadores socioeconómicos en la formulación y evaluación
de proyectos sociales”, en el apéndice “Cálculo de los indicadores sociales”,
pág. 67-75.
20
CEPAL - SERIE manuales
N° 48
Recuadro 3
COMPONENTES DEL ÍNDICE DE NECESIDADES BÁSICAS INSATISFECHAS (INBI) NBI VI:
vivienda inadecuada VS: vivienda sin servicios HC: hacinamiento crítico DE:
dependencia económica Condición Piso de tierra Sin agua por acueducto o sin
conexión a alcantarillado o a pozo séptico Hogares con un número de personas
por cuarto superior a tres Hogares cuyo jefe tenga un nivel educativo inferior
a tercero primaria y en la familia haya tres o más personas por cada persona
ocupada Hogares en los cuales algún niño entre 7 y 11 años, pariente del jefe,
no asista a algún establecimiento educativo.
Fuente: ILPES (2001).
IE: inasistencia escolar
En el siguiente gráfico se pueden observar las participaciones de los
componentes del
Índice de Necesidades básicas insatisfechas de la pobreza.
Gráfico 2
COMPONENTES DEL INBI POBREZA DE PERSONAS
9LYLHQGD LQDGHFXDGD $OWD GHSHQGHQFLD
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
6HUYLFLRV S~EOLFRV ,QDVLVWHQFLD HVFRODU
+DFLQDPLHQWR FUtWLFR
La necesidad que más participa al INBI con un 39.9%, es la alta dependencia
económica, que se calcula como el número de hogares cuyo jefe tenga un nivel
educativo inferior a terceroprimaria y en la familia haya tres o más personas
por cada persona ocupada. En segundo lugar, con un 27.7%, se encuentra el
hacinamiento crítico es decir los hogares con un número de personas por cuarto
superior a tres. Muy de cerca con 27.3% se encuentra la carencia en servicios
básicos (sin 21
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
servicio de agua por acueducto o sin conexión a alcantarillado o a pozo
séptico). Las necesidades de vivienda inadecuada, calculada como
vivienda con piso de tierra y la inasistencia escolar, (hogares en los cuales
algún niño entre 7 y 11 años, pariente del
jefe, no asista a algún establecimiento educativo) son los componentes que
tienen una incidencia marginal de 2% y 3.1% respectivamente. 1.2. Extrema
pobreza En este caso, la incidencia de la extrema pobreza cuenta 56.6% de las
personas de Zipaquirá como indigentes y 51.6% de los hogares como indigentes.
El valor de la línea
de extrema pobreza absoluta es igual al valor de la canasta alimenticia mínima,
es decir el costo necesario para satisfacer los requerimientos nutricionales
mínimos y equivale a US$ 30.2. Estos índices son elevados pues más de la mitad
de la población no tiene ingresos suficientes para adquirir el mínimo de
alimentos necesarios para mantener una dieta adecuada. En el gráfico 3 se puede
observar la incidencia de la pobreza extrema por zonas, en la cual así como
para la incidencia de la pobreza, la zona rural dispersa es la más pobre por
estemétodo y tiene una incidencia de 67.2%, le sigue la cabecera con 57.1% y el
centro poblado con 47%.
Gráfico 3
INCIDENCIA DE LA POBREZA EXTREMA DE PERSONAS POR ZONA
5XUDO GLVSHUVR
&HQWUR SREODGR
&DEHFHUD
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Si se realiza el análisis por necesidades básicas insatisfechas para la extrema
pobreza, es decir cuando se tiene dos o más NBI, se cuenta el 8.13% de los
hogares como indigentes y el 9.25% de las personas.
22
CEPAL - SERIE manuales
N° 48
Gráfico 4
COMPONENTES DEL NBI EXTREMA POBREZA DE PERSONAS
6HUYLFLRV S~EOLFRV
9LYLHQGD LQDGHFXDGD
ChpvAhA€vrAA‡A‚A 6yA‡hA pA…tA‡vpA‚ qrarAqrApvh
DAhA†vA†A‡rApvhA rA†pA‚yhA…
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
En el gráfico 4 se puede observar que para las personas que tienen más de una
necesidad básica insatisfecha, las necesidades más críticas son la falta de
servicios públicos (26.2%), el hacinamiento crítico (25.3%) y la alta
dependencia económica (19.5%), seguidos con porcentajes menores por la vivienda
inadecuada (6.1%) y la inasistencia escolar (4%). 1.3. Método integrado de la
pobreza: H e INBI El método integrado de la pobreza como su nombre lo indica, integra las
mediciones de pobreza monetaria y el método de necesidades básicas
insatisfechas. En el cuadro 1 se presenta la matriz del método integrado de la pobreza. Se puede
observar que Zipaquirá tiene 31.6% delos hogares pobres por NBI y por sus
ingresos, sin embargo, el porcentaje más alto lo representan los hogares pobres
por H pero sin ninguna necesidad básica insatisfecha, 56.9%. Existen 2.3% de
los hogares no pobres pero que tienen alguna necesidad básica insatisfecha, sin
embargo este porcentaje es el más bajo de todos. El último casillero del cuadro muestra el
porcentaje de hogares no pobres ni por ingresos ni por NBI, que es igual a
9.2%.
23
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Cuadro 1
MIP LÍNEA DE POBREZA ABSOLUTA PARA HOGARES Y PERSONAS MIP ABSOLUTO Hogares
Pobres Hogares no pobres Personas Pobres Personas no pobres
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Hogares con NBI 31.6% 2.3% 33.0% 1.3%
Hogares sin NBI 56.9% 9.2% 58.6% 7.2%
En el siguiente gráfico de conjuntos o diagrama de Venn13 (Gráfico 5), se puede
observar que el 33% de los pobres es clasificado como pobres por ambos
criterios, es decir son pobres crónicos. Un 1.3% son pobres estructurales y un
58.6% son pobres recientes, aquellos que no tienen necesidades básicas pero sí
son considerados pobres bajo la línea
de pobreza monetaria. Por otro lado, un 7.2% de las personas se consideran como “no pobres” por
ambos criterios.
Gráfico 5
MÉTODO INTEGRADO DE LA POBREZA ABSOLUTA
14
LP Pobres recientes 58.6% Pobres crónicos 33%
NBI Pobres
estructurales
1.3%
“NO POBRES” 7.2%
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
El métodointegrado de la pobreza se lo puede calcular considerando la línea de pobreza
relativa, explicada anteriormente. En este caso la matriz del MIP sería la presentada en el cuadro 2.
13 14
El gráfico es ilustrador pero con la salvedad de que las áreas no son
proporcionales al porcentaje que representan. El formato del Gráfico fue tomado
de las presentaciones realizadas por los alumnos del
IV Curso Internacional sobre Uso de Indicadores Socioeconómicos para la
Evaluación del Impacto de Programas de Lucha contra la Pobreza realizado en Cartagena de Indias,
Colombia, del 4 al 15 de julio de 2005.
24
CEPAL - SERIE manuales
N° 48
Cuadro 2
MIP LÍNEA DE POBREZA RELATIVA PARA HOGARES Y PERSONAS MIP RELATIVO Hogares
pobres Hogares no pobres Personas Pobres Personas no pobres
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Hogares con NBI 32,4% 1,5% 33,6% 0,7%
Hogares sin NBI 61,8% 4,3% 62,8% 2,9%
En este caso existen más hogares pobres por H relativo pero sin NBI, con un
61.8% y menos hogares no pobres pero con alguna NBI con un porcentaje de 4.3.
También, existen menos hogares no pobres, 1.5%. Los valores que más cambian
respecto al método MIP absoluto son las personas pobres por H pero sin NBI que
aumentan a 62.8% y las personas no pobres por los dos métodos que bajan a 2.9%.
Estos cambios se producen, por el hecho de que para la
línea de pobreza relativa existen más personas pobres que para la línea de pobreza
absoluta. 1.4. El índice de desarrollo humano (IDH) Por otro lado, el índice
dedesarrollo humano15 tiene un valor de 0.606 para Zipaquirá, cabe recordar que
mientras más cercano esté el IDH a 1 mejor se encontrará la región o comunidad
analizada. En el gráfico 6 se pueden observar los valores de los distintos
componentes del
IDH en relación al valor total.
Gráfico 6
COMPONENTES DEL IDH 1,0
0,8
INE
IEV
0,6
IDH
0,4
II 0,2
-
Fuente: SISBEN Zipaquirá y CELADE. Elaboración: Autores.
15
Para profundizar en el cálculo de este indicador se puede consultar el Manual
15 del ILPES “El uso de indicadores socioeconómicos en la formulación y
evaluación de proyectos sociales”, en el apéndice “Cálculo de los indicadores
sociales”, pág,. 82-89.
25
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
El Índice de Ingresos (II) es el que baja la calificación total, por otro lado,
el índice de esperanza de vida16 (IEV) tiene el valor más alto, 0.78, seguido
por el Índice de nivel educativo (INE) con un valor de 0.787. Cabe mencionar
que el Índice de nivel educativo se calcula como un promedio ponderado de la
Tasa de alfabetismo17 que se calcula como el número de personas mayores de 15 años
con tercero de primaria o más años de educación sobre el total de número de
personas mayores de 15 años y la Tasa de escolaridad18 (personas entre 7 y 24
años que asisten al colegio en relación al total de personas entre 7 y 24
años). Zipaquirá tiene una Tasa de escolaridad (TESC) de 0.622 y una tasa de
alfabetismo de 0.859. Es deciren promedio la población del municipio tiene un mejor resultado para
completar hasta tres años de primaria pero tiene mayor dificultad para que los
niños y jóvenes se mantengan en la escuela y/o colegio. No se puede calcular el
índice de pobreza humana, ya que la encuesta SISBEN no cuenta con las variables
listadas a continuación: • Personas que solicitaron el servicio de salud en los
últimos 12 meses. • Personas que solicitaron y no recibieron el servicio de
salud en los últimos 12 meses. 1.5. Índices de intensidad de la pobreza: FTG1 y
FTG2 Para la línea de pobreza absoluta, la
brecha de la pobreza (FTG1)19 es del
56.6%. La brecha de la pobreza se calcula como
la distancia en términos de ingreso que separa a los individuos pobres de la línea de pobreza. Es
decir si toda la población de Zipaquirá tiene un ingreso igual a la línea de
pobreza absoluta se requiere un 56.6% adicional de este ingreso para sacar a
los pobres de la pobreza. La brecha de la pobreza cuantifica el % del ingreso que se
necesita para sacar a los pobres de la pobreza (Del Río y Gradín, 2000). Por
otro lado, la severidad de la pobreza (FTG2) es del 39.9%. Este índice se calcula como la distancia en términos cuadrados entre los pobres y
la línea de la
pobreza, es decir da una medida de qué tan lejos están los pobres de la línea
de la pobreza. Este es un indicador que cumple los axiomas de Sen (monoticidad
y transferencia de ingresos) pero no tiene una interpretación sencilla de
entender y fácil de transmitir (Medina,
2005b). Estos índices debrecha y severidad de la pobreza se los conoce como los índices de
Foster, Green and Thorbecke. Si se toma en cuenta la línea de pobreza relativa,
los índices de intensidad de la pobreza son más altos, la Brecha de pobreza es
de 67.3% y la severidad de la pobreza de 50.9%. 1.6. Medidas de desigualdad La
pobreza y la desigualdad son conceptos que están fuertemente relacionados: dado
un ingreso medio, cuanto más desigual es la distribución del ingreso, mayor será el porcentaje de la
población que vive en pobreza (Banco Mundial, 2003). Zipaquirá tiene una razón
de Kuznets de 1.4. La razón de Kuznets es un indicador del nivel de desigualdad
en la distribución del ingreso y mide de manera comparativa la razón entre el
10%
16
La esperanza de vida para Zipaquirá fue tomada del valor de la esperanza de
vida de toda Colombia de acuerdo al Boletín Demográfico No. 69. América Latina
y Caribe: Estimaciones y Proyecciones de Población. 1950-2050, de CELADE, para
el quinquenio 2000-2005. Que tiene una ponderación de 2/3. Que tiene una
ponderación de 1/3. Para profundizar en el cálculo de este indicador se puede
consultar el Manual 15 del ILPES “El uso de indicadores socioeconómicos en la formulación
y evaluación de proyectos sociales” en el apéndice “Cálculo de los indicadores
sociales” págs.. 79-80.
17 18 19
26
CEPAL - SERIE manuales
N° 48
más rico y el 10% más pobre de la población en un determinado país o región. Es
decir en Zipaquirá el 10% más rico de la población tiene 1.4 veces más ingresos
que el 10% máspobre. El coeficiente de Gini20 es igual a 0.4587, este valor
está muy influenciado por el análisis de puntos extremos realizado en la
depuración de la base, en la medida en que no se eliminen los puntos
aberrantes, el coeficiente de Gini será más alto y por lo tanto reflejara más
inequidad en la distribución del ingreso. En el gráfico 4 se presenta la curva
de Lorenz, cabe recordar que mientras más se acerque la distribución del ingreso a la
equidistribución más equitativa será la zona analizada, en este caso el
Municipio de Zipaquirá.
Gráfico 7
CURVA DE LORENZ
Curva de Lorenz
1.0 0.9 Porcentaje acumulado del
ingreso 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
dq Equidistribución
0.9
1.0
Porcentaje acumulado de los hogares
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Medina (2005) señala que ninguna medición de un fenómeno tan complejo y
multicausal como el de la pobreza se puede efectuar en forma precisa, por lo
que todas las mediciones que se hagan necesariamente encierran un cierto grado
de subjetividad y arbitrariedad, y por tanto deben considerarse parciales e
incompletas.
20
Para profundizar en el cálculo de este indicador se puede consultar el Manual
15 del ILPES “El uso de indicadores socioeconómicos en la formulación y
evaluación de proyectos sociales” en el apéndice “Cálculo de los indicadores
sociales” pág.. 81-82.
27
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
2.Perfil
El segundo paso del
diagnóstico es el perfil de la pobreza. Para
realizar un perfil de la pobreza se deben realizar dos pasos, en primer lugar,
cuantificar la incidencia de la pobreza por grupos y en segundo, determinar
cuanto participa cada grupo al nivel de pobreza según los distintos métodos de
medición. Para el caso que compete a esta
Pauta, Zipaquirá se han determinado tres grupos de análisis: por tramos de
edad, género y área geográfica. Los grupos de análisis estarán determinados por
la disponibilidad de la información en la base de datos. Este análisis del perfil de la pobreza por grupos es una herramienta
muy útil en el diagnóstico, debido a que permite observar la heterogeneidad del problema. Es decir,
identifica aquellos grupos de la población más afectados, los cuales
conformarían el grupo objetivo de cualquier estrategia contra la pobreza.21
2.1. Incidencia de la pobreza por grupos En el cuadro 3 se presenta el número
de personas pobres según cuatro métodos de medición: pobreza monetaria absoluta
(HA), pobreza monetaria relativa (HR), INBI para pobreza (NBIP) e INBI para
extrema pobreza (NBIPE) para los grupos de edad, género y área.
Cuadro 3
NÚMERO DE POBRES SEGÚN METODO DE MEDICIÓN
Pobreza según el método de medición HA HR NBIP NBIPE 6 106 6 304 1 731 840 9
164 9 398 2 489 1 148 7 992 8 448 2 189 694 12 194 12 955 3 037 1 092 5 627 6
084 1 561 395 1 774 1 917 709 159 20 534 21 692 5 668 2 139 22 323 23 414 6 048
2 189 27 254 28 816 6 954 2 374 8 545 9 064 2 033 497 7 058 7 226 2 729 1
457Población total 6 408 9 565 8 754 13 543 6 500 2 037 22 589 24 218 29 797 9
593 7 417
1 2 3 4 5 6 7 8 9 10 11
Personas entre 0 y 5 años Personas entre 6 y 14 años Personas entre 15 y 24
años Personas entre 25 y 44 años Personas entre 45 y 65 años Personas mayores
de 65 años Hombres Mujeres Cabecera Centro poblado Rural disperso
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Sin embargo, lo más interesante es comparar qué grupo tiene mayor incidencia de
pobreza por lo que en el siguiente cuadro se presenta la incidencia de la
pobreza para cada categoría de los grupos.
21
Tomado de ILPES, 2005.
28
CEPAL - SERIE manuales
N° 48
Cuadro 4
PARTICIPACIÓN DE LOS POBRES EN EL TOTAL DE POBLACIÓN DE CADA GRUPO Edad 1 2 3 4
5 6 Personas entre 0 y 5 años Personas entre 6 y 14 años Personas entre 15 y 24
años Personas entre 25 y 44 años Personas entre 45 y 65 años Personas mayores
de 65 años Género 1 2 Hombres Mujeres Área 1 2 3 Cabecera Centro poblado Rural disperso
Pobreza según el método de medición HA HR NBIP NBIPE 95,3% 98,4% 27,0% 13,1%
95,8% 98,3% 26,0% 12,0% 91,3% 96,5% 25,0% 7,9% 90,0% 95,7% 22,4% 8,1% 86,6%
93,6% 24,0% 6,1% 87,1% 94,1% 34,8% 7,8% Pobreza según el método de medición HA
HR NBIP NBIPE 90,9% 96,0% 25,1% 9,5% 92,2% 96,7% 25,0% 9,0% Pobreza según el
método de medición HA HR NBIP NBIPE 91,5% 96,7% 23,3% 8,0% 89,1% 94,5% 21,2%
5,2% 95,2% 97,4% 26,8% 19,6%
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Como se desprende del cuadro 4, por el método de pobreza monetaria, laspersonas
entre 6 y 14 años son las más pobres (95.8%) seguidos muy de cerca de las
personas entre 0 y 5 años (95.3%). Por el método de pobreza monetaria relativa
los más pobres son los niños entre 0 y 5 años con una incidencia de 98.4% y las
personas entre 6 y 14 años con 98.3%. Por el método de NBI insatisfechas las
personas mayores de 66 años tienen una incidencia de pobreza por NBI de 34.8% y
los niños entre 0 y 5 años tienen una de 27%. Por el método de NBI para extrema
pobreza, es decir más de una necesidad básica insatisfecha, los niños entre 0 y
5 años tienen la incidencia más alta 13.1%. Se puede concluir que por tramos de
edad el grupo más vulnerable son las personas entre 0 y 5 años. Al hacer un
análisis por género las mujeres tienen una incidencia de la pobreza más alta
por los métodos monetarios pero tienen índices más bajos por los métodos de
necesidades básicas insatisfechas. Por lo que se puede deducir que la
discriminación viene por el lado de los ingresos más no por el lado de la
infraestructura y servicios. Si se considera el área de residencia, las
personas que viven en la zona rural dispersa son más pobres bajo todos los
métodos de medición (ingresos como
NBI). Con esta misma unanimidad de criterios, la cabecera se encuentra en una
posición intermedia y el centro
poblado en una mejor situación que el resto de áreas.
29
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
2.2. Contribución a la pobreza del
grupo En el cuadro 7 sepresenta el porcentaje de participación de cada grupo a
los métodos de medición de la pobreza (pobreza monetaria absoluta, pobreza
monetaria relativa, INBI para pobreza, INBI para extrema pobreza).
Cuadro 5
PARTICIPACIÓN VERTICAL DE LOS POBRES EN CADA MÉTODO DE MEDICIÓN Edad 1 2 3 4 5
6 Personas entre 0 y 5 años Personas entre 6 y 14 años Personas entre 15 y 24
años Personas entre 25 y 44 años Personas entre 45 y 65 años Personas mayores
de 65 años Total Género 1 2 Hombres Mujeres Total Área 1 2 3 Cabecera Centro
poblado Rural disperso Total HA 63,6% 19,9% 16,5% 100% HA 47,9% 52,1% 100% HA
14,2% 21,4% 18,6% 28,5% 13,1% 4,1% 100% Participación en el grupo HR NBIP 14,0%
14,8% 20,8% 21,2% 18,7% 18,7% 28,7% 25,9% 13,5% 13,3% 4,2% 6,1% 100% 100%
Participación en el grupo HR NBIP 48,1% 48,4% 51,9% 51,6% 100% 100%
Participación en el grupo HR NBIP 63,9% 59,4% 20,1% 17,4% 16,0% 23,3% 100% 100%
NBIPE 19,4% 26,5% 16,0% 25,2% 9,1% 3,7% 100% NBIPE 49,4% 50,6% 100% NBIPE 54,9%
11,5% 33,7% 100%
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Para el método de pobreza monetaria absoluta, las personas que más participan
son por edad, las personas entre 25 y 44 años con el 28.5%, por género las
mujeres, con 52.1% y personas que viven en la cabecera con 63.6%. Para el método de pobreza monetaria relativa participan
los mismos grupos que para la pobreza absoluta con participaciones respectivas
de 28.7%, 51.9% y 63.9%. Estos patrones de participación se repiten para el
métodos de medición de NBI de pobreza donde las personas entre25 y 44 años
participan con el 25.9%, las mujeres, con el 51.6% y personas que viven en la
cabecera con 59.4%. Para el método de INBI de indigencia, las personas entre 6
y 14 años participan con el 26.5%, las mujeres con el 50.6% y las personas que
viven en la cabecera con el 54.9%. En definitiva, se puede concluir que en
términos de número de personas pobres, los más numerosos son las personas entre
25 y 44 años, las mujeres y los que viven en la cabecera de Zipaquirá.
3. Determinantes de la pobreza
El tercer paso del
diagnóstico es realizar la matriz de determinantes de la pobreza según su
estado: crónica, estructural y reciente. La pobreza crónica es aquella en la
cual las personas son pobres tanto por sus ingresos como porque tienen alguna necesidad básica
insatisfecha.
30
CEPAL - SERIE manuales
N° 48
La pobreza estructural es aquella en la cual los individuos no carecen de
ingresos pero sí de infraestructura en vivienda, servicios públicos,
hacinamiento, dependencia económica o inasistencia escolar. En la pobreza
reciente las personas no tienen ingresos suficientes pero tienen todas sus
necesidades satisfechas. En el anexo 2 se encuentran los cuadros del MIP para
la línea de pobreza absoluta con las variables respectivas e indicadores de
Estructura familiar, Estructura ocupacional, Educación, Salud y Acceso y uso de
servicios sociales. Los indicadores calculados de ESTRUCTURA FAMILIAR son los
siguientes: • Tamaño promedio del
hogar = Número de personas / Número de hogares. • Participaciónpromedio de los
niños en el hogar = Número niños entre 0 y 14 años en el hogar / Número de
hogares. • Participación promedio de los jóvenes en el hogar = Número de
jóvenes entre 15 y 24 años en el hogar / Número de hogares. • Participación
promedio de los adultos en el hogar = Número de adultos entre 25 y 44 años en
el hogar / Número de hogares. • Participación promedio de los adultos mayores
en el hogar = Número de adultos mayores entre 45 y 65 años en el hogar / Número
de hogares. • Participación promedio de los personas de la tercera edad en el
hogar = Número de personas de la tercera edad, mayores de 66 años en el hogar /
Número de hogares. • Porcentaje de hogares con jefe mujer = Número de hogares
con jefe de hogar mujer / Número de hogares. Los indicadores calculados de
ESTRUCTURA OCUPACIONAL son los siguientes: • Tasa global de participación
promedio = Población económicamente activa / Población en edad de trabajar. •
Tasa de desempleo = Población desempleada / Población económicamente activa. •
Tasa de ocupación = Población empleada / Población económicamente activa. •
Tasa de inactividad = Población inactiva / Población en edad de trabajar. •
Tasa de dependencia = (Número de niños entre 0 y 12 años en el hogar +
Población inactiva) / Población económicamente activa. • Ingreso per cápita del hogar = Ingreso
total de los hogares / Número de personas. El indicador calculado de EDUCACION
es: • Años promedio de educación de las personas mayores de 22 años = Número de
años de educación / Número de personas. El indicadorcalculado de SALUD es: •
Porcentaje de personas con discapacidad = Número de personas con discapacidad /
Número de personas. Los indicadores calculados de ACCESO Y USO A SERVICIOS
PUBLICOS son los siguientes: 31
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
• Tasa bruta de cobertura primaria promedio = Número de personas que asisten a
primaria / Número de personas entre 6 y 13 años. • Tasa bruta de cobertura media
promedio = Número de personas que asisten a secundaria / Número de personas
entre 14 y 17 años. • Tasa bruta de cobertura superior promedio = Número de
personas que asisten a educación superior / Número de personas entre 18 y 22
años. • Tasa neta de cobertura primaria promedio = Número de personas entre 6 y
13 que asisten a primaria / Número de personas entre 6 y 13 años. • Tasa neta
de cobertura media promedio = Número de personas entre 14 y 17 que asisten a
secundaria / Número de personas entre 14 y 17 años. • Tasa neta de cobertura
superior promedio = Número de personas entre 18 y 22 que asisten a educación
superior / Número de personas entre 18 y 22 años. • Tasa promedio de no acceso
a electricidad de los hogares = Número de hogares sin conexión a la red publica
de electricidad / Número de hogares. • Tasa promedio de no acceso a agua
potable de los hogares = Número de hogares sin conexión a la red publica de
agua potable / Número de hogares. • Tasa promedio de no acceso a acueducto de
los hogares = Número de hogares sin conexión aagua por cañería / Número de
hogares. • Tasa promedio de no acceso a servicio higiénico de los hogares =
Número de hogares sin servicio higiénico / Número de hogares. • Porcentaje
promedio de hogares con casa propia = Número de hogares con casa propia /
Número de hogares. En cuanto a la estructura familiar, el tamaño promedio del hogar es más alto
para las personas que se encuentran en pobreza crónica y es igual a 4.16 frente
a 4.09 de toda la población analizada. Asimismo la participación promedio de
los niños en el hogar es más alta para los pobres crónicos siendo de 33%. Este
grupo etario es uno de los que más participa en el total de la población con un
27.9% junto con el grupo de adultos, entre 25 y 44 años, con un promedio de
28.9%. Los pobres crónicos tienen más niños y personas de la tercera edad que
el promedio de la población así como
menos jóvenes y adultos. Entre los pobres crónicos un 30.2% de los hogares
tienen jefatura femenina frente al 26.7% que es el valor que corresponde a toda
la población. Por otro lado, los indicadores de estructura ocupacional muestran
que las personas que más sufren de desempleo son los pobres crónicos con un
20.2% y los pobres recientes con un 11.2%. Para
este mismo indicador, el grupo de personas que más se ve afectado es el de los
jóvenes, con 25.33%. Esto justifica la propuesta del proyecto de capacitación
laboral a jóvenes, además de que el desempleo juvenil es un problema latente en
América Latina y en el mundo, que ha sido recogido como una meta del Objetivo 8
de losObjetivos de desarrollo del Milenio (Meta 16: En cooperación con los
países en desarrollo, elaborar y aplicar estrategias que proporcionen a los
jóvenes un trabajo digno y productivo). En cuanto a salud, las personas que sufren
de alguna discapacidad son más numerosas entre los pobres estructurales con
2.8% frente a 1.7% del
total de la población. Por el lado del
acceso y uso de servicios públicos, los pobres estructurales tienen la tasa
neta de cobertura de primaria promedio más baja que el resto de los tipos de
pobres, con un 63%. En general, Zipaquirá presenta una baja tasa neta de
cobertura de primaria con tan solo 73% de los 32
CEPAL - SERIE manuales
N° 48
niños entre 6 y 11 que asisten a la escuela. Esto teniendo en cuenta que la Meta 3 de los Objetivos del Milenio es: Velar por que,
para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo
completo de enseñanza primaria. Para la tasa
neta de cobertura media promedio y la tasa neta de cobertura superior promedio
son los pobres crónicos quienes presentan las tasas más bajas con 42% y 2%
respectivamente. En lo que se refiere a la infraestructura, son los hogares
pobres estructurales quienes presentan las tasas más altas de Tasa promedio de
no acceso a agua potable, con un 17.8%, así como la Tasa promedio de no acceso
a acueducto, 71.3% y la Tasa promedio de no acceso a servicio higiénico, 49.4%.
Solo para la Tasa promedio de no acceso a electricidad, son los hogares
considerados pobres crónicos los que tienen la tasa más alta, 1.7%.Los hogares
pobres recientes y los no pobres tienen tasas casi nulas de no accesos a estos
servicios públicos, excepto en el acceso a acueducto, y es así como el 24.4% de
todos los hogares tiene esta carencia. Esta importante carencia en todos los
estratos poblacionales justifica el planteamiento de un proyecto de
construcción de acueducto y alcantarillado. Finalmente, son los pobres crónicos
quienes tienen el más bajo porcentaje promedio de hogares con casa propia con
un 34.5%. Solo el 44.8% de toda la población tiene casa propia, lo que hace
evidente un problema de déficit de viviendas y justifica un proyecto que
proponga la construcción de las mismas. En el anexo 3 se presenta el mismo
análisis que en el anexo 2 pero con la
línea de pobreza relativa. Este diagnóstico permite
tener un conocimiento de la situación actual, el cual debe conducir a la
formulación de una situación futura deseable y posible. Evidentemente esta
situación debe buscar un cambio positivo en las condiciones y calidad de vida
de la población. Este cambio se logra a través de la ejecución de programas y
proyectos sociales que ofrezcan soluciones al problema identificado y que serán
analizados en el siguiente apartado.
Paso 2. Formulación de programas
El siguiente paso de la evolución ex-ante es la formulación de programas. En
base al análisis presentado, las autoridades del
municipio de Zipaquirá han decidido invertir en proyectos que mitiguen la
pobreza, y han establecido como
estrategia principal de su alcaldía disminuir la pobreza deZipaquirá en todas
sus dimensiones. Sin embargo, las autoridades no podrán escoger todos los
proyectos propuestos ya que cuentan con una restricción presupuestaria fija y
han decidido no invertir en un monto más allá del que disponen. En otras palabras una de
las políticas para el uso de recursos de las autoridades ha sido el no
endeudamiento. Se debe tener en cuenta que Zipaquirá cuenta con una provisión
presupuestaria de 480,000 dólares por lo cual se debe determinar cual es el
proyecto o la combinación de proyectos que más contribuye a mejorar el
bienestar de Zipaquirá. De acuerdo al análisis del
perfil de la pobreza, en la incidencia de la pobreza, el Municipio ha
determinado como
criterio prioritario de selección atender a los grupos más vulnerables en este
caso los niños de 0 y 5 años y las personas entre 6 y 14 años. Por otro lado,
el alcalde Zipaquirá ha solicitado a su equipo de analistas el planteamiento de
proyectos de infraestructura, transferencias condicionadas para incidir en
salud y educación, programas de fomento del empleo como capacitación laboral a
los jóvenes o microcrédito a las
33
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
mujeres. Para esto el alcalde ha solicitado a
los analistas que dialoguen con la población de tal forma que los procesos sean
lo más participativos posible. Según el documento “The contribution of people's
participation: 12 rural water suply projects”, del Banco Mundial citado Hacia
una nueva visión dela política social en América Latina, los proyectos
participativos tienen más efectividad que los no participativos. En el cuadro 6
se puede observar que los proyectos en los cuales los beneficiarios tienen un
alto grado de participación, tienen también un alto grado de efectividad. Es
decir, la efectividad de un proyecto está estrechamente ligada con el cápital
social que éste puede incluir.
Cuadro 6
EFECTIVIDAD SEGÚN NIVELES DE PARTICIPACIÓN DE LA COMUNIDAD EN PROYECTOS RURALES
DE AGUA Grado de participación de los beneficiarios Bajo Grado de efectividad
de los proyectos Total de proyectos % del total Bajo Mediano Alto 21 15 1 37
31% Mediano 6 34 18 58 48% Alto 0 5 21 26 21% Total proyectos 27 54 40 121 %
del total 22% 45% 33%
Fuente: Deepa Narayam 'The contribution of people’s participation: 121
rural water supply projects', Banco Mundial, 1994, citado en “Hacia una
nueva visión de la política social en América Latina: desmontando mitos”;
Bernardo Kliksberg (BID), 2004.
El alcalde quiere determinar cuales proyectos son los que ayudan a mejorar más
la angustiosa situación social de Zipaquirá. A continuación, se presenta una
descripción de los proyectos solicitados por el Alcalde.
1. Descripción del Proyecto 1: Nutrición
Es un programa de transferencias condicionadas que entregará subsidios de
nutrición a niños menores de siete años. Este subsidio nutricional consiste en
otorgar a la familia un apoyo monetario directo que permita complementar su
alimentación durante la etapa crítica del
desarrollo delos más pequeños. El monto del
subsidio será de US$ 17.5 al mes por niño, que es el monto que permite adquirir
una cantidad mínima de calorías que se asume necesaria para un desarrollo
normal de un niño de seis años. Se considera un niño de seis años ya que este
valor incluirá a los requerimientos de los niños de menos de seis. La entrega
de este subsidio está sujeta al cumplimiento de compromisos previamente
establecidos por el programa. La entrega de los subsidios se hará a través de
las madres, quienes por lo general, tienden a distribuir los ingresos hacia el
consumo de alimentos, educación y salud. La madre debe garantizar la asistencia
de los niños más pequeños a controles de crecimiento, desarrollo y vacunación.
El municipio tiene capacidad para atender 800 niños por año. El costo de este
proyecto es de US$ 167,557 por año (17.5 dólares x 12 meses x 800 niños).
2. Descripción del Proyecto 2: Vivienda
El programa subsidiará la construcción de vivienda básica de interés social. El
valor del
subsidio cubrirá el valor total de los materiales, equipo y mano de obra. Los
trabajadores que se
34
CEPAL - SERIE manuales
N° 48
contraten deberán ser residentes de la zona en donde se ejecute la construcción
y estar desempleados. El valor del subsidio
será US$ 3,173 por vivienda para materiales y equipo, y US$ 2,398 por vivienda
para la financiación del
costo de la mano de obra no calificada (corresponde a la contratación de 4
trabajadores por 5 meses con un salario mensual de US$ 120). El municipio está
encapacidad de otorgar subsidios para la construcción de 60 viviendas. Las
viviendas se construirán sobre un lote urbanizado y estarán conformadas por dos
habitaciones y un espacio de uso múltiple con cocina, baño y lavadero. Cabe mencionar,
que el valor del subsidio incluye la asesoría
prestada por arquitectos del municipio a los
beneficiarios y el control del
cumplimiento de estándares de calidad. El costo de este proyecto es de US$
334,268 durante el tiempo que tome construir las 60 viviendas, en este caso se
asume que serán cinco meses [(US$ 3,173 + US$ 2,398) x 60 viviendas].
3. Descripción del Proyecto 3: Capacitación de jóvenes
El programa ofrecerá cursos de formación laboral para jóvenes. Los cursos
estarán compuestos de una fase lectiva y una fase de práctica laboral en una
empresa legalmente constituida. Cada fase tendrá una duración de tres meses.
Durante estos 6 meses se desarrollará un componente de proyecto de vida,
enfatizando criterios y valores formativos que faciliten el trabajo en equipo.
El programa entregará un apoyo de sostenimiento que cubrirá los gastos de
refrigerio y transporte durante las dos fases de la formación. El apoyo de
sostenimiento será de US$ 1.9 diarios, excepto para las mujeres que tengan
hijos menores de 7 años, quienes recibirían un aporte mayor y que será de US$
2.7 diarios. El salario esperado de los jóvenes graduados del programa es en promedio de US$ 134.5,
que corresponde al salario mínimo mensual vigente. El municipio puede capacitar
a 250 jóvenes por año, y el costo deesta capacitación es de US$ 458 por joven.
El costo de este proyecto oscilará entre US$ 172,776 y US$ 196,047 por año. El
primer valor corresponde al supuesto de que no existe ninguna joven embarazada
[(US$ 458 + (US$ 1.9 x 20 días laborables x 6 meses)) x 250 jóvenes] y el
segundo valor es el máximo asumiendo que todas las jóvenes seleccionados
estarían embarazadas [(US$ 458 + (US$ 2.7 x 20 días laborables x 6 meses)) x
250 jóvenes]. Teóricamente, esto es posible ya que en la base de datos existen
261 mujeres embarazadas con una edad entre 15 y 24 años.
4. Descripción del Proyecto 4: Acueducto y alcantarillado
El programa subsidia la conexión a acueducto y alcantarillado. El valor del subsidio asciende al 90% del valor de la conexión. El programa
requiere que los trabajadores (mano de obra no calificada) que se contraten
sean residentes de la zona en donde se ejecute la construcción y estar
desempleados. El valor del subsidio será de
US$ 635 por conexión para materiales y equipo, y US$ 599 por conexión para la
financiación del
costo de la mano de no calificada (corresponde a la contratación de 1
trabajador por 5 meses con un salario mensual de US$ 120). El municipio está en
capacidad de subsidiar 300 conexiones. El costo del proyecto es de US$ 370,233 = [(US$ 635 +
US$ 599) x 300 conexiones].
35
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
5. Descripción del Proyecto 5: Microcrédito
El programa promoverá el desarrollo del
microcréditoen Zipaquirá. El gobierno otorgará cápital semilla para
organizaciones no gubernamentales (ONGs) quienes a su vez ofrecerán préstamos a
mujeres por un monto promedio de US$ 1,410. El plazo de financiamiento inicial
será de 12 meses. Adicional al crédito se capacitará a las mujeres en
administración de microempresas. Las ONGs apoyarán las siguientes actividades:
• Elaboración, fabricación y venta de bienes económicos manufacturados,
incluidos los artesanales. • Comercio Minorista-comunitario y organizado-de
bienes y servicios preferiblemente producidos por microempresarias, lo que
supone el desarrollo de una cadena productiva que va desde la compra de insumos
y producción a la comercialización, privilegiando la economía local. El costo del programa asciende a
US$ 1,410 por crédito otorgado, y el municipio desea beneficiar a 200 mujeres
en el primer año. Así, el cápital semilla total que otorgará el gobierno será
de 282,082 millones de dólares. El ingreso esperado de las mujeres beneficiarias
de este crédito es de US$ 123 mensuales. Finalmente, se espera que las ONGs
busquen otros recursos de financiación para continuar el programa y que en un
futuro próximo sean autosostenibles financieramente. El costo del proyecto es de US$ 282,082 = [US$ 1,410
por crédito x 200 mujeres].
Recuadro 4
AUTONOMÍA ECONÓMICA DE LA MUJER Según el documento sobre Objetivos del Milenio
de la CEPAL, la promoción de la equidad de género no es solo un fin en sí mismo
sino un medio indispensable para la consecución de la meta de reducción dela
pobreza. En este documento se menciona que en el 2002 en las áreas urbanas de
América Latina casi el 43% de las mujeres mayores de 15 años carecían de
ingresos propios, comparados con solo el 22% de los hombres. Cuando las personas
no tienen ingresos propios se puede realizar una aproximación a la pobreza
femenina que se relaciona con la falta de autonomía económica es decir la
incapacidad de generar ingresos y en ciertos casos de tomar decisiones sobre
los gastos.
Fuente: Objetivos de Desarrollo del
Milenio: una mirada desde América Latina y el Caribe, CEPAL (2005).
6. Descripción del Proyecto 6: Subsidio escolar
Es un programa de transferencias condicionadas que entregará subsidios
escolares a niños que se encuentren matriculados y estudiando en primaria o
secundaria. Una familia beneficiaria recibirá 5.3 dólares mensuales por niño
matriculado en primaria y 10.6 dólares por niño matriculado en secundaria. El
valor del
subsidio es mayor para los niños que se encuentren en edad de asistir a la
secundaria ya que la probabilidad de que los niños dejen de ir al colegio es
mayor. La entrega de este subsidio está sujeta al cumplimiento de compromisos
previamente establecidos por el programa. La entrega de los subsidios se hará a
través de las madres, quienes por lo general, tienden a distribuir los ingresos
hacia el consumo de alimentos, educación y salud. La madre debe garantizar la
asistencia escolar, por lo tanto, los niños no deben presentar más de 8 faltas
injustificadas durante cada bimestre.
36
CEPAL - SERIE manuales
N° 48
El municipio tiene capacidad para atender 800 niños por año. El costo anual del proyecto oscilaría
entre US$ 50,774.85 (5.3 dólares x 12 meses x 800 niños de primaria) y US$
101,549.69 (10.6 dólares x 12 meses x 800 niños de secundaria. Ante estas
propuestas el alcalde y demás autoridades de Zipaquirá tienen las siguientes
observaciones: • La política de inversiones debe estar sujeta a un diagnóstico
y determinación de puntos de “equilibrio” respecto de los procesos que deben
inducir el recurso que se asignará, es decir con cuanto se puede iniciar un
proceso. Por ejemplo: “El monto del
subsidio será de US$ 17.5 mensuales por niño.” El monto por niño a parte de
estar asociado a una cantidad mínima de calorías para un desarrollo normal,
debería eliminar déficit nutricionales relacionados con peso y talla de acuerdo
a la edad y lugar al que pertenezca el niño. • Si se establece una unidad
nutricional mínima los proyectos de este tipo pueden evaluarse en términos de
resultados en el costo unitario que debería incurrir un proyecto para entregar
esa unidad alimenticia. Aunque si bien es cierto, para combatir problemas
nutricionales no se han propuesto programas de subsidio a la oferta sino
subsidios a la demanda que deberían ir acompañados de programas de capacitación
nutricional para multiplicar el efecto del
subsidio. • Por otro lado, dar por sentado un monto mínimo por persona sin
analizar costos es un poco apresurado, lo correcto es establecer techos
presupuestarios para diferentespolíticas y sobre eso establecer criterios de
asignación, de este modo es menos rígido el sistema y permite desarrollar
proyectos que compitan en eficiencia. Por ejemplo, en el programa de la
vivienda se hubiera podido determinar proyectos diferenciados para hogares
dependiendo de su nivel de ingreso, ayudando con subsidios más altos para los
más pobres y dando márgenes al valor de la vivienda de esta forma no se impone
un tipo estándar de casa para toda la población que así lo requiera. Sin
embargo, y dado que el Alcalde está urgido por poner en práctica los proyectos
en este año, ha decidido aceptar valores fijos de subsidios y beneficiarios,
previendo que en un futuro próximo se fijen techos y pisos a las prestaciones.
Paso 3. Línea base
El tercer paso de la evaluación ex ante consiste en determinar la línea de base
para cada proyecto formulado en el paso 2. Para determinar la línea de base
hace falta definir en un primer momento, las variables sobre las cuales se
asume que el programa en cuestión va a impactar. Es por eso que para cada
proyecto se determinaron a priori las variables sobre las cuales podría haber
un impacto de largo plazo así como los efectos temporales que puede promover el
proyecto. En la tabla 1 se presentan las variables de impacto de los distintos
proyectos.
37
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Tabla 1
VARIABLES DE IMPACTO
Proyectos 1 Nutrición 2 Vivienda Variables de Impacto H, IDH, índices
dedesnutrición NBI, H, IDH, desempleo 240 trabajadores de la construcción
empleados durante cinco meses 256 jóvenes sostenidos durante seis meses 300
personas empleados por cinco meses Efectos Temporales Objetivos Mejorar los
niveles de nutrición de los menores de los niños. Dotar de vivienda a los
hogares que carezcan de ella o vivan en condiciones inadecuadas y generar
empleo temporal con la construcción de las mismas. Capacitar a los jóvenes para
facilitar su inserción en el mercado laboral. Proporcionar acueducto a los
hogares que tengan esta carencia y generar empleo temporal con la construcción
de los mismos. Proporcionar cápital para la generación de pequeñas empresas por
parte de mujeres. Mejorar la permanencia y asistencia de los niños y jóvenes en
edad escolar.
3 Capacitación de Jóvenes 4 Acueducto y alcantarillado
NBI, H, IDH, desempleo NBI, H, IDH, desempleo
5 Microcrédito
NBI, H, IDH, desempleo
6 Subsidio escolar
NBI, H, IDH, tasas neta y brutas de cobertura en primaria y secundaria
Fuente: Elaboración de los autores.
Una vez que se han determinado las variables de impacto se determina la línea
de base para cada variable de impacto, cabe mencionar que la base del SISBEN no
cuenta con variables de desnutrición sobre las cuales el primer proyecto podría
tener impacto. La línea de base consiste en enunciar los valores que cada
variable de impacto, sea de los efectos temporales o de largo plazo tienen en
el momento actual. En la tabla 2 se presenta la línea de base para cada
proyecto con susindicadores pertinentes.
Tabla 2
LÍNEA DE BASE PARA CADA PROYECTO
Proyectos NBIP 1 Nutrición 2 Vivienda 3 Capacitación de jóvenes 4 Acueducto y
alcantarillado 5 Microcrédito 6 Subsidio escolar NBIP E 9,2% 9,2% 9,2% 9,2%
9,2% HA 91,6% 91,6% 91,6% 91,6% 91,6% 91,6% HR 96,4% 96,4% 96,4% 96,4% 96,4%
96,4% Situación inicial o de base HI 56,6% 56,6% 56,6% 56,6% 56,6% 56,6% IDH
0,606 0,606 0,606 0,606 0,606 0,606 Desempleo Tasa neta de cobertura Primaria
Secundaria
25,0% 25,0% 25,0% 25,0% 25,0%
13,2% 13,2% 13,2% 13,2% 13,2%
73,0%
57,7%
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Donde NBIP es el índice de necesidades básicas insatisfechas de pobreza, NBIPE,
el NBI de pobreza extrema, HA, la incidencia de pobreza absoluta, HR, la
incidencia de pobreza relativa, HI la incidencia de la pobreza extrema e IDH,
índice de desarrollo humano. En base a los lineamientos de la formulación de
proyectos en el siguiente paso se realizará la selección de los beneficiarios.
38
CEPAL - SERIE manuales
N° 48
Paso 4. Selección de beneficiarios
Para realizar una correcta selección de beneficiarios se debe definir la
población objetivo de cada proyecto de los efectos a corto plazo y de los
efectos temporales. Una vez determinada la población objetivo se pueden definir
criterios de selección.
Tabla 3
BENEFICIARIOS POR PROYECTO Proyectos 1 Nutrición 2 Vivienda Beneficiarios 800
niños por año a través de madres de hijos menores de 7 años 60 viviendas para
hogares que no cuenten con vivienda o cuyo NBI porvivienda sea nulo 250 jóvenes
desempleados de 15 a 24 años 300 conexiones para hogares sin acueducto
alcantarillado y 300 personas desempleados 200 mujeres desempleadas 800 madres
con hijos en primaria o secundaria
Fuente: Elaboración de los autores.
Beneficiarios Temporales
3 Capacitación de Jóvenes 4 Acueducto y alcantarillado 5 Microcrédito 6
Subsidio escolar
240 trabajadores de la construcción empleados durante cinco meses 250 jóvenes
sostenidos durante seis meses 300 personas empleados por cinco meses
1. Beneficiarios permanentes
En el siguiente diagrama22 se presentan los criterios de selección del primer
proyecto de subsidio para la nutrición.
Diagrama 4
CRITERIOS DE SELECCIÓN PROYECTO 1 NUTRICIÓN
Niños menores de 7 años
Pobres extremos LI =1
Pobres extremos
INBI =2 850
Madres con menos de 5 hijos 805
Selección aleatoria 800
7 499
4 873
Fuente: Elaboración de los autores.
Como el proyecto está enfocado a los niños menores de 7 años, el primer
criterio de selección es éste. En segundo lugar, se tomó como criterio de
selección el estado en pobreza extrema por ingresos y en tercer lugar, los
pobres extremos por necesidades básicas insatisfechas. El cuarto criterio para
la selección los beneficiarios fue considerar a las madres con menos de 5
22
El formato del Diagrama fue tomado de las presentaciones realizadas por los
alumnos del IV Curso Internacional Uso de Indicadores Socioeconómicos para la
Evaluación del Impacto de Programas de Lucha contra la Pobrezarealizado en
Cartagena de Indias, Colombia, del 4 al 15 de julio de 2005.
39
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
hijos. Como con este criterio no se alcanzó la meta de 800 niños, se realizó
una selección aleatoria para llegar a este valor. En el diagrama 3 se presentan
los criterios para la selección del proyecto de vivienda.
Diagrama 5
CRITERIOS DE SELECCIÓN PROYECTO 2 VIVIENDA
Hogares que no cuenten con vivienda o vivan en piso de tierra NBIVI=1 221
Pobres extremos I =1
Zona rural dispersa
Selección aleatoria 60
61 155
Fuente: Elaboración de los autores.
El primer criterio de focalización es el de los hogares que vivan en piso de
tierra. Como la base del SISBEN solo considera hogares que tienen vivienda no
se pudo considerar a aquellos hogares que no cuentan con vivienda. De estos
hogares se consideraron a los pobres extremos por incidencia de pobreza
monetaria. El tercer criterio fue geográfico considerando solo a los hogares
que se encuentran en la zona rural dispersa, por ser esta zona la más afectada
por la pobreza. A continuación en el diagrama 4 se presentan los criterios de
selección para el proyecto de capacitación a jóvenes.
Diagrama 6
CRITERIOS DE SELECCIÓN PROYECTO 3 CAPACITACIÓN DE JÓVENES
Personas entre 15 y 24 años
Pobres absolutos LP=1 4 743
Desemplea dos 608
Alfabetos 588
Un joven por hogar
446
8 754
Fuente: Elaboración de los autores.
El primer criterio deselección responde al grupo objetivo, es decir los
jóvenes, quienes son las personas entre 15 y 24 años. Entre ellos se escogió a
los pobres absolutos y entre ellos a los desempleados. Para asegurar que los
jóvenes puedan conseguir trabajo, se tomó solo a las personas que por lo menos
saben leer y escribir. Por último, se seleccionó a un joven por hogar y
finalmente, se realizó una selección aleatoria para llegar a los 250 jóvenes.
Entre los beneficiarios existen 4 jóvenes embarazadas. En el diagrama 5 se
presentan los criterios de selección del cuarto proyecto. 40
CEPAL - SERIE manuales
N° 48
Diagrama 7
CRITERIOS DE SELECCIÓN PROYECTO 4 ACUEDUCTO Y ALCANTARILLADO
Hogares que no cuenten con acueducto o alcantarillad o nbiser=1
Número de personas en el hogar mayor a 3 824
Pobres Extremos LI =1 635
Zona rural dispersa o centro poblado 363
1 801
Fuente: Elaboración de los autores.
Para este proyecto se realizó una selección por hogar considerando en primer
lugar, aquellos hogares sin servicio de agua por acueducto o sin conexión a
alcantarillado o a pozo séptico. En segundo lugar, se consideró aquellos
hogares cuyo número de personas en el hogar sea mayor que 3, con el fin de que
una mayor cantidad de personas tengan satisfecha esta necesidad. En tercer
lugar, se consideró a los pobres extremos y en cuarto lugar, a los hogares de
la zona rural dispersa o del centro poblado que son las zonas con más carencias
de servicios públicos. Finalmente, se realizó una selección aleatoria para
llegarjustamente a 300 hogares. En el diagrama 6 se presentan los criterios de
selección del quinto proyecto.
Diagrama 8
CRITERIOS DE SELECCIÓN PROYECTO 5 MICROCRÉDITO
Mujeres entre 30 y 60 años
Pobres Absolutos LP =1 6 997
Una mujer por hogar Desempleadas 216 209
Selección Aleatoria 200
7 759
Fuente: Elaboración de los autores.
El grupo objetivo de este proyecto son las mujeres entre 30 y 60 años, entre
este grupo se seleccionó a las mujeres pobres (por la línea de pobreza
absoluta) que estén desempleadas (tercer criterio de selección de
beneficiarios). Asimismo, como en el proyecto de capacitación laboral para jóvenes
se seleccionó una madre por hogar para poder ampliar la cobertura de hogares
seleccionados y finalmente, se realizó una selección aleatoria para llegar a
las 200 mujeres.
41
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recuadro 5
OTROS CRITERIOS DE SELECCIÓN DE BENEFICIARIAS PARA UN PROYECTO SIMILAR Para la
ejecución de un programa de Microcrédito para Mujeres en Villa Esperanza se
consideraron como criterios de selección a los siguientes: Mujeres que en la
actualidad mantengan una actividad empresarial en pequeña escala
(microempresarias) y que sean trabajadoras independientes o por cuenta propia.
Se toma como referencia a este segmento de mujeres por la experiencia adquirida
en las actividades que desarrollan. Esto minimiza la morosidad de cartera y la
no consecución de nuevos proyectos sobre los cuales laspotenciales
beneficiarias no tienen experiencia. Mujeres con edades desde los 14 hasta los
65 años de edad. Los rangos establecidos incorporan a las mujeres con
capacidades emprendedoras, productivas y de experiencia. Mujeres que atraviesen
una situación de pobreza por ingresos (coyuntural), de acuerdo a la línea de
pobreza. Mujeres que dispongan de conexión al servicio eléctrico en sus
domicilios o talleres de producción. Asumiendo que los negocios o talleres de
producción funcionan en el domicilio de las potenciales beneficiarias.
Fuente: ILPES, 2005.
En el siguiente diagrama se presentan los criterios de selección del proyecto 6
de subsidio escolar.
Diagrama 9
CRITERIOS DE SELECCIÓN PROYECTO 6 SUBSIDIO ESCOLAR
Niños entre 7 y 18 años
Niños entre 7 y 18 años que deberían estar en la escuela o colegio 12 077
Niños que no asistan a clases
Pobres extremos LI =1 1 433
Hogares con tres escolares 1 315
Selección aleatoria 800 madres
12 123
2 104
Fuente: Elaboración de los autores.
En primer lugar, se seleccionó niños y jóvenes entre 7 y 18 años, entre estos
se seleccionó los que deberían estar en la escuela o colegio, excluyendo a
aquellos que se encuentran en niveles educativos técnicos o universitarios.
Entre estas personas se seleccionó a niños y jóvenes que no estén asistiendo a
ningún centro educativo. El siguiente criterio de selección fue que provengan
de hogares pobres extremos. Por último, se seleccionó hogares con un máximo de
tres niños o jóvenes. Finalmente, se realizóuna selección aleatoria de 800
madres, sin embargo esto no quiere decir deban existir 800 niños o jóvenes pues
cada madre puede tener más de un niño. Es así como se seleccionó a 1,026 niños
o jóvenes beneficiarios. De estos 69 no tienen ningún nivel educativo, 129
estudian en primaria, 223 pasarán de la primaria a la secundaria y 379
continuarán en secundaria.
42
CEPAL - SERIE manuales
N° 48
En general como el objetivo principal del alcalde de Zipaquirá es disminuir los
angustiosos índices de pobreza que sufre la región la variable más utilizada
principal de selección de los beneficiarios es la extrema pobreza, ya se de
ingresos o de infraestructura.
2. Beneficiarios temporales
En este punto se va a proceder a realizar la selección de los beneficiarios de
los empleos temporales generados por la implantación del proyecto. En la
aplicación metodológica “El uso de indicadores socioeconómico en la formulación
y evaluación de proyectos sociales” (ILPES, 2001) se menciona que existen al
menos dos métodos utilizados para la asignación de empleos temporales generados
por los proyectos. Estos métodos son: aleatorio donde los empleos se asignan al
azar a personas de la PEA y subastador cuando un mando central asigna los
empleos de acuerdo a un criterio determinado. En el caso de esta Pauta se
escogió el segundo criterio, utilizando la aleatoriedad solo para llegar al
número deseado de trabajadores. En los siguientes diagramas se presentan los
criterios de selección de los trabajadores temporales del proyecto 2de vivienda
y del proyecto 4 de acueducto y alcantarillado. Los dos diagramas presentan los
mismos criterios de selección.
Diagrama 10
CRITERIOS DE SELECCIÓN TRABAJADORES PROYECTO 2 VIVIENDA
Hombres entre 18 y 50 años 10 550
Pobres extremos LI =1 5 194
Desempleados 868
Zona rural dispersa o centro poblado 274
Selección aleatoria 240
Fuente: Elaboración de los autores.
En el caso del proyecto 2 de vivienda se debía seleccionar personas
desempleadas solo de la zona rural dispersa, sin embargo no se consiguió el
número deseado de trabajadores por lo que se debió incluir también a
trabajadores del centro poblado.
43
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Diagrama 11
CRITERIOS DE SELECCIÓN TRABAJADORES PROYECTO 4 ACUEDUCTO
Hombres entre 18 y 50 años 10 550
Pobres absolutos LI =1 9 331
Desempleados 1 162
Zona rural dispersa o centro poblado 370
Selección aleatoria 300
Fuente: Elaboración de los autores.
En este caso no hubo problemas para el criterio geográfico ya que los hogares
beneficiarios del proyecto de acueducto y alcantarillado provenían tanto de la
zona rural dispersa como del centro poblado.
Paso 5. Simulación de la situación con proyecto y medición del impacto
Una vez seleccionados los beneficiarios (paso 4) y las variables de impacto
(paso 3), en este paso 5 se puede simular la situación con proyecto y
cuantificar el impacto en las variables. Se asume que la simulación conproyecto
se realizará un año después de la fecha en la cual hipotéticamente empezarían
los proyectos su ejecución, es decir noviembre de 2003.
1. Simulación del Proyecto 1: Nutrición
Para la simulación de este proyecto se procedió a crear una nueva variable de
ingreso per cápita del hogar que sea igual a la variable anterior de ingreso
per cápita, pero para los hogares beneficiarios se adicionó 17.5 dólares
multiplicado por el número de niños menores de 7 años y dividido por el número
total de personas en el hogar. Para el cálculo del IDH se consideró el
incremento del ingreso pero al momento de transformarlo en dólares se consideró
el tipo de cambio del noviembre de 2004 por cuanto se asume que la evaluación
se realiza un año después de implantados los proyectos. En el caso que no se
contara con el tipo de cambio de un año después de la fecha asumida de inicio
del proyecto se puede tomar un valor de tipo de cambio esperado. El impacto de
este proyecto se presenta en el cuadro 7.
Cuadro 7
IMPACTO PROYECTO 1 Sin Proyecto H absoluta H relativa H indigencia IDH 91,56%
96,37% 56,59% 0,60559 Con Proyecto 91,56% 96,37% 55,84% 0,61375
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
44
CEPAL - SERIE manuales
N° 48
Este proyecto tiene efecto solo en la incidencia de la extrema pobreza y en el
puntaje IDH, sin embargo, los efectos son modestos. Por otro lado, el efecto de
la variable sobre la cual este proyecto tiene una mayor incidencia, la
desnutrición no ha podido ser cuantificado por cuanto la baseSISBEN no tiene
datos antropométricos23 de los niños. Es decir, adicionalmente a los efectos
producidos en pobreza, este proyecto también puede contribuir a que en el
futuro, Zipaquirá cuente con habitantes sanos que puedan sacar mejor provecho
de sus estudios. En el recuadro 6 se presentan las ventajas comparativas de un
proyecto similar en la municipalidad de Villa Esperanza.
Recuadro 6
VENTAJAS COMPARATIVAS DEL PROYECTO 1 El proyecto 1 está orientado a la atención
de un grupo social prioritario, dadas las condiciones de pobreza que afectan al
Municipio de Villa Esperanza, donde existen altas tasas de pobreza e indigencia
en las personas menores de 17 años y en especial a los niños, de menos de 5
años. Las necesidades que presentan los hogares pobres en el municipio son
variadas y todas poseen distintos niveles de importancia, de acuerdo a como
estén enfocadas y en función de los criterios que se tomen. Por esta razón,
todos los programas que se proponen son altamente prioritarios por diferentes
causas, aunque el grupo cree que por la naturaleza de la población a atender y
por el tipo de programa a realizar, el proyecto de nutrición debería ser el más
prioritario. El proyecto propuesto tiene como objeto principal combatir el
hambre en un municipio en condiciones de pobreza, con una alta tasa de niños
desnutridos. Esto lo postula como un programa de fuerte impacto a mediano y
largo plazo tanto para el individuo que se beneficiará, como para la sociedad,
que también será beneficiada. Este programa de nutrición puedeno arrojar
resultados tan inmediatos como otros proyectos, dado que el desarrollo físico y
cognoscitivo de los niños solo se podrá verificar al cabo de ciertos años, por
lo cual será difícil demostrar el éxito del mismo a corto plazo. En otros casos
como proyectos de vivienda o microcrédito los resultados a corto plazo son más
evidentes. Por último, es importante destacar que tarde o temprano y de una u
otra forma la sociedad deberá atender esta población afectada. Puede atenderlos
ahora, en una edad en la cual las secuelas de la desnutrición son reversibles y
que luego puedan desarrollarse en condiciones normales o bien, puede no
atenderse, con graves consecuencias para el propio desarrollo integral de esa
población y dejar que se conviertan en futuros pobres y/o indigentes.
Fuente: ILPES, 2005.
2. Simulación del Proyecto 2: Vivienda
Para la simulación de este proyecto se procedió a crear una nueva variable de
NBI de vivienda (NBIVI) igual a la variable NBIVI anterior pero con la
diferencia que para los hogares seleccionados como beneficiarios de este
proyecto se cambia el valor de NBIVI de 1 a 0, es decir estos hogares ya no
tendrán carencia en vivienda. Con base a este nuevo NBIVI se vuelve a calcular
el NBI total. Asimismo, para simular el efecto de la contratación de personal
para la construcción de las viviendas se creó una nueva variable de ingreso con
los mismos valores de la variable anterior, en la cual los beneficiarios
temporales tendrán un ingreso mensual de 119.9 dólares. También, se creó
unanueva variable de desempleo en la cual los beneficiarios temporales dejan de
ser desempleados y pasan a estar ocupados durante cinco meses.
23
Medidas de talla y peso de los niños.
45
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
El impacto de este proyecto se presenta en el cuadro 8:
Cuadro 8
IMPACTO PROYECTO 2 Sin Proyecto NBI pobreza NBI indigencia H absoluta H
relativa H indigencia Desempleo
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Con Proyecto Largo plazo Corto plazo 25,95% 7,90% 91,52% 96,36% 54,71% 11,7%
25,78% 8,13% 91,56% 96,37% 56,59% 13,2%
Como se determinó en el paso 3 de determinación de la línea de base, este proyecto
tiene efectos de corto y largo plazo. Los efectos de corto plazo están
determinados por la contratación de personal para la construcción de las
viviendas, por lo que temporalmente los índices de pobreza y el desempleo
bajan. En el largo plazo, este proyecto solo tiene efecto en el índice de NBI y
tiene un efecto positivo (disminuyendo el índice) en el NBI de indigencia, por
otro lado tiene un efecto negativo (aumentando el índice) en el NBI de pobreza.
Este efecto puede resultar curioso sin embargo, se explica por el hecho de que
algunos hogares dejan de tener más de una necesidad básica insatisfecha
(indigentes por NBI) y pasan a tener una sola necesidad básica insatisfecha,
aumentando el NBI de pobreza.
3. Simulación del Proyecto 3: Capacitación laboral a jóvenes
Para la simulación de esteproyecto se creó una nueva variable de ingreso en
base a la variable anterior del ingreso. Para los beneficiarios de este
proyecto, a esta nueva variable de ingreso se le sumó el ingreso de 134.5
dólares, que se asume recibirán en promedio los jóvenes cuando terminen el
curso. Asimismo, se creó una nueva variable de de ocupación y desempleo, puesto
que todos los jóvenes pasarán a estar ocupados (teniendo en cuenta que todos
los beneficiarios se encontraban desempleados) después de la capacitación y
dejarán de ser desempleados. Este proyecto también tiene efecto en el INBI por
cuanto al cambiar la variable de ocupación para los beneficiarios, la tasa de
dependencia disminuye, en su parte “que en la familia haya tres o más personas
por cada persona ocupada”, es así como se volvió a calcular una nueva variable
de NBIDE así como el NBI total. Para el cálculo de los efectos temporales se
creó otra variable de ingreso, en base a la variable ingreso anterior y para
los beneficiarios se sumó el ingreso mensual de sostenimiento de 39 dólares,
este valor sube a 54 dólares, en caso de que las jóvenes estén embarazadas. El
impacto de este proyecto consta en el cuadro 9:
46
CEPAL - SERIE manuales
N° 48
Cuadro 9
IMPACTO PROYECTO 3 Sin Proyecto Con Proyecto Largo Corto plazo plazo 91,48%
91,53% 96,35% 96,34% 54,40% 55,85% 0,60608 25,63% 7,95% 11,0%
H absoluta H relativa H indigencia IDH NBI pobreza NBI indigencia Desempleo
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
91,56% 96,37% 56,59% 0,60559 25,78%8,13% 13,2%
En el corto plazo no hay impacto sobre desempleo y NBI, ya que los jóvenes al
estar en la capacitación, se consideran estudiantes y no pueden ser
considerados como población ocupada. Tampoco hay efectos sobre el IDH ya que
este índice se calcula con una periodicidad anual. De acuerdo a la simulación,
los efectos de este proyecto en el largo plazo son mayores que en el corto
plazo, lo cual es positivo ya que se espera que la capacitación cree
habilidades permanentes en los jóvenes que les permitan insertarse
laboralmente. Para este proyecto se seleccionó a los pobres absolutos, razón
por la cual se puede explicar que este caso todas las variables mejoran en el
largo plazo. Esto es un punto interesante ya que para el proyecto 1 donde se
seleccionó solamente a los pobres extremos, se encontró efecto solo en esta
variable de pobreza monetaria.
4. Simulación del Proyecto 4: Acueducto y alcantarillado
La simulación de este proyecto debió crear una nueva variable de NBISER que
tiene los mismos valores que la variable original excepto para lo hogares
seleccionados como beneficiarios a quienes se les cambió el valor de NBISER de
1 a 0, puesto que ya no carecen de acueducto. Con este nueva variable se
procedió a recalcular el NBI total. Para los efectos de corto plazo se realizó
los mismos pasos que en la simulación del proyecto 2. En el cuadro 10 se
presenta el impacto de este proyecto.
Cuadro 10
IMPACTO PROYECTO 4 Sin Proyecto NBI pobreza NBI indigencia H absoluta H
relativa H indigencia DesempleoFuente: SISBEN Zipaquirá. Elaboración: Autores.
25,78% 8,13% 91,56% 96,37% 56,59% 13,2%
Con Proyecto Largo Corto plazo plazo 25,88% 6,95% 90,52% 95,35% 54,81% 11,4%
Al comparar este proyecto con el de vivienda (esto es posible ya que los dos
son proyectos de infraestructura) se constata que este proyecto tiene un efecto
mayor en el NBI de indigencia. 47
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
5. Simulación del Proyecto 5: Microcrédito
En la simulación de este proyecto, se creó una nueva variable de ingreso para
los beneficiarios sobre la base de la variable original pero sumando para las
beneficiarias el ingreso esperado de 123 dólares que en promedio van a recibir
las mujeres con el microcrédito. Asimismo, con el proyecto las mujeres
seleccionadas pasan a ser ocupadas, por lo que en un principio de crearon
nuevas variables de desempleo y ocupación y se recalculó el índice de
dependencia NBIDE así como NBI total. Para el cálculo del IDH se considera una
nueva variable de ingreso tomando en cuenta el ingreso promedio de las
beneficiarias y dividiendo para el tipo de cambio de noviembre de 2004 es decir
aquel de un año después de iniciado el proyecto. El impacto de este proyecto se
presenta en el cuadro 11.
Cuadro 11
IMPACTO PROYECTO 5 Sin Proyecto Con Proyecto H absoluta H relativa H indigencia
IDH NBI pobreza NBI indigencia 91,56% 96,37% 56,59% 0,60559 25,78% 8,13% 91,35%
96,33% 55,49% 0,61384 25,61% 7,99%
Fuente: SISBENZipaquirá. Elaboración: Autores.
Este proyecto de microcrédito mejora todas las variables sobre las cuales tiene
un impacto, aunque de forma marginal. Una vez más se recuerda que en este caso
también se utilizó como criterio de selección la pobreza absoluta.
6. Simulación del Proyecto 6: Subsidio escolar
Para la simulación de este proyecto se creó una nueva variable de ingreso per
cápita del hogar con los mismos valores que la variable original pero para los
hogares beneficiarios se sumó los 5.3 dólares por cada niño que asista a
primaria y 10.6 dólares por cada niño o joven que asista a secundaria. Un hogar
recibe hasta tres subsidios por cada niño o joven que asista a la escuela o al
colegio, este valor del subsidio se sumó a la nueva variable de ingreso del
hogar y se divide para el número de personas en el hogar. Para simular el
efecto en el IDH se consideró el incremento del ingreso del hogar debido al
subsidio. Este proyecto es el más difícil de simular por cuanto dentro de cada
hogar se debe identificar al beneficiario y diferenciarlo entre aquel que
asiste a primaria o secundaria. En el caso que los beneficiarios no tenían
nivel educativo pasaron a tener nivel primario y en el caso que habían
concluido la primaria pasaron a tener nivel educativo de secundaria. Para la
simulación de las tasas de coberturas, se adicionó un año de vida a toda la
población, se cambió el estado de la variable “asiste a clases” a los
beneficiarios a si asisten a clases y en los casos mencionados anteriormente se
cambió el niveleducativo para lo que no tenían nivel educativo y para los
comenzaron la secundaria. Para los no beneficiarios se asume que los que
estaban asistiendo lo seguirán haciendo. En el cuadro 12 se observa el impacto
de este proyecto. 48
CEPAL - SERIE manuales
N° 48
Cuadro 12
IMPACTO PROYECTO 6 Sin Proyecto H absoluta H relativa H indigencia IDH Tasa
bruta de cobertura primaria promedio Tasa bruta de cobertura media promedio
Tasa neta de cobertura primaria promedio Tasa neta de cobertura media promedio
NBI pobreza NBI indigencia
Fuente: SISBEN Zipaquirá. Elaboración: Autores.
Con Proyecto 91.56% 96.37% 55.85% 0.60592 99.15% 102.74% 78.65% 70.47% 25.79%
8.03%
91.56% 96.37% 56.59% 0.60559 90.74% 75.00% 73.02% 57.70% 25.78% 8.13%
Este proyecto de subsidios para la educación así como el de subsidios para la
nutrición no tiene impacto en la incidencia de la pobreza absoluta ni relativa.
Otro punto común de este proyecto con el primer proyecto es la selección de
indigentes como beneficiarios. Por otro lado, los efectos de este proyecto en
extrema pobreza y en el IDH no son muy importantes. Sin embargo, los efectos
más importantes están en las tasas netas de cobertura tanto en primaria como en
educación media. Es menester indicar que se asume que el subsidio tiene un
efecto en la asistencia y permanencia escolar, sobretodo en la educación media,
lo cual podría contribuir al aumento de cápital humano de la zona. En forma
general se puede mencionar que los efectos simulados en pobreza monetaria están
muyinfluenciados por las variables que permitieron realizar la selección de
beneficiarios. Es así como si como un criterio de selección fue la pobreza
extrema, los impactos se producen en la incidencia de la pobreza extrema más no
en la pobreza absoluta. En el siguiente y último paso se realizará la
jerarquización de todos los proyectos propuestos para poder contar con una
comparación por distintos criterios.
Paso 6. Jerarquización por eficacia y eficiencia
En esta Pauta se va a analizar dos de las tres líneas de la evaluación:
resultado e impacto, y quedará para otra oportunidad la evaluación de los
beneficiarios y la toma decisiones desde la gerencia de proyectos y los
hacedores de política. Esto dentro de lo que suele denominarse como
metaevaluación. El primer paso para poder realizar la jerarquización es
recordar el tema presupuestario de Zipaquirá así como los objetivos
prioritarios planteados por las autoridades en el paso 2 de formulación de
proyectos. Los proyectos definidos ex-ante deberán compatibilizar la evaluación
de eficacia (es decir la consecución de los objetivos) al evaluar los impactos,
con la evaluación de eficiencia para determinar el o los impactos al menor
costo. Pero en cualquier caso se debe tener en cuenta la restricción
presupuestaria que adolece la zona. En la evaluación ex-post, en cambio todos
estos aspectos deben compatibilizar, es decir lo planeado con lo efectivamente
alcanzado por cada proyecto y política. 49
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programassociales
de lucha contra la pobreza
1. Restricción presupuestaria
Debido al principio económico de escasez de recursos, que para el caso del
municipio de Zipaquirá se ve reflejado en la existencia de un presupuesto fijo
al comienzo del año, se requiere realizar una correcta priorización de los
proyectos que se van a realizar en función de criterios técnicos. La
jerarquización ayuda a discriminar, entre proyectos, y establece la prioridad
en la asignación de recursos, haciendo más eficiente la asignación de los
mismos. Esta es una importante herramienta para apoyar la toma de decisiones
del alcalde de Zipaquirá. En este sentido es relevante recordar los principios
que deben guiar la selección de proyectos, tomando en cuenta su rentabilidad
privada y social de acuerdo a la siguiente tabla:
Tabla 4
RENTABILIDAD PRIVADA Y SOCIAL Rentabilidad privada SI NO
24
Rentabilidad Social
SI
Incentivar
Subsidiar
NO
Gravar con impuesto
No se hace
Fuente: Jerarquización de proyectos, ajustado de I. Silva. Preparación y
evaluación de proyectos. ILPES. Elaboración: Autores.
De acuerdo a (ILPES, 1994), cuando se toma en cuenta las rentabilidades se
pueden generar 4 casos o resultados al cruzar las conclusiones del análisis
económico privado y social. a) En primer lugar, se tiene la alternativa
presentada en que el proyecto es conveniente privada y socialmente, por lo que
sería recomendable su realización desde cualquier punto de vista. Este proyecto
es ideal para incentivarlo. b) Un segundo caso, serefiere al proyecto que es
privadamente rentable, pero que desde el punto de vista social no lo es. Este
tipo de proyectos se deberían desincentivar, por ejemplo con la aplicación de
impuestos. c) El tercer caso se refiere un proyecto que es socialmente rentable
pero privadamente no lo es. Este proyectos hay que incentivarlos, como por
ejemplo con subsidios para que financieramente sea conveniente su realización.
d) Por último, los proyectos que ni social ni privadamente son rentables. Desde
un punto de vista de la asignación de recursos no serán jamás realizados. En
resumen, una vez evaluados y aprobados los proyectos y fijados los techos
presupuestarios hay que ordenarlos o jerarquizarlos de acuerdo a reglas y
criterios que permitan un proceso que asegure el mejor uso de los recursos. El
Municipio de Zipaquirá tiene una restricción presupuestaria de US$ 480,000,000.
El alcalde de Zipaquirá quiere que la selección de los programas esté
supeditada a la limitación monetaria dada por la Caja fiscal, ya sea que usen
criterios de eficiencia, de eficacia o cualquier otro.
24
Tomado de la presentación del ILPES Jerarquización de proyectos Por qué y para
qué, Métodos, Indicadores, Aplicación.
50
CEPAL - SERIE manuales
N° 48
La asignación por costos cae en el caso de presupuesto fijo con proyectos de
carácter indivisible. En la línea de mantener un control de los recursos
presupuestarios, se puede realizar una jerarquización de los proyectos de menor
a mayor costo, tal como se presenta en la tabla 5.
Tabla 5COSTOS Y TIPO DE ACCIÓN PÚBLICA DE LOS PROYECTOS Proyectos Tipo de
acción pública Subsidio Subsidio Incentivo Subsidio del 90% del costo Incentivo
Subsidio escolar Costo total $167 557 $334 268 $178 593 $370 233 Tiempo
Jerarquía Costo mensual $13 963 $66 854 $14 883 $74 047 Jerarquía
1 2 3 4
Nutrición Vivienda Capacitación de jóvenes Acueducto y alcantarillado
Microcrédito Subsidio escolar
Un año 5 meses Un año 5 meses
2 5 3 6
2 5 3 6
5 6
$282 082 $114 751
Un año Un año
4 1
$23 507 $9 563
4 1
Fuente: Elaboración de los autores.
Si se realiza una jerarquía de los proyectos de acuerdo al costo total o al
costo mensual de cada proyecto, el proyecto menos oneroso es el proyecto 6 de
subsidio escolar, el segundo proyecto es el de nutrición y el tercer proyecto
es el de capacitación a jóvenes. Los proyectos más onerosos son los proyectos
de infraestructura. Si solo se considera el criterio de costos y se quisiera
respetar la restricción presupuestaria se deberían seleccionar los proyectos 6,
1 y 3, con lo cual se utilizaría $ 460,902. Sin embargo, esta selección de
proyectos de acuerdo al costo más bajo, adolece de criterios que permitan
determinar qué proyectos tienen mayor impacto.
2. Jerarquización por eficacia
Para poder realizar una correcta jerarquización de los proyectos por eficacia,
en primer lugar se debe identificar un indicador de impacto común a todos los
proyectos que permita comparar el impacto de los distintos programas. El
problema surge al evidenciar que notodos los proyectos tienen una variable de
impacto común a largo plazo. En un principio se pensó que el indicador de
impacto que podría recoger de mejor forma los impactos obtenidos de los
programas es el Método integrado de la pobreza (MIP) para personas al combinar
la pobreza absoluta con el índice NBI de pobreza. Aquí cabe recordar que a
causa de que en la mayoría de proyectos (cuatro de seis) se estableció como
criterio de selección a las personas u hogares pobres extremas, los impactos
permanentes se producen en estas variables. Por lo que no se puede utilizar el
indicador MIP ya que dos de los seis proyectos no tienen modificación en el
MIPA ya que los cambios se produjeron en indigencia y no en pobreza como se
puede observar en la tabla 6 en la cual se presenta un resumen de todos los
impactos por indicador.
51
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Tabla 6
IMPACTO POR INDICADOR Proyectos H absoluta 0,00% -0,08% H relativa 0,00% -0,01%
H indigencia -0,75% Impacto en IDH NBI pobreza 0,03% 0,17% -2,20% 0,81% -0,15%
0,10% -0,21% 0,00% -0,04% 0,00% -1,10% -0,74% 0,83% 0,03% -0,17% 0,01% NBI
indigencia -0,23% -0,17% -1,18% -0,14% -0,10% -1,26% Desempleo
1 2 3 4 5 6
Nutrición Vivienda Capacitación de jóvenes Acueducto y alcantarillado
Microcrédito Subsidio escolar
-2,21%
Fuente: Elaboración de los autores.
Los cuadros que se encuentran en gris quieren decir que la simulación del
proyecto no produjo ningún impacto endichas variables. En la tabla 7 se
presenta un análisis de jerarquización por eficiencia para cada uno de los
indicadores considerando solo los distintos proyectos sobre los cuales existe
un impacto:
Tabla 7
JERARQUIZACIÓN POR EFICACIA
Proyectos H absoluta 3 2 H relativa 3 2 H indigencia 3 1 Jerarquía IDH NBI
pobreza 3 5 2 2 4 1 3 1 3 2 4 1 3 1 3 NBI indigencia 2 3 1 4 5 2 Desempleo
1 2 3 4 5 6
Nutrición Vivienda Capacitación de jóvenes Acueducto y alcantarillado
Microcrédito Subsidio escolar
1
Fuente: Elaboración de los autores.
El proyecto de microcrédito tiene la primera jerarquía en la incidencia de
pobreza absoluta y pobreza relativa, IDH y NBI de pobreza. El proyecto de
acueducto y alcantarillado tiene la primera jerarquía en NBI de indigencia. Así
también, el proyecto de capacitación de jóvenes tiene la primera jerarquía en
el orden dado por los indicadores: incidencia de la indigencia y el desempleo.
Si se quisiera cumplir con la restricción presupuestaria sería complicado con
tantos indicadores decidir cuales proyectos deberían ser seleccionados. En este
punto la jerarquización por eficacia requería determinar a priori cual
indicador se va utilizar para escoger a los proyectos. Si se utiliza solo un
indicador, habría proyectos que quedarían fuera de la selección. Es por eso que
en la siguiente jerarquización por eficiencia (costo impacto) solo se
consideran como indicadores la incidencia de la pobreza indigencia y el NBI por
indigencia, pues estas han sido las variables principales deselección de
beneficiarios.
3. Jerarquización por eficiencia
La jerarquización por eficiencia implica calcular indicadores de costo impacto,
ya que la eficiencia es el logro de los objetivos al mínimo costo. Evaluar la
relación costo-impacto es conocer cuánto cuesta cada alternativa, y obtener
cierta magnitud de impacto (Franco, 1997 citado en Aedo, 2005). 52
CEPAL - SERIE manuales
N° 48
En la tabla 8 se presenta un ordenamiento de los proyectos por sus relaciones
de costo impacto, tanto para H como NBI.
Tabla 8
JERARQUIZACIÓN POR EFICIENCIA O COSTO IMPACTO
Proyectos Costo H indigencia 1 Nutrición 2 Vivienda 3 Capacitación de jóvenes
$167 557 $334 268 $178 593 -2,20% -1,18% -1,10% -0,74% $255 386 $155 236 -0,75%
-0,23% $81 238 $314 067 4 2 Impacto en NBI indigencia $222 808 $1 472 321 1 2 3
1 Costo Costo Jerarquía H impacto H impacto NBI indigencia Jerarquía NBI
indigencia
4 Acueducto y $370 233 alcantarillado 5 Microcrédito 6 Subsidio escolar $282
082 $114 751
PROYECTOS 3, 6 Y 1 Presupuesto no gastado PROYECTO 2 Presupuesto no gastado
ALTERNATIVA 1 US$ 460 902 US$ 19 098 ALTERNATIVA 2 US$ 334 268 US$ 145 732
Fuente: Elaboración de los autores.
En este caso al tomar solo la jerarquía por H indigencia, la alternativa 1 dice
que se debería seleccionar los proyectos 1, 3 y 6 con un presupuesto no gastado
de 19.098 dólares. Por otro lado si se toma la jerarquía por NBI indigencia
solo se puede seleccionar el proyecto 2 ya que caso contrario se superaría el
presupuesto con el que Zipaquirácuenta, sin embargo, el monto de presupuesto no
ejecutado sería de US$ 145,732, mucho más elevado que para la alternativa 1. No
hay lugar para una tercera alternativa que mezcle los dos criterios H
indigencia y NBI indigencia, ya que al considerar las primeras opciones se
supera el monto fijo del presupuesto. La alternativa 2 no es muy convincente
pues en términos simples, se es eficiente si se logran los objetivos sin que
exista desperdicio de recursos. (Aedo, 2005) Existen algunos métodos de
jerarquización de proyectos, como por ejemplo listas de verificación en función
de cumplimiento de criterios, modelos de puntuación, indicadores económicos,
modelos de dominancia entre proyectos, modelos de aporte a metas, modelos de
portafolio, modelos basados en programación lineal, Interacción nominal y
q-sorting y métodos electre. En el documento ILPES, 1994, capítulo 4 se
presentan las ventajas y desventajas de todos estos métodos. Debido a la
dificultad de aplicar estos métodos, en el siguiente paso se realizará una
jerarquización por eficiencia adaptando el método sugerido por ILPES.
4. Jerarquización por eficiencia según el método ILPES
La descripción de este método se encuentra en el capítulo 4 antes mencionado.
Es así como se realizó la jerarquización sugerida por el ILPES en función del
costo impacto en H indigencia y el costo impacto en NBI indigencia. En primer
lugar se debe transformar los indicadores de costo impacto a valores
comparables con una escala común. Para los dos indicadores se utilizó la misma
escalade 0 a 100, es decir se 53
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
asignó 0 al valor 0 y 100 al valor 1,500,000.25 Para el cálculo del valor de la
escala se asumió que los proyectos que no tienen impacto en determinada
variable tienen un valor 0 como valor costo impacto. En esta metodología del
ILPES, se acepta dar una ponderación distinta a los indicadores utilizados. La
ponderación es realizada, por parte del o de los evaluadores, de acuerdo la
importancia relativa de los distintos objetivos. Estos ponderadores deberán
sumar uno, lo cual obligará a quienes los definan a analizar cuidadosamente la
importancia relativa de cada uno de los objetivos. Es fundamental contar con el
respaldo de todos los evaluadores, si es posible mediante consenso en las
ponderaciones asignadas. De no ser así, el puntaje obtenido por un proyecto a
base de los puntajes parciales asignados por un evaluador podría no estar de
acuerdo con la importancia general que asigna el evaluador al proyecto.
Idealmente esta decisión también debería tomarse en un nivel superior. (ILPES,
1994) Para evitar discrecionalidad en la asignación de la ponderación y a
manera ilustrativa se asignó un peso igual a los dos indicadores, es decir de
0.5, considerando que los dos son indicadores que ayudan al logro de la Meta 1
de los Objetivos del Milenio de Reducir a la mitad entre 1990 y 2015 el
porcentaje de personas con ingresos inferiores a un dólar. Por el lado de la
interpretación,los proyectos que tienen el menor puntaje serán aquellos que
tendrán una mejor posición en la jerarquía, ya que son los proyectos logran
mayores resultados para un costo o para el mismo resultado tienen costos
menores. En la tabla 9 se presenta la jerarquización de proyectos de acuerdo a
la metodología del ILPES.
Tabla 9
JERARQUIZACIÓN POR EL MÉTODO ILPES
Proyectos Costo Costo impacto H Valor Valor original original $222 808 $15 $0 0
$81 238 5 $0 $255 386 $155 236 0 17 10 Costo impacto NBI Valor Valor original
original $0 0 $1 472 321 98 $0 0 $314 067 $0 $0 21 0 0 Puntaje ponderado 7 49 3
10 9 5 Jerarquía
1 2 3 4 5 6
Nutrición Vivienda Capacitación de jóvenes Acueducto y alcantarillado
Microcrédito Subsidio escolar
$167 557 $334 268 $178 593 $370 233 $282 082 $114 751
3 6 1 5 4 2
PROYECTOS 3, 6 Y 1 Presupuesto no gastado
US$460 902 US$ 19 098
Fuente: Elaboración de los autores.
De acuerdo a esta jerarquización se confirma la selección de proyectos
propuesta en la alternativa 1 de la tabla 8. En definitiva, las evaluaciones
ex-ante permiten aumentar la eficiencia de las inversiones públicas. El alcalde
de Zipaquirá finalmente optó por realizar los proyectos 3, 6 y 1. Al mismo
tiempo solicitó una evaluación ex-post del proyecto 1 ya que no se tiene el
impacto de dicho proyecto en las variables de desnutrición, además de que es el
proyecto que tiene como población objetivo a los niños a quien él considera
como los más vulnerables. Sin embargo, el alcalde analizará los resultados de
laevaluación de impacto ex-post para asegurarse que su decisión fue la
correcta.
25
Los puntos (0,0) y (1,500,000,100) definen la ecuación de una recta pendiente
100/1,500,000= 0.00007 e intercepto 0. el valor transformado se calcula
mediante la siguiente fórmula, siendo VO el valor original y VT el valor
transformado: VT = 2800*VO+ 0.
54
CEPAL - SERIE manuales
N° 48
En este punto se debe tener claro cuando se debe realizar una evaluación de
impacto ex post, sobretodo tomando en cuenta como las evaluaciones de impacto
ex-post demandan una cantidad importante de información, tiempo y recursos. Uno
de los puntos principales a tener en cuenta es si la evaluación de resultados
puede proveer un aprendizaje potencial. Es mejor evaluar intervenciones que
maximicen el aprendizaje de los esfuerzos de reducción de la pobreza y puedan
proveer correcciones de medio término al proyecto en curso. Para esto el Banco
Mundial propone realizar cuatro preguntas clave: 1. sEl programa es estratégico
para reducir la pobreza? 2. sLa evaluación de impacto del programa puede
contribuir a completar vacíos de información sobre lo que funciona y lo que no
funciona en la reducción de la pobreza? 3. sLa evaluación de la intervención
puede proveer una aproximación innovadora para reducir la pobreza? 4. sLa
intervención está orientada a grupos de difícil acceso o se espera que la
intervención tenga impactos diferenciados por grupos de población? En este
sentido la decisión del alcalde fue la correcta ya que la evolución de impacto
ex postdel programa de subsidios a la desnutrición puede contribuir a completar
vacíos de información en la referente al impacto del proyecto sobre la
desnutrición de los niños o proveer otros elementos que la expliquen.
55
CEPAL - SERIE manuales
N° 48
2. Evaluación de impacto ex-post
La evaluación de impacto ex-post se ubica al intermedio o al final de la operación
del proyecto, determinando si hubo cambios en el bienestar de la población
objetivo, su magnitud atribuibles a la intervención (Navarro 2005, citando a
Cohen y Franco, 1998). En esta segunda parte de la pauta se analizan los pasos
metodológicos que se siguen en la evaluación de impacto ex–post de un programa
social. Se tomó como estudio de caso un programa de transferencias monetarias
condicionadas. Para que este ejercicio pudiera contar con datos reales de una
evaluación de impacto se decidió utilizar parte de la información estadística
de la evaluación de impacto del programa Familias en Acción, que fue
implementado en Colombia desde 2002. Este programa busca promover y fomentar la
acumulación de cápital humano en la población más pobre de los municipios con
menos de 100,000 habitantes a través de subsidios monetarios en nutrición,
salud y educación. Los subsidios de nutrición y salud se entregan a las
familias con niños menores de 7 años y están condicionados al cumplimiento de
controles de crecimiento y desarrollo de los niños. El subsidio de educación
está condicionado a que las madres garanticen una mínima asistencia a sus hijos
a losplanteles educativos.26 Para el desarrollo de la presente pauta se escogió
la evaluación del impacto del subsidio nutricional dirigido a niños menores de
7 años. No se incluyeron los demás componentes por simplicidad dado que el
objetivo de la presente pauta no es evaluar el impacto de un programa real,
sino explicar los pasos metodológicos, que en términos generales, se deben
seguir para evaluar el impacto de los programas sociales.
26
La descripción del programa fue tomada de “Condiciones Iniciales de los
Beneficiarios e Impactos Preliminares”, publicado por el Departamento Nacional
de Planeación de la República de Colombia. (2004).
57
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Para la estimación del impacto se tomó la información recolectada durante el
primer año de ejecución de Programa. Esta información corresponde a encuestas
de hogares realizadas a familias beneficiarias y no beneficiarias del programa
al inicio y al final del primer año de implementación del programa. Se
seleccionó como muestra el municipio de Zipaquirá, que fue encuestado en el
grupo de los beneficiarios del programa. Vale la pena mencionar, que la
metodología de la evaluación de impacto de Familias en Acción no se diseñó para
evaluar el impacto en cada municipio, en donde se implementó el programa, sino
para medir el impacto promedio del programa en todo el país. Por lo anterior,
este es un ejercicio principalmente académico y no pretende determinar el
impacto realdel programa Familias en Acción en Zipaquirá. Antes de iniciar el
desarrollo de los diferentes pasos que se siguen en una evaluación de impacto,
es conveniente definir las características y el énfasis de este tipo de
evaluación, lo que permitirá comprender la utilidad y pertinencia de los pasos
metodológicos que se siguen en esta pauta. La evaluación de impacto busca determinar
la magnitud, efectividad, eficiencia y sostenibilidad de los efectos generados
por una intervención (Navarro, 2005). El diccionario de la Real Academia de la
Lengua define que un efecto es “aquello que sigue por virtud de una causa”. En
coherencia con esta definición Cohen y Franco (1988) plantean, para el caso de
proyectos sociales, que un efecto es “todo comportamiento o acontecimiento del
que puede razonablemente decirse que ha sido influido por algún aspecto del
programa”. Asimismo, estos autores señalan que los efectos de los programas
pueden ser buscados y no buscados. Los buscados son los que inicialmente se
pensaron alcanzar con el programa. Estos generalmente son previstos en los
objetivos de la intervención y son positivos. Por su parte, los efectos no
buscados pudieron ser positivos o negativos, los cuales pudieron haber sido
previstos o no en la etapa de formulación del proyecto. En consecuencia, el
objetivo de las evaluaciones de impacto es evaluar todos aquellos efectos
relevantes al propósito de la evaluación. Por ejemplo, si el propósito de la
evaluación es mejorar los resultados de la intervención es aconsejable evaluar
losefectos iniciales e intermedios para determinar la efectividad de los
diferentes componentes de los programas. Por el contrario, si el propósito de
una evaluación es rendir cuentas a los involucrados, el estudio debe incluir
los efectos de más largo plazo que son los que finalmente interesan para
decidir si una intervención tiene éxito o no. En la presente pauta, el objetivo
de la evaluación es de este segundo tipo. En particular, determinar si el
programa debe ser implementado en otros municipios. Los pasos metodológicos que
se siguen en esta pauta están relacionados con la identificación de los efectos
de las intervenciones, las relaciones de causalidad que los unen, la puesta en
práctica de los efectos a través de indicadores, el uso de diseños
cuasi-experimentales de evaluación para medir su causalidad con los componentes
del programa y la determinación de la eficacia y eficiencia de la intervención
en la generación de los efectos. En el diagrama 12 se muestran los seis pasos
que se siguen en la pauta, los cuales fueron propuestos por Navarro (2005):
58
CEPAL - SERIE manuales
N° 48
Diagrama 12
PASOS PARA EVALUAR EL IMPACTO DE UN PROGRAMA SOCIAL Paso 6. Estimación de la
eficacia y la eficiencia Paso 5. Estimación del impacto Paso 4. Selección de
indicadores Paso 3. Preguntas de evaluación Paso 2. Construcción de la teoría
del programa Paso 1. Análisis de los objetivos del programa
s Cómo evaluar?
sQué evaluar?
Fuente: Elaborado por los autores.
Paso 1. Análisis de los objetivos delprograma
El punto de partida de una evaluación de impacto es el análisis de los
objetivos del programa. Estos representan la situación que se desea obtener al
final del período de duración de la intervención, mediante la aplicación de los
recursos y las acciones previstas (Cohen y Franco, 1988). El análisis de los
objetivos del programa conduce a la identificación de los efectos que de
acuerdo con el documento de formulación de la intervención son los más
relevantes y que generalmente son los de más interés para los involucrados en
la financiación y administración del programa. Los objetivos de los programas
sociales pueden ser generales y específicos27 Cohen y Franco (1988) definen que
los objetivos generales, dado su carácter, suelen ser poco concretos, vagos,
abstractos y por ello de difícil ejecución y evaluación. Recomiendan que estos
objetivos sean traducidos en otros de menor nivel, o mayor concreción, es decir
los objetivos específicos (tomado de Navarro, 2005). Como se muestra en
recuadro 7 los efectos del programa definidos en el objetivo general son muy
amplios y están relacionados con un aumento en la acumulación del cápital
humano. Al estudiar los objetivos específicos se obtiene una definición más
precisa de estos efectos. En el Programa el concepto de cápital humano está
asociado con una mejora en las condiciones de salud de los niños menores de 6
años a través de una mayor atención en salud y aumento del consumo de
alimentos.
27
Cohen y Franco (1998) definen también otras categorías de resultado ysistema,
originales y derivados, únicos y múltiples, complementarios y competitivos e
intermedio y competitivos.
59
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recuadro 7
OBJETIVOS DEL PROGRAMA Objetivo general: Aumentar la acumulación de cápital
humano en la población más pobre de los municipios con menos de 100 000
habitantes. Objetivos específicos: Complementar los ingresos de las familias
con niños menores de siete (7) años para apoyar el gasto familiar en
alimentación. Aumentar la atención en salud de los niños menores de siete años.
Contribuir a mejorar las prácticas de cuidado de los niños en salud, nutrición
y la prevención de la violencia dentro de la familia. Contribuir al
mejoramiento del nivel de salud y nutrición infantil.
28
Fuente: Elaborado por el autor con base en Departamento Nacional de Planeación
de la República de Colombia (2004).
A partir del análisis anterior es posible definir una lista con los efectos
esperados por el programa. Se debe tener presente que en un objetivo, general o
específico, puede haber más de dos efectos que algunas veces están relacionados
y en otros casos no. Por ejemplo, el Programa tiene como objetivo específico
“Contribuir a mejorar las prácticas de cuidado de los niños en salud, nutrición
y la prevención de la violencia dentro de la familia”. En este objetivo se
mezclan las prácticas en salud y nutrición con la prevención de la violencia
intrafamiliar. Si bien, son dos aspectos quepueden contribuir a mejorar la
salud y nutrición del niño, en la evaluación de impacto deben ser considerados
como efectos distintos para poder aislar las distintas causas que mejoran la
salud y la nutrición de los niños. En el recuadro 8, se muestra la lista de los
efectos esperados del programa construida a partir de los objetivos generales y
específicos del programa.
Recuadro 8
EFECTOS IDENTIFICADOS A PARTIR DE LOS OBJETIVOS DEL PROGRAMA Efecto 1: Aumento
del ingreso del hogar. Efecto 2: Aumento del gasto familiar en alimentación.
Efecto 3: Aumento en la atención de salud. Efecto 4: Mejoramiento de las
prácticas de salud y nutrición. Efecto 5: Mejoramiento del nivel de salud.
Efecto 6: Mejoramiento del nivel de nutrición. Efecto 7: Mejoramiento del nivel
de vida.
Fuente: Elaborado por los autores.
28
En el análisis de los objetivos se tomó como referencia a los objetivos
generales y específicos del programa Familias en Acción relacionados con la
población 0-6 años, que es la población objetivo del programa implementado en
Zipaquirá. La información fue obtenida de ABC de Familias en Acción Cartilla No
4. Evaluación de Políticas Públicas Cartilla No 3. Conceptualización y
Evaluación de Impacto.
60
CEPAL - SERIE manuales
N° 48
Paso 2. Características y efectos del programa
Conocer los objetivos del Programa no es suficiente para determinar qué se debe
evaluar y mucho menos para definir la metodología a seguir. Los objetivos del
programa sólo ofrecen un conocimiento parcial de los efectos quepueden generar
los componentes del programa. En los objetivos se describe a donde se quiere
llegar, pero no cómo y bajo que contexto. Además, los objetivos corresponden a
condiciones del bienestar de los beneficiarios consideradas estratégicas en el
proceso de cambio que se busca generar, dejando de lado una serie de efectos
que ocurren durante la vida del programa que son esenciales para comprender los
mecanismos que conducen al logro de los objetivos. Dado que la información que
suministran los objetivos no es suficiente para definir la estrategia de
evaluación, es necesario analizar las características o elementos fundamentales
del programa y determinar y como éstos generan efectos en los beneficiarios.29
Este análisis es muy útil dado que permite establecer y aclarar las relaciones
de causalidad entre los componentes del programa y diferentes dimensiones del
bienestar de los beneficiarios. En el análisis de las características y los
efectos del programa se deben abordar fundamentalmente cuatro elementos: i) el
ingreso al programa, ii) los componentes del programa, iii) los efectos, y iv)
los factores exógenos relacionados con las características de los beneficiarios
y el lugar donde se implementa el programa. A continuación, se describe cada
uno de estos elementos y se muestra, en un diagrama de flujo, como se
interrelacionan. Cabe mencionar que en la práctica el desarrollo de los
anteriores elementos requiere de una ardua tarea de investigación que no se
puede limitar a la revisión de documentos del programa,como el manual
operativo. Esta investigación debe incluir la revisión de literatura científica
sobre el problema principal que se busca solucionar a través del programa,
entrevistas con expertos e involucrados, y encuestas, entre otros (Rossi,
Lipsey and Freeman, 2004). En este caso, se revisaron estudios empíricos sobre
los determinantes de la desnutrición infantil en países en desarrollo y los
resultados de las evaluaciones de impacto de programas similares implementados
en Colombia, Nicaragua y Honduras, así como los documentos operativos de estos
programas.
1. Modalidades de inscripción o ingreso al programa por parte de los
beneficiarios
El procedimiento y criterios utilizados por el programa para la selección de
los beneficiarios son importantes en la evaluación de impacto ya que
determinan, en parte, las características de los beneficiarios que ingresan al
programa. En general, el ingreso a los programas sociales ocurre por
“autoselección”. Es decir, el programa determina la población objetivo y son
los beneficiarios o los administradores del programa los que deciden el ingreso
al programa. En el caso de los programas de transferencias monetarias
condicionadas el procedimiento es generalmente sencillo. La madre se inscribe
entregando los documentos de identificación que requiere el programa y, luego,
la unidad coordinadora del programa los revisa y si se cumple con los
requisitos del programa, la familia se admite como beneficiaria.30 En otros
programas el ingreso al programa puede depender de la percepcióny juicio del
funcionario del programa, o puede involucrar criterios como pruebas, visitas,
etc.
29
Algunos autores denominan a la relación entre los componentes del programa y
los efectos que se generan en los beneficiarios como la teoría del programa.
Tal es el caso de Sidani y Sechrest (1999), quién define que la teoría del
programa explica por qué, cómo y bajo qué contexto y condiciones ocurren los
efectos de una intervención. Además, esta debe predecir los resultados y
especificar que las actividades se deben desarrollar para generar los efectos
deseados. Este proceso corresponde a una versión simplificada del proceso de
selección del programa Familias en Acción.
30
61
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
2. Componentes del programa
Los componentes del programa son todos los bienes y servicios que se transfieren
a los beneficiarios. Así como, las reglas y compromisos que determinan estas
transferencias. En la descripción de los componentes es recomendable mostrar la
forma como son entregados a los beneficiarios, especificando su cantidad,
frecuencia y duración. Los componentes del Programa son:31 Transferencia en
dinero. Se entrega un subsidio cada dos meses a las madres de familia. Es un
subsidio por familia, no importando el número de niños en la familia. El valor
mensual del subsidio es de $46,500 y su entrega es condicionada al cumplimiento
de visitas médicas de control de crecimiento y desarrollo programadas,
deacuerdo con la edad, en los hospitales y centros de salud del municipio.
Control de crecimiento y desarrollo. Es un control que se realiza a los niños
para determinar que su crecimiento y desarrollo se lleva a cabo sin
dificultades. De acuerdo con los lineamientos del gobierno del Ministerio de
Salud el control de crecimiento y desarrollo debe realizarse de la siguiente
manera: una consulta de primera vez, por medicina general, para evaluar el
estado de salud del niño, identificar los factores de riesgo y orientar a los
padres en el proceso de desarrollo y crecimiento de su hijo. A continuación, se
programan citas para realizar controles de enfermería de acuerdo con la edad
del niño. El número de controles por año depende de la edad del niño. Por
ejemplo, los niños menores de 1 año deben tener cuatro controles al año,
mientras que los de 6 sólo dos. Encuentros de cuidado. Es un espacio de las
madres beneficiarias y sus familias para promover el cuidado de la salud y
otros temas relacionados con el mejoramiento de sus condiciones de vida. En los
encuentros de cuidado las madres y sus familias revisan su situación de salud,
educación y otros aspectos de su vida tales como las condiciones ambientales y
sociales, para tomar decisiones y ejecutar tareas orientadas a ayudar a las
familias en la labor diaria de vivir mejor. Los encuentros de cuidado son ante
todo una conversación entre las madres del programa, durante la cual se oyen
todas las preguntas y opiniones, se buscan y analizan propuestas de solución y
acciones.Algunas de estas acciones son ejecutadas directamente por las madres y
sus familias, y no requieren de intervenciones externas, por ejemplo: intercambio
de experiencias entre las madres para mejorar la nutrición infantil, jornadas
de mano vuelta o mingas para trabajar en huertas caseras, o para mejorar las
fuentes de agua o el suministro de la misma. Otras acciones requieren de apoyo
externo, por ejemplo: por medio de la atención en salud se pueden solicitar
servicios como; campañas o jornadas de vacunación, de salud oral, examen de
senos, y de prevención de cáncer en el cuello del útero, de manejo y
disposición de desechos, etc.
3. Efectos
Luego de analizar las características y componentes del programa se deben
identificar los efectos de la intervención. Rossi, Lipsey y Freeman (2004)
diferencian los efectos de los programas sociales de acuerdo al momento que se
espera que ocurran. Estos pueden ser iniciales, intermedios o finales.32
Efectos iniciales. Estos son todos aquellos cambios que ocurren en los
beneficiarios inmediatamente reciben los servicios que ofrece el programa. Los
efectos iniciales del Programa
31 32
Tomado del programa Familias en Acción. ABC de Familias en Acción Cartilla No
4. Evaluación de Políticas Públicas Cartilla No 3. Conceptualización y
Evaluación de Impacto. Cabe mencionar que la secuencia de causalidad entre los
efectos que genera el programa no es automática, y se requiere de ciertos
mecanismos que permitan el paso de efecto inicial, al intermedio y luego al
final.
62
CEPAL -SERIE manuales
N° 48
son un incremento en el ingreso de la familia causado por el subsidio de
nutrición, un aumento en las visitas al médico, dado que es una condición para
recibir el subsidio, y aumento de la participación de las madres beneficiarias
en la comunidad. Efectos intermedios. Estos no son causados directamente por
los componentes del programa sino que son generados por los efectos iniciales
que éstos generaron. Algunos de los efectos intermedios del programa son: i) un
aumento en el consumo de alimentos en los hogares tanto en cantidad como
calidad, ii) una mejora en las prácticas de higiene, iii) un aumento en las
acciones de prevención de enfermedades en los hogares, iv) empoderamiento de
las madres, y iv) disminución de la violencia intrafamiliar. Efectos finales.
Son los efectos más distantes de los componentes del programa que requieren un
periodo de tiempo considerable para que se generen. Continuando con la
secuencia de causalidad, estos efectos no ocurrirán si los intermedios no se
generan. Los efectos finales del programa de transferencias condicionadas están
relacionados con el estado nutricional de los niños y su nivel de salud. Y en
el largo plazo se espera observar efectos sobre la calidad de vida de los
hogares. Además podrían existir otros efectos de largo plazo no definidos en
los objetivos del Programa tales como: disminución de la pobreza
intergeneracional y aumento en el nivel de desarrollo humano del municipio.
4. Factores exógenos ajenos al control del programa
Son factoresque no están bajo el control del programa pero que influyen en la
secuencia de causalidad del programa. Es decir, son factores que influyen
positiva o negativamente durante todo el proceso, desde el ingreso al programa
hasta la generación de los efectos finales. Estos factores pueden ser de
entorno referidos a las características del lugar donde se implementa el
programa, en nuestro caso son las características del municipio. También pueden
ser factores relacionados con las características y condiciones de los
beneficiarios y sus hogares al inicio y durante la implementación del programa.
En la identificación de los factores exógenos que pueden incidir en los
resultados del Programa se debe revisar la teoría y estudios empíricos sobre
los determinantes de los indicadores de impacto. Así como, estudios de
evaluación de programas con objetivos y componentes similares. Por ejemplo, en
la evaluación de impacto del programa Familias en Acción se identificó que el
nivel de pobreza y la infraestructura de salud del municipio son determinantes
del acceso a servicios de salud y el estado nutricional de los niños. Por su
parte, en el caso de factores relacionados con las características del hogar,
Smith y Haddad (2000) propusieron, en un estudió sobre los determinantes de la
malnutrición en países en desarrollo, que el estado nutricional de los niños
esta relacionado con los recursos de los hogares para garantizar una adecuada
dieta alimentaria y un buen estado de salud de los niños. En el primer caso,
los recursos son elingreso monetario de los hogares, las transferencias y su
capacidad de producción de alimentos. Por su parte, los recursos necesarios
para alcanzar un buen estado de salud los asocian exclusivamente con el acceso
a agua potable. Finalmente, argumentan que tanto la dieta como la salud de los
niños están afectadas por el cuidado que se les brinde a los niños en el hogar,
el cual está a cargo por lo general por las madres. Argumentan que las
características de las madres que influyen en el cuidado de los niños son la
autonomía y el control que tengan sobre los recursos del hogar, su estado
físico y mental y sus conocimientos y creencias (ver figura 4). Como se observa
en la figura 4 el programa es sólo uno de varios determinantes que influyen en
el estado nutricional de los niños.
63
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Diagrama 13
FACTORES EXÓGENOS AL PROGRAMA QUE SON DETERMINANTES DE LA NUTRICIÓN DE LOS
NIÑOS
Estado nutricional del niño
Dieta alimentaria del niño
Estado de salud del niño
Seguridad alimentaria del hogar
Cuidado de los niños
Medio ambiente saludable y servicios públicos apropiados
Producción de alimentos
Ingreso monetario
Transferencias monetarias
Control de los recursos de la madre
Estado físico y mental de la madre
Conocimientos y creencias de madre
Acceso a agua potable
Programa
Fuente: Tomado de Smith y Haddad (2000). Elaboración: Autores.
En cuanto a la relación entre elingreso del hogar y el estado nutricional de
los niños, muchas investigaciones sobre nutrición concluyen la existencia de
una relación positiva entre la pobreza y la malnutrición. Por ejemplo, Nandy y
otros (2003) estudiaron la relación entre estas variables para India encontrado
una asociación positiva del nivel de pobreza del hogar con la malnutrición. Por
lo tanto, es conveniente incluir entre los factores exógenos la pobreza del
hogar medida por diferentes métodos (e.g. Necesidades Básicas Insatisfechas e
ingresos). Por último, las características individuales de los beneficiarios
también son factores exógenos que pueden incidir en los resultados del
Programa. Generalmente éstos están asociados con la edad, género, nivel de
educación, condiciones físicas y mentales, entre otros.
5. Diagrama de flujo
Luego de haber definido los diferentes elementos del programa es necesario
determinar exactamente la secuencia de causalidad entre ellos. La herramienta
más utilizada para visualizar la relación entre los componentes del programa y
los efectos son los diagramas de flujo. En estos diagramas se definen todos los
hitos que componen cada uno de los componentes del programa, sus efectos y las
relaciones de causalidad entre ellos. En la figura 5 se muestra la aplicación
de esta herramienta.
64
CEPAL - SERIE manuales
Diagrama 14
DIAGRAMA DE FLUJO
Requisito de visitas médicas
Factores exógenos Municipio: pobreza e infraestructura en salud. Hogar:
producción de alimentos, ingreso y transferencias Madre:empoderamiento, estado
físico y mental y conocimeintos y creencias Niño: edad y sexo
Visitas al médico
Mejora higiene y prevención de enfermedades en el hogar Mejora la calidad de
vida de los niños y su hogar
Ingreso al programa
Subsidio
Aumenta el ingreso del hogar
Aumenta el consumo de alimentos
Mejoran las condiciones de salud del niño
Disminuye la desnutrición del niño
Disminuye la pobreza intergeneracional Aumenta el desarrollo humano del
municipio
Encuentros de cuidado
Participación madres en la comunidad
Empoderamiento de madres
Disminuye la violencia intrafamiliar
Fuente: Elaborado por los autores.
N° 48
65
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Paso 3. Identificación de las preguntas de evaluación
Una vez definida las relaciones de causalidad entre los componentes del
programa y los efectos se cuenta con la información necesaria y suficiente para
definir el alcance de la evaluación en términos de cuáles son los efectos que
se deben evaluar y qué es necesario conocer sobre cada uno. Estas preguntas son
esenciales en la planeación de una evaluación de impacto para definir la
metodología más conveniente en términos de costos, validez de los resultados y
utilidad de la información.
1.
sCuáles efectos evaluar?
En la definición de los efectos a evaluar es conveniente tener en cuenta el
propósito de la evaluación. En este caso es suministrar información sobre los
resultados delprograma que soporte la decisión de implementarlo en otros
municipios. En este sentido, el interés de los involucrados en el Programa
estará centrado en los efectos finales del programa sobre la nutrición, la
salud y la pobreza. Antes de iniciar la evaluación de estos efectos finales o
cualquier efecto relacionado con el propósito de la evaluación es conveniente
tener en cuenta tres factores: i) el tiempo en el que se espera que ocurran los
efectos, ii) la incertidumbre sobre la magnitud del impacto y iii) el costo de
recolección de la información (Rossi, Lipsey y Freeman, 2004). Tiempo. Este
factor es definitivo en una evaluación de impacto debido a que si se decide
evaluar factores de muy largo plazo al poco tiempo de implementado el programa,
la probabilidad de encontrar algún impacto es casi cero. Por ejemplo, en el
caso del programa de transferencias condicionadas pretender evaluar cambios en
la pobreza intergeneracional o en el desarrollo humano al año de implementado
el programa sería un absurdo dado que no ha transcurrido el tiempo suficiente
para que se generen cambios estructurales y permanentes en las condiciones de
los beneficiarios. Incertidumbre. El conocimiento que generan las
investigaciones en ciencias sociales y los resultados de las evaluaciones de
impacto de intervenciones similares pueden disminuir la incertidumbre sobre el
signo y la magnitud de los efectos de un determinado programa social. Cuando la
incertidumbre sobre el efecto que se generará es baja, se debe considerar el
beneficio de recolectarinformación para medir su impacto. En general, la
incertidumbre está relacionada con el tiempo en que ocurren los efectos, siendo
mayor en los efectos de más largo plazo. Costos. Los altos costos de
recolección de la información en ciertos casos pueden llevar al evaluador a
decidir no evaluar un efecto aún cuando el tiempo de ocurrencia de éste
coincida con el período de evaluación, y que haya una alta incertidumbre sobre
la magnitud de su impacto. Por ejemplo, en el programa de transferencias
condicionadas el subsidio de nutrición debe aumentar el ingreso del hogar y
éste a su vez el consumo de alimentos. Sin embargo, recolectar información
sobre el gasto y consumo en alimentos es muy costoso.33 Además de los tres factores
descritos anteriormente, es importante que en la evaluación de impacto se
incorporen efectos a lo largo de la secuencia de causalidad entre los
componentes y los efectos de corto, mediano y largo plazo. Con frecuencia el
interés se suele concentrar en los efectos finales sin preocuparse por los
cambios iniciales o intermedios en los beneficiarios. La evaluación de estos
efectos tempranos es clave en la medida que suministra información sobre la
incidencia de
33
En el programa de Familias en Acción el módulo de gasto contiene más de 350
preguntas. En tal caso hay que comparar los costos y los beneficios de evaluar
este tipo de efectos del programa.
66
CEPAL - SERIE manuales
N° 48
los diferentes componentes del programa en los efectos finales. Por ejemplo, en
el diagrama de flujodel programa se observa que al evaluar sólo el efecto sobre
la desnutrición es imposible conocer cuáles componentes del programa están
incidiendo con mayor fuerza en el resultado, perdiéndose la oportunidad de
implementar ajustes en el programa que maximicen el impacto. Teniendo en cuenta
los criterios anteriores el evaluador debe definir qué efectos cuantificar. En
nuestro caso deberían incorporarse en la evaluación todos los efectos iniciales
e intermedios, y los efectos finales relacionados con la nutrición y la salud
de los niños. A manera de ejemplo, en la presente pauta se evalúan dos efectos
iniciales (aumento en las visitas al médico y aumento en el ingreso per cápita
del hogar) y dos efectos finales (disminución de la desnutrición y mejora de
las condiciones de salud). En el diagrama 15 se muestra la ubicación de estos
efectos en el diagrama de flujo, dejando en blanco los efectos que no serán
evaluados.
67
68
Factores exógenos Municipio: pobreza e infraestructura en salud. Hogar:
producción de alimentos, ingreso y transferencias Madre: empoderamiento, estado
físico y mental y conocimeintos y creencias Niño: edad y sexo
Requisito de visitas médicas
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Diagrama 15
EFECTOS INCLUIDOS EN LA EVALUACIÓN
34
Visitas al médico
Ingreso al programa
Subsidio
Aumenta el ingreso del hogar
Mejoran las condiciones de salud del niño
Disminuye la desnutrición del niño
Fuente:Elaboración de los autores.
34
Los casilleros en blanco representan los efectos que no son evaluados y que
fueron incluidos en diagrama 14.
CEPAL - SERIE manuales
N° 48
2. sQué se quiere conocer de los efectos del programa?
La pregunta fundamental que responde la evaluación de impacto es qué parte de
los efectos observados en los beneficiarios, a partir del inicio de la
implementación del programa, es atribuible a los componentes de la
intervención. Resolver esta pregunta es crucial dado que existen múltiples
factores externos que también pudieron haber influido en el bienestar de los
beneficiarios durante este período. Las principales preguntas que se formulan
en las evaluaciones de impacto están relacionadas con la magnitud de los
efectos, su incidencia en diferentes subgrupos de la población objetivo, y la
eficacia y la eficiencia de la intervención en producir estos efectos (Rossi,
Lipsey y Freeman, 2004). Magnitud. Es el cambio en el bienestar de los
beneficiarios producido a partir del inicio de la implementación del programa.
Por ejemplo, uno de los efectos del programa de transferencias condicionadas es
aumentar el ingreso per cápita de los hogares. Una pregunta de evaluación
podría ser en cuánto aumenta el programa el ingreso de los hogares
beneficiarios. La magnitud de los efectos del programa se puede expresar en
términos absolutos y relativos. En el caso del ingreso, la evaluación puede
concluir en cuántos dólares aumenta el ingreso de los hogares como consecuencia
del programa, o en quéporcentaje aumentó el ingreso en el tiempo transcurrido
entre el inicio del programa y su evaluación. Cambios diferenciales entre
grupos. La magnitud de los efectos de los programas sociales generalmente no es
homogénea y estos se distribuyen de forma desigual entre la población objetivo.
Es decir, la magnitud de los efectos del programa puede ser mayor en un
segmento de la población objetivo dadas sus características. En el programa de
transferencias condicionadas es posible encontrar impactos diferenciales en
función de la severidad de la pobreza en los hogares. Es probable que en estos
hogares el subsidio que se reciba se distribuya para satisfacer las necesidades
de todos los miembros del hogar y no exclusivamente aquellas relacionadas con
la salud de los niños y su estado nutricional. Este comportamiento seguramente
se traducirá en un menor impacto del programa en este grupo de hogares. Rossi,
Lipsey y Freeman (2004) llaman a las variables que identifican estos subgrupos
de la población objetivo 'mediator variables'. Conocer si la magnitud
de los efectos del programa es heterogénea en el grupo de los beneficiarios es
útil para redefinir la población objetivo o intensificar o introducir nuevos
componentes en el programa que aumenten el impacto de la intervención en
aquellos grupos que se benefician menos. Eficacia. Conocer solo la magnitud y
la heterogeneidad de los efectos de los programas sociales no suministra
información suficiente para determinar si la intervención tiene éxito o no. Por
ejemplo, ses suficientepara los alcaldes conocer que el consumo de alimentos
aumenta 3% como consecuencia del programa? sEs 3% mucho o poco? Rossi, Lipsey y
Freeman (2004), definen que 'evaluar cualquier cosa significa valorar el
mérito o valor de algo con respecto a un criterio o estándar'. Así, la
eficacia es la medida en que se alcanza o supera los estándares fijados. Estos
autores proponen una lista de diez diferentes tipos de estándares por los
cuáles el impacto de una intervención puede ser juzgado (ver recuadro 9). Cabe
resaltar que los objetivos y metas del programa son solo un tipo de estándar.
En evaluación de proyectos, el análisis de la eficacia con frecuencia se
restringe al logro de los objetivos, que incluso cuando estos estén mal
definidos. En conclusión el análisis de eficacia es definitivo en una
evaluación de impacto y siempre una de las preguntas de la evaluación debe ser:
sfue la intervención eficaz en la generación del efecto X?.
69
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recuadro 9
ESTÁNDARES PARA MEDIR EFICACIA Los estándares que generalmente se utilizan para
evaluar la eficacia de los programas sociales son: 1. La necesidades de la
población objetivo. 2. Los objetivos y metas del programa. 3. Estándares
profesionales. 4. Prácticas generalizadas. 5. Requerimientos legales. 6.
Valores éticos y morales. 7. Resultados anteriores. 8. Opinión de expertos. 9.
Línea base de las condiciones de la población. 10. Condiciones esperadas enausencia
del programa.
Fuente: Tomado de Rossi, Lipsey y Freeman (2004).
Eficiencia. La escasez de recursos disponibles para la inversión en programas
sociales hace indispensable analizar la eficiencia de éstos en la generación de
sus efectos. La OECD (2002) define eficiencia como la medida en que los
recursos/insumos (fondos, tiempo, etc.) se han convertido en resultados. De
este modo, es posible encontrar intervenciones que son eficaces en el logro de
un determinado estándar, pero ineficientes dado que sus costos son muy altos en
relación con otras alternativas. Así, otra pregunta de evaluación de impacto,
que siempre se debe incluir, es si los efectos que genera la intervención se
producen al menor costo posible entre un conjunto de alternativas de intervención
que causan efectos similares.
Paso 4. Selección de los indicadores
Una vez definidos los efectos que se evaluarán y qué se quiere conocer de
ellos, el siguiente paso es seleccionar los indicadores de impacto que serán
utilizados para evaluar cada uno de los efectos. También las variables e
indicadores que se emplearán para medir los factores exógenos. Este paso es
fundamental en una evaluación de impacto en la medida que los efectos y
factores exógenos identificados en el paso 2 por lo general corresponden a
conceptos abstractos que pueden tener más de un significado, dependiendo de la
perspectiva teórica y del contexto en que sean utilizados. Por lo tanto, para
que estos conceptos sean evaluables deben ser operacionalizados a través de
variables oindicadores que permitan su valoración. Cohen y Franco (1998)
definen que “operacionalmente un indicador es la unidad que permite medir el
alcance de una meta. Pero la relación entre el indicador y la meta es de
carácter probabilística y no de implicación lógica, recomendando incrementar el
número de indicadores de una meta para aumentar la probabilidad de lograr una
medición adecuada”. Siguiendo esta recomendación se seleccionaron el mayor
número de indicadores para evaluar los efectos y factores exógenos. Teniendo en
cuenta las variables e indicadores utilizados en evaluaciones de impacto
similares y la información recolectada en la encuesta a los hogares que
participaron en el programa Familias en Acción. A continuación, se muestran las
variables e indicadores
70
CEPAL - SERIE manuales
N° 48
seleccionados para medir los impactos del Programa y los factores exógenos. Se
especifica el nombre de las variables e indicadores y su forma de cálculo.
1. Indicadores de impacto
En diagrama 14 se definió que se evaluarán los efectos del programa en: las
visitas al médico, el ingreso de los hogares, las mejoras en las condiciones de
los niños y el estado nutricional. • Visitas al médico Este es un efecto de
corto plazo del programa que se mide de forma sencilla preguntando el número de
vistas al médico durante un determinado período de tiempo.
Cuadro 13
VISITAS AL MÉDICO Variable Número de visitas al médico en el último año para
consultas relacionadas con crecimiento y desarrollo Indicador Igual a
lavariable Forma de cálculo Encuesta
Fuente: Elaboración de los autores.
• Estado de salud del niño El estado de salud del niño se operacionalizó con
variables e indicadores de morbilidad35 relacionados con la incidencia y
duración de problemas de salud como diarrea y gripa. También se incluyeron
indicadores que reflejan los efectos negativos de los problemas de salud como
la necesidad de permanecer en cama y la incapacidad para desarrollar las
actividades normales.
35
Proporción de personas que se enferman en un sitio y tiempo determinado.
71
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Cuadro 14
ESTADO DE SALUD DEL NIÑO Variable Número de niños que durante los últimos 15
días tuvieron diarrea o soltura del estomago Indicador Tasa de incidencia de la
diarrea Forma de cálculo.
variable N niños
Nniños= número muestra de niños en la
Número de días que duró la diarrea o soltura de estomago (referido a episodios
en los últimos 15 días) Número de niños que durante los últimos 15 días
tuvieron gripa
Promedio de duración de la diarrea por niño
variable N niños
Nniños= número de niños en la muestra
Tasa de incidencia de la gripa
variable N niños
Nniños= número muestra de niños en la
Número de niños que durante los últimos 15 días dejaron de realizar sus
actividades normales
Tasa de inactividad
variable N niños
Nniños= número muestra de niños en la
Número de niños que durante los últimos 15 días tuvieron quepermanecer en cama
Porcentaje de niños postergados en cama
variable N niños
Nniños= número muestra de niños en la
Fuente: Elaboración de los autores.
• Estado nutricional Se seleccionaron los indicadores utilizados por los
programas Progresa/Oportunidades y Familias en Acción para medir el estado
nutricional de los niños. Son indicadores antropométricos de peso/edad
(desnutrición global), peso/talla (desnutrición aguda) y talla/edad
(desnutrición crónica) que indican si la medida antropométrica de los niños
está por debajo del estándar que se considera apropiado para su edad, altura y
peso.
Cuadro 15
ESTADO NUTRICIONAL Variable Indicador Índice antropométrico Puntaje Z
Porcentaje de niños con desnutrición aguda Porcentaje de niños riesgo de
desnutrición en Forma de cálculo.
Z score =
variable − Z Desv( Z )
Peso del niño (kilogramos) Edad Talla
Porcentaje de niños en estado nutricional normal Porcentaje de niños con
sobrepeso
Número de niños con puntaje Z >-6 y ≤-2 entre el total de niños Número
de niños con puntaje Z >-2 y ≤-1 entre el total de niños Número de
niños con puntaje Z >-1 y ≤2 entre el total de niños Número de niños
con puntaje Z >2 y ≤6 entre el total de niños
Fuente: Elaboración de los autores.
72
CEPAL - SERIE manuales
N° 48
2. Indicadores de factores exógenos
Como se mencionó los factores exógenos están relacionados con las
características de los niños, sus madres, sus hogares y su lugar de residencia
(municipio). • Características de los niños
Cuadro 16CARACTERÍSTICAS DE LOS NIÑOS Variable Número de meses cumplidos Número
de niños Indicador Igual a la variable Porcentaje de hombres Forma de cálculo
Encuesta
variable N niños
Nniños= número de niños
Fuente: Elaboración de los autores.
• Madre Las características de las madres son en parte determinantes del
cuidado de los niños. Las variables que se seleccionaron fueron la edad, los
años de educación, el estado civil y el cápital social. Por restricciones de
información no se pudieron incluir todas las variables propuestas por Smith y
Haddad (2000), principalmente aquellas relacionadas con el estado físico y
mental y el empoderamiento de las madres.
Cuadro 17
CARACTERÍSTICAS DE LA MADRE Variable Número de años cumplidos de la madre Años
de educación de la madre Número niños con madres casadas o en unión libre
Número niños con madres que participan en una organización civil o religiosa
Indicador Igual a la variable Igual a la variable Variable dicotómica Forma de
cálculo Encuesta Encuesta 1 si la madre del niño es casada o vive en unión
libre 0 otro 1 si la madre del niño participa en una organización civil o
religiosa 0 otro
Fuente: Elaboración de los autores.
Variable dicotómica
• Hogar Se incluyó el ingreso total del hogar y se seleccionaron indicadores
que se construyen a partir de esta variable como incidencia de la pobreza
absoluta y extrema. También se seleccionaron todas las variables del método de
Necesidades Básicas Insatisfechas–NBI–para contar con una conjunto completo de
medidas de lapobreza de los hogares. Finalmente, se seleccionaron los
indicadores del método integrado de la pobreza que, como se analizó en el
primer capítulo combina la pobreza por ingreso y NBI.
73
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Cuadro 18
CARACTERÍSTICAS DEL HOGAR Variable Indicador Igual a la variable Ingreso per
cápita del hogar Forma de cálculo En pesos colombianos
variable N niños
Nhogar= número de miembros del hogar 1 si el ingreso del hogar al que pertenece
el niño está por debajo de la línea de pobreza. 0 otro 1 si el ingreso del
hogar al que pertenece el niño está por debajo de la línea de pobreza extrema.
0 otro 1 si el niño vive en una vivienda con piso de tierra 0 otro 1 si el niño
vive en una vivienda sin servicios de acueducto y alcantarillado 0 otro 1 si el
niño vive en un hogar con hacinamiento crítico 0 otro 1 si el niño vive en un
hogar con dependencia económica 0 otro
Ingreso total del hogar
NBI vivienda: niños que viven en viviendas con piso de tierra NBI servicios:
niños que viven en viviendas sin servicios de acueducto y alcantarillado NBI de
hacinamiento: Niños que viven en hogares con hacinamiento crítico (número de
personas por cuarto mayor a 3) NBI de dependencia: niños que viven en hogares
con dependencia económica (hogares cuyo jefe de hogar tenga un nivel educativo
inferior a tercero primaria y tres o más personas por cada persona dependiente)
NBI de inasistencia: niños que viven en hogares coninasistencia escolar (algún
niño entre 7 y 11 años que no asista a un establecimiento educativo)
Variable dicotómica que indique si el niño vive en hogares por debajo de la
línea de pobreza (LP= 206,731) Porcentaje de niños que viven en hogares por
debajo de la línea de pobreza extrema (LI= 79,282) Variable dicotómica
Variable dicotómica
Variable dicotómica
Variable dicotómica
Variable dicotómica
1 si el niño vive en un hogar con inasistencia escolar 0 otro
Variable dicotómica Número de NBI en los hogares
Variable dicotómica
Número de niños en el hogar
Igual a la variable
1 si el niño vive en un hogar con 1 NBI 0 otro 1 si el niño vive en un hogar
con 2 o más NBI. 0 otro Encuesta
Fuente: Elaboración de los autores.
• Municipio Se seleccionaron los indicadores de pobreza NBI y el Índice de
Calidad de Vida –ICV–. Por su parte, la infraestructura en salud se cuantificó
con el número de hospitales, centros de salud y puestos de salud.
74
CEPAL - SERIE manuales
N° 48
Cuadro 19
CARACTERÍSTICAS DEL MUNICIPIO Variable Número de NBI en los hogares de todo el
municipio Indicador Porcentaje de personas que viven en hogares con 1 NBI Forma
de cálculo
q N
q= número de persona que viven en hogares con 1 NBI
Múltiples variables relacionadas con las condiciones demográficas y
socioeconómicas de los hogares Número de hospitales Número de centros de salud
Número de puestos de salud Número de otras instituciones de salud
Índice de Calidad de Vida Análisis multivariado Igual a lavariable Igual a la
variable Igual a la variable Igual a la variable
Encuesta
Fuente: Elaboración de los autores.
Paso 5. Estimación del impacto
La primera pregunta de evaluación que se busca resolver con la estimación
cuantitativa del impacto de una intervención es cuál hubiera sido la situación
de los beneficiarios si ellos no hubieran participado en la intervención o no
hubieran estado expuestos al programa que se evalúa. Esta es una pregunta que
aplica a cualquier tipo de intervención y su estudio permite analizar los
efectos esperados y no esperados que la intervención está generando en los
beneficiarios. Esta idea se puede representar mediante la siguiente ecuación
(Navarro 2005, citando a Guzmán 2001):
α i = Y1i − Y0 i
Donde Y1i son las condiciones de vida que el individuo alcanzó cuando participó
en el programa, Y0i representa las condiciones de vida que el individuo hubiera
alcanzado en ausencia del programa, y αi es el impacto del programa en la
persona i. El impacto nunca puede ser observado directamente, dado que sólo una
de las dos situaciones potenciales (participar o no participar) es observada
para cada individuo en un momento dado (Angrist y Kruger, 1998). Así, la
evaluación de impacto contará sólo con observaciones de Y1i para los individuos
beneficiarios del programa, y el problema que se debe solucionar es la
estimación de Y0i, el cual es llamado comúnmente escenario contrafactual. De
acuerdo con Cook y Campbell (1979) el impacto se debe estimar mediante una
comparación sistemáticaentre grupos de población que reciben los beneficios de
la intervención (grupos de tratamiento) y grupos de no beneficiarios (grupos de
control), que son similares en los aspectos más relevantes. En este caso, el
grupo de control simularía el escenario contrafactual, Y0i. El impacto también
se puede estimar comparando el grupo de beneficiarios en diferentes momentos
del tiempo, donde Y0i corresponde a la situación de los beneficiarios antes de
ingresar al programa. Como se mencionó en la introducción, los diseños de
evaluación de impacto se clasifican en experimentales y cuasi-experimentales,
siendo la principal diferencia la forma como se asignan los participantes a los
grupos de tratamiento y control (aleatoria en el diseño experimental y no
aleatoria en el cuasi-experimental). Las teorías de evaluación resaltan la
superioridad del diseño experimental para determinar causalidad. Sin embargo,
su aplicabilidad en ciencias sociales es frecuentemente muy limitada.
Especialmente en el caso de intervenciones sociales debido a las
consideraciones éticas y políticas que surgen al impedir el acceso a personas
que tienen la 75
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
necesidad que la intervención satisface. En el diagrama 16 muestra la ruta que
se sigue, en general, en la selección y aplicación de los diseños de evaluación
de impacto. Se observa que la primera opción que se debe considerar para
evaluar un programa social es el diseño experimental, ysólo una vez descartada
su aplicación se debe considerar la aplicación de diseños cuasi-experimentales.
En esta pauta se descartó el uso de diseños experimentales para estimar el
impacto del Programa debido a que no se cuenta con información experimental.
Sin embargo, los métodos de estimación del impacto que se analizan para el caso
de los diseños cuasi-experimentales aplican en la mayoría de los casos para los
diseños experimentales (Shadish, Cook y Campbell, 2002). En el anexo 4 se
resumen las principales características, ventajas y limitaciones de estos
diseños de evaluación.
76
CEPAL - SERIE manuales
N° 48
Diagrama 16
RUTA A SEGUIR EN LA SELECCIÓN Y APLICACIÓN DE LOS DISEÑOS DE EVALUACIÓN DE
IMPACTO
PASO 5: Estimación el impacto
s Es posible asignar la población objetivo del programa aleatoriamente a un
grupo de tratamiento y control? No Diseño- cuasi experimental de evaluación
Si
Diseño experimental de evaluación
Opción 1 Diseño con controles reflexivos
No
sEs posible conformar un grupo de control con personas que no participaron en
el programa pero hacen parte de la población objetivo?
Si
Opción 2 Diseño con grupos de comparación no equivalentes
Actividad 1: Seleccionar una muestra aleatoria de beneficiarios. Actividad 2:
Calcular de los indicadores de impacto sin y con proyecto. Actividad 3:
Calcular el impacto. Actividad 4: incluir los factores ex ó genos en el cálculo
del impacto. Actividad 5: Analizar el diagrama de flujo de la evaluación.
Actividad 1:seleccionar una muestra aleatoria de beneficiarios. Actividad 2:
seleccionar la ubicación geográfica del grupo de control. Actividad 3:
seleccionar aleatoriamente los miembros del grupo de control.
NO
sEs posible construir una línea base de los indicadores de impacto?
Si
Opción 2.1. Sólo después
Opción 2.2. Diferencia en diferencia
Actividad 4: Calcular de los indicadores de impacto para el grupo de
tratamiento en la situación sin y con proyecto. Actividad 5: Calcular de los
indicadores de impacto para el grupo de control en la situación sin y con
proyecto. Actividad 6: Calcular el impacto. Actividad 7: Incluir los factores
exógenos en el cálculo del impacto. Actividad 8: Analizar el diagrama de flujo
de la evaluación.
Actividad 4: Calcular las diferencias en los indicadores de impacto para el
grupo de tratamiento y control en la situación sin proyecto. Actividad 5:
Calcular la diferencia en los indicadores de impacto para el grupo de
tratamiento entre la situación sin y con proyecto. Actividad 6: Calcular la
diferencia en los indicadores de impacto para el grupo de control entre la
situación sin y con proyecto. Actividad 7: Calcular el impacto. Actividad 8: Incluir
los factores exógenos en el cálculo del impacto. Actividad 9: Analizar el
diagrama de flujo de la evaluación.
Fuente: Elaborado por los autores.
77
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Como se muestra en el Diagrama 16, en el diseño cuasi-experimental elevaluador
tiene dos opciones dependiendo del tipo de grupo de control que sea posible
conformar. Una primera opción es aplicar un diseño con controles reflexivos,
donde el grupo de control lo constituye la situación de los beneficiarios antes
de iniciar el programa (opción 1 en el Diagrama 16). Una segunda opción es
conformar el grupo de control con una muestra representativa de la población
objetivo que no participó en el programa. Esta opción se denomina: diseño
cuasi-experimental con grupos de control no equivalentes (opción 2 en el
Diagrama 16). En este tipo de diseño dos alternativas son ampliamente
utilizadas: sólo después y diferencias en diferencias. La diferencia entre estas
dos alternativas es la incorporación de información de línea de base (situación
sin proyecto) para el grupo de tratamiento y control. En el modelo “sólo
después” no se dispone de información de línea de base y sólo se incorpora
información del grupo de tratamiento y control en la situación con proyecto,
mientras que en modelo de diferencias en diferencias se cuenta con información
de estos grupos antes y después de la implantación del programa (opciones 2.1 y
2.2. en el Diagrama 16). Uno de los criterios más importantes para juzgar la
calidad de los diseños de evaluación, especialmente los cuasi-experimentales,
es su validez interna. Es decir, la confiabilidad del diseño en inferir la
relación de causalidad que existe entre el programa y los cambios observados en
el bienestar de los beneficiarios. A continuación se describen losprincipales
problemas de validez interna que debilitan los resultados de las evaluaciones
de impacto, principalmente cuando se aplican diseños cuasi-experimentales
(Shadish, Cook, y Campbell, 2002; Rossi, Lipsey y Freeman, 2004; y Royse et
al., 2006). Selección. Diferencias iniciales entre los beneficiarios y no
beneficiarios del programa que podrían explicar la variación de los indicadores
de impacto después de implementada la intervención. Estas diferencias aparecen
cuando el ingreso al programa ocurre por “autoselección”, ya sea por decisión
del beneficiario o de los administradores del programa. En programas donde la
inscripción es voluntaria pueden existir diferencias significativas entre los
hogares beneficiados y aquellos que no participaron. Por ejemplo, las madres de
los niños beneficiarios pudieron haber inscrito a sus hijos en el programa
porque reconocen la importancia del cuidado de la salud de los niños, y desde
tiempo atrás han adoptado prácticas saludables en sus hogares en relación con
la alimentación, la higiene y la prevención de enfermedades. Entonces, es
posible que las diferencias ex-post entre los dos grupos cuando se usa grupo de
control no se deba al programa sino al comportamiento saludable que siempre han
tenido las madres de los niños beneficiarios. El sesgo por selección es una de
las mayores dificultades que deben resolver las evaluaciones de impacto de
programas sociales. Historia. Eventos externos al programa que ocurren entre el
inicio y la evaluación de los resultados de la intervención quepodrían explicar
la variación en los indicadores de impacto. Estos eventos pueden ser de
diferente índole: económicos, políticos, sociales, culturales, ambientales, entre
otros. En nuestro caso, múltiples eventos externos pudieron haber sucedido en
forma paralela a la intervención. Por ejemplo, los ingresos de las familias de
la zona rural que participaron en el programa pudieron haber aumentado
significativamente debido a un inesperado aumento en el precio de los productos
que cultivan. En ese caso, es posible que aún en ausencia del programa estas
familias hubieran incrementado sus visitas al médico y mejorado su
alimentación. También pudo haber ocurrido que los prestadores de salud privados
hayan implementado una campaña relacionada con la prevención de salud de los
niños. En tal caso, se tendrían dos programas con objetivos similares
ejecutándose al mismo tiempo. Maduración. Cambios naturales en los individuos
como resultado del paso del tiempo (envejecimiento, cansancio, cambio de
hábitos, etc.) que hubieran ocurrido aún en ausencia del 78
CEPAL - SERIE manuales
N° 48
programa. Estos cambios afectan los resultados de las evaluaciones de impacto
si están relacionados con los indicadores de impacto. En la evaluación del
programa de transferencias condicionadas podría haber sesgo por maduración
debido a que los indicadores del estado nutricional de los niños involucran
medidas antropométricas de talla y peso que cambian rápidamente en la población
de 0-6 años. De este modo, es casi seguro que la talla y elpeso de los niños
beneficiarios del programa hayan aumentado en el período de implementación del
programa, sin embargo, parte de ese aumento se debe al incremento de la edad de
los niños y no al programa. Deserción. Disminución en el tamaño de los grupos
de tratamiento y control. El tamaño de estos grupos se disminuye cuando algunos
de sus miembros abandonan el estudio de evaluación después de la primera
medición (antes de iniciar el programa), bien sea porque desertan del programa
o no es posible ubicarlos para medir su situación después de la implementación
del programa. El sesgo por deserción ocurre cuando los individuos que desertan
en el grupo de tratamiento son significativamente diferentes de aquellos que
abandonan el grupo de control. Si las características de los desertores son
diferentes, la equivalencia inicial entre el grupo de tratamiento y de control
se pierde, abriendo la posibilidad que las variaciones en los indicadores de
impacto sean atribuibles a estas diferencias. En otras palabras, el sesgo por
deserción es similar al que se genera por la autoselección pero que ocurre
después de que el programa ha iniciado sus actividades y no antes como en el caso
del sesgo por selección. La deserción es bastante probable en evaluaciones de
impacto de programas sociales ya que debido a la naturaleza de los efectos que
estos programas buscan generar se exige la definición de prolongados períodos
de evaluación. Aplicación de pruebas. Efectos de tomar la misma prueba dos
veces. La mayoría de las evaluaciones deimpacto involucran una medición de los
indicadores de impacto antes y después de la intervención. Es posible que en
algunos programas los indicadores cambien debido a la familiaridad o reacción
de los entrevistados ante la primera medición. Por ejemplo, en nuestro caso los
niños son medidos y pesados al inicio del programa y al momento de la
evaluación. En la primera medición las madres pueden sentirse juzgadas por el
encuestador al conocer que sus hijos no tienen el peso y talla adecuada para su
edad. Así, esta presión social podría inducir un cambio en el comportamiento de
las madres con el propósito de mostrar en la segunda medición una mejora en el
peso de los niños. Este resultado es deseable en términos de los objetivos del
programa, sin embargo, el problema surge cuando este cambio se le atribuye
erróneamente a la intervención y no se identifica la existencia de sesgo por
aplicación de pruebas. Instrumentación. Cambios en los instrumentos de
recolección de la información sobre los indicadores de impacto antes y después
de la intervención. Estos cambios pueden implicar que las variaciones
observadas en los indicadores de impacto se deban a cambios en el procedimiento
de recolección de la información y no al programa. Por ejemplo, en el Programa
podría ocurrir sesgo por instrumentación en caso que en la primera medición
(antes de iniciar el programa) los niños se hayan pesado con básculas
mecánicas, y luego en la segunda medición se haya decido utilizar básculas
digitales, que son más precisas. Cambios en laspreguntas y opciones de
respuesta en los formularios utilizados en la recolección de la información
también pueden introducir sesgo por instrumentación. En las siguientes dos
secciones se desarrollan los pasos que se siguen para estimar el impacto con
diseños cuasi-experimentales (ver actividades en el diagrama 16). En la primera
sección se analiza la opción 1 de evaluación de impacto, en la que se utilizan
grupos de control reflexivos. Luego, se describen las actividades que se siguen
al aplicar la opción 2 de evaluación que utiliza grupos de control no
equivalentes, en la que a su vez existen dos alternativas: los diseños sólo
después y diferencias en diferencias. Los indicadores de impacto que se evalúan
son: 79
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
el número de visitas al médico, el ingreso per cápita del hogar, el estado de
salud de los niños y el porcentaje de niños en riesgo de desnutrición.
1. Opción 1: Evaluación con grupos de control reflexivos
Como se mencionó, en este diseño la situación de los beneficiarios antes de
ingresar al programa (“situación sin proyecto”) se utiliza como grupo de
control para determinar el efecto de la intervención. El supuesto implícito es
que las características de los beneficiarios y el valor de los indicadores de
impacto no habrían cambiado en ausencia del programa. De este modo, cualquier
variación en los indicadores es considerada como un efecto de la intervención
(ver diagrama 17). En laversión simple de este modelo se cuenta con una
observación de los beneficiarios antes y después de la intervención. Sin
embargo, se pueden añadir más mediciones antes y después conformando una serie
de tiempo (ver diagrama 17).
Diagrama 17
DISEÑO CUASI-EXPERIMENTAL CON CONTROLES REFLEXIVOS
Antes
(Situación sin proyecto)
Después
(Situación con proyecto)
Yt-n
Yt-4
Yt-3
Yt-2
Yt-1
X
Programa
Yt+1
Yt+2
Yt+3
Yt+4
Yt+n
Fuente: Elaborado por el autor con base en Shadish, Cook y Cambell (2002).
Actividad 1: Seleccionar de una muestra aleatoria de beneficiarios Debido a que
en muchas ocasiones es muy costoso e innecesario recolectar información de
todos los beneficiarios que ingresaron al programa, la estimación del impacto
se realiza sobre una muestra probabilística del total de la población objetivo
inscrita en el programa. En este ejercicio se tomó como unidad de muestreo al
hogar, seleccionando aleatoriamente 54 hogares y 80 niños. Estos beneficiarios
conforman el grupo de tratamiento de la evaluación. Actividad 2: Calcular los
indicadores de impactos con y sin proyecto Para el cálculo de los indicadores
de impacto se recolectó información antes de que los niños ingresaran al
programa y un año después de haber iniciado su participación. Los indicadores
de impacto en la situación con y sin proyecto se calculan estimando la media de
cada indicador en cada momento del tiempo. La fórmula para este cálculo se muestra
en la ecuación 1, donde I es el indicador de impacto promedio, Pindica si la
medición corresponde a la situación con y sin proyecto (0=sin y 1=con), n es el
número de individuos que conforman el grupo de tratamiento, Y es la variable de
impacto.
I P =0 =
1 n ∑ Yi n i =1
, I P =1 =
1 n ∑ Yi n i =1
[1]
En la Tabla 10 se muestra el valor de los indicadores de impacto en la
situación con y sin proyecto para el grupo de tratamiento.
80
CEPAL - SERIE manuales
N° 48
Tabla 10
INDICADORES DE IMPACTO EN LA SITUACIÓN CON Y SIN PROYECTO Indicadores de
impacto Porcentaje de niños que asisten a consultas de crecimiento y desarrollo
Número de visitas al médico Ingreso per cápita del hogar (mensual) Tasa de
incidencia de la diarrea (porcentaje) Duración de la diarrea (días) Duración de
la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de niños que
tuvieron que permanecer en cama Porcentaje de niños en riesgo de desnutrición
(peso/edad) Porcentaje de niños en riesgo de desnutrición (peso/talla) Grupo de
tratamiento Sin proyecto (a) Con proyecto (b) 78,18 100,00 2,05 65 419,92 8,75
0,51 6,14 22,44 63,63 10,81 25,68 5,55 74 101,01 10,00 0,55 5,61 29,26 75,00
0,00 1,25
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
En esta actividad es importante considerar la confiabilidad y validez de las
mediciones de los indicadores deimpacto en los dos momentos en el tiempo. Es
decir, que los instrumentos y preguntas utilizadas en las mediciones sin y con
proyecto sean las mismas de modo que los resultados en los dos momentos del
tiempo sean comparables evitándose errores de medición.36 Actividad 3: Calcular
el impacto En este diseño el impacto se calcula comparando la media de los
indicadores de impacto para el grupo de tratamiento en la situación con y sin
proyecto (ver Ecuación 2).
α P = I P =1 − I P =0
[2]
Los resultados se muestran en la tabla 11. Se indica el impacto absoluto y
porcentual generado por el programa de acuerdo con el diseño con controles
reflexivos. Por ejemplo, el número de visitas al médico aumentó en 3.5 visitas
al año (impacto absoluto), representando un aumento de este indicador del
170.14% (impacto porcentual). Retomando la información suministrada en la Tabla
11 este aumento significa que si el programa no se hubiera implementado los
beneficiarios del programa hubieran visitado al médico sólo 2.05 veces al año y
que como producto de la implementación de Programa visitaron al médico 5.5
veces al año.
36
En el caso de Familias en Acción, las mismas preguntas fueron hechas a los
beneficiarios antes y después de iniciar el programa.
81
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Tabla 11
IMPACTO PROMEDIO DEL PROGRAMA USANDO CONTROLES REFLEXIVOS Indicadores de
impacto Impacto Absoluto Porcentual (b-a) (b/a-1)*100 21,82 27,91
t-testPorcentaje de niños que asisten a consultas de crecimiento y desarrollo
Número de visitas al médico Ingreso per cápita del hogar (mensual) Tasa de
incidencia de la diarrea (porcentaje) Duración de la diarrea (días) Duración de
la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de niños que
tuvieron que permanecer en cama Porcentaje de niños en riesgo de desnutrición
(peso/edad) Porcentaje de niños en riesgo de desnutrición (peso/talla)
3,30***
3,50 8 681,09 1,25 0,04 -0,53 6,82 11,37 -10,81 -24,43
170,14 13,27 14,29 7,32 -8,69 30,39 17,87 -100,00 -95,13
6,37*** 0,78 0,27 0,11 0,64 0,73 0,57 2,96*** 4,80***
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
En la estimación del impacto del Programa es indispensable que los cambios sean
estadísticamente significativos.37 Para determinar la significancia estadística
del impacto se aplicó una prueba de diferencia de medias utilizando el
t-estadístico, la cual se describe en detalle más adelante en la tabla 16. Los
resultados indican que el Programa generó, de acuerdo con el diseño de
controles reflexivos, un impacto significativo en el número de visitas al
médico y el porcentaje de niños en riesgo de desnutrición. En el primer
indicador, como se analizó anteriormente, los beneficiarios incrementaron el
número de visitasen un 170.1%. Por su parte, el porcentaje de niños en riesgo
de desnutrición disminuyó en un 100% utilizando como medida antropométrica el
peso/edad y 94.74% usando peso/talla. Estos cambios son estadísticamente
significativos a un nivel de confianza del 95%. En el resto de indicadores de
impacto no se observan cambios estadísticamente significativos. Es importante
mencionar, que con excepción de la duración de la gripa, todos los indicadores
de impacto relacionados con problemas de la salud, que se esperaría que
disminuyeran en la situación con proyecto, aumentaron (ver tabla 12). Los
resultados que se muestran en la tabla 12 también se pueden obtener utilizando
un análisis de regresión. En este caso, la especificación del modelo es:
Yi = α 0 + α P Pi + µ donde i=1…..160 que corresponde al número de
niños [3]
Donde Y es el indicador de impacto del programa; P refleja el momento en el que
se hizo la medición del indicador de impacto (0 en la situación antes de la
implementación del programa y 1 después). En este caso, P se interpreta como la
situación sin y con participación en el proyecto. Por su parte los α ´s
son los coeficientes de regresión, α o , es el valor de Y cuando no se
participa en el programa o intercepto de la regresión, y α P indica en
cuánto se modifica Y debido a la participación en el programa. Así, este
coeficiente corresponde al impacto del programa en este
37
Si estos no son significativos es posible que al recolectar de información de
otra muestra representativa de los beneficiarios lavariación del indicador sea
cero.
82
CEPAL - SERIE manuales
N° 48
modelo simple, el cual es equivalente al impacto absoluto (a-b) calculado en la
tabla 11. Finalmente, el término µ es el error no observado que contienen todas
las variables que fueron omitidas en la evaluación, observables y no
observables. El método de estimación utilizado en la ecuación 3 es Mínimos
Cuadrados Ordinarios– MCO–aplicado a variables cuantitativas o de intervalo,
como es el caso del ingreso.38 Este método busca estimar la asociación que
existe entre dos o más variables a través de una línea recta que minimice la
diferencia al cuadrado entre el valor observado y estimado de la variable
dependiente (Y). Por su parte, cuando el indicador de impacto es una variable
cualitativa se pueden usar dos métodos MCO o Máxima Verosimilitud –MV-. Los
modelos que se pueden estimar son el de Probabilidad Lineal, Probit y Logit que
estiman el cambio en la probabilidad de ocurrencia del evento que se analiza.
Las variables de no intervalo más usadas son las dicotómicas. Por ejemplo, sexo
(hombre, mujer), raza (Negro, Blanco), estado civil (casado, soltero), entre
otros. En este caso, al indicador de impacto se le asigna el valor de 1 o 0
para representar cada una de las categorías (Lewis-Beck, 1980 y Wooldrifge,
2003). Por ejemplo, un modelo utilizado para estimar el impacto de un programa
de terapia para parejas determinará el cambio en la probabilidad de seguir
casado. El anexo 5 contiene un análisis detallado de los supuestos de
losmétodos de estimación mínimos cuadrados ordinarios MCO, así como una
explicación intuitiva de que es la máxima verosimilitud (MV) y los modelos de
regresión simple y múltiple. Se recomienda al lector revisar este anexo antes
de continuar. En la tabla 12 se muestran las características de los indicadores
de impacto utilizados en la evaluación y el modelo de estimación que se
utiliza. En el caso de las variables dicotómicas se escogió el modelo Probit,
pero los resultados del Logit son equivalentes.
Tabla 12
MODELOS ECONOMÉTRICOS EN LA ESTIMACIÓN DEL IMPACTO DEL PROGRAMA
Indicadores de impacto Porcentaje de niños que asisten a consultas de
crecimiento y desarrollo Número de visitas al médico Ingreso per cápita del
hogar (mensual) Tasa de incidencia de la diarrea (porcentaje) Duración de la
diarrea (días) Duración de la gripa (días) Tasa de inactividad (porcentaje)
Porcentaje de niños que tuvieron que permanecer en cama Porcentaje de niños en
riesgo de desnutrición (peso/edad) Porcentaje de niños en riesgo de
desnutrición (peso/talla) Tipo de variable Dicotómica Intervalo Intervalo
Dicotómica Dicotómica Dicotómica Dicotómica Dicotómica Dicotómica Dicotómica
Modelo de estimación Probit Regresión simple o múltiple Regresión simple o
múltiple Probit Probit Probit Probit Probit Probit Probit Fuente: Elaborado por
los autores.
En la tabla 13 se muestran los resultados de estimar la ecuación. Se observa
que los resultados son idénticos a los obtenidos calculando las diferencias en
la media de los indicadores de impacto en lasituación sin y con proyecto para
el grupo de tratamiento.
38
En este tipo de variables se puede medir, con precisión numérica, la distancia
entre dos observaciones.
83
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Tabla 13
ESTIMACIÓN ECONOMÉTRICA DEL IMPACTO DEL PROGRAMA
Indicadores de impacto Porcentaje de niños que asisten a consultas de
crecimiento y desarrollo Número de visitas al médico Ingreso per cápita del
hogar (mensual) Tasa de incidencia de la diarrea (porcentaje) Duración de la
diarrea (días) Duración de la gripa (días) Tasa de inactividad (porcentaje)
Porcentaje de niños que tuvieron que permanecer en cama Porcentaje de niños en
riesgo de desnutrición (peso/edad) Porcentaje de niños en riesgo de
desnutrición (peso/talla)
39
S
n.a 3,50 8 681,08 0,01 0,04 -0,53 0,07 0,11 0,11 -0,24
Error estándar n.a 0,55 11 152,34 0,460765 0,34 0,84 0,09 0,19 n.d 0,05
t-test (z en el Probit) n.a 6,38 0,78 0,27 0,11 -0,64 0,74 0,59 n.d -3,83
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
Actividad 4: Incluir factores exógenos en el cálculo del impacto El valor del
impacto del programa, α P , estimado a partir de la ecuación 3, se debe
interpretar con cautela debido a que es muy probable quelas diferencias
observadas en los indicadores de impacto puedan deberse a razones diferentes al
Programa, debido a problemas de validez específicos a este tipo de diseño. En
particular, problemas relacionados con sesgos por maduración o historia que
pueden surgir por efectos de factores exógenos sobre los indicadores de
impacto. Por ejemplo, suponga que en el municipio existen dificultades en el
acceso a los servicios de salud. Estas dificultades de acceso se constituyen en
una de las razones que motivó a muchos hogares a entrar en el Programa. Ahora,
suponga que un mes después de iniciarse el programa se construye un nuevo
hospital. En este contexto, es posible que el incremento en las visitas de
crecimiento y desarrollo de los niños beneficiarios del Programa esté asociado
con ambos, la operación de este hospital y con el programa. En términos de la
ecuación 3, el efecto de este factor exógeno (el mayor acceso a servicios de
salud) subestimaría el verdadero impacto del programa. El sesgo en la
estimación del impacto ocurre porque el coeficiente α P recoge tres
efectos: i) el efecto del programa (P), ii) la incidencia del factor exógeno en
el indicador de impacto, y iii) la relación entre el programa y el factor
exógeno (para un mayor detalle ver recuadro 10).40
39
El impacto en el indicador del porcentaje niños que son llevados a visitas al
médico no pudo ser estimado a través del modelo Probit debido a que en la
situación con proyecto todos los miembros del grupo de tratamiento asisten son
llevados a visitasal médico y por lo tanto no se dispone de la variación
suficiente para estimar el modelo. Cuando el factor exógeno no está asociado
con P su efecto en el indicador de impacto es capturada por en el término µ .
40
84
CEPAL - SERIE manuales
N° 48
Recuadro 10
DEMOSTRACIÓN MATEMÁTICA DEL SESGO QUE SE GENERA AL NO AISLAR UN FACTOR EXÓGENO
AL PROGRAMA
Considere que el verdadero modelo para la estimación del impacto es:
Y = β 0 + βT T + β Z Z + ε
[1]
Donde Y es el indicador de impacto del programa; T es una variable dicotómica
que representa la participación en el programa (1 para los beneficiarios que
conforman el grupo de tratamiento y 0 para los miembros del grupo de control);
Z es un vector de variables que incluye los indicadores seleccionados para medir
los factores exógenos; y β T es magnitud del impacto del programa. Sin
embargo no se cuenta con información sobre Z y se decide estimar el impacto del
Programa con el siguiente modelo:
Y = α 0 + αT T + µ
[2]
Si existe una relación entre las Z´s y T el modelo de la ecuación 4 podría
estar sobreestimando o subestimando el verdadero impacto del programa dado que
captura tanto la incidencia del programa (T) como de las Z´s en el indicador de
impacto (Y). En tal caso las Z´s están asociadas tanto la participación de los
beneficiarios en el programa como el resultado en el indicador del impacto.
Matemáticamente la relación entre Z y X estaría dada por la siguiente ecuación.
Z = γ 0 + γ TT +η
[3]
La sobrestimación osubestimación que genera la omisión de las Z´s se demuestra
al reemplazar la ecuación 3 en el verdadero modelo del indicador del impacto
(ecuación 1).
Y = β 0 + β T T + β Z (γ 0 + γ T T + η ) + ε
Reorganizando los términos de la ecuación 4 se obtiene:
[4]
Y = [β 0 + β Z γ 0 ]+ T [β T + β Z γ T ]+ [β
Zη + ε ]
La ecuación 5 muestra que al omitir las Z´s el coeficiente del impacto (T) es
[5] en lugar de
es el verdadero impacto del programa. Además se deduce que cuando α T es
igual cero es irrelevante incluir o no las Z´s dado que no están asociadas con
T y por lo tanto su efecto es contenido por ε sin sesgar el coeficiente
del impacto del programa.
βT + β Z γ T
βT
que
Fuente: Schoeni (2004).
Así, cuando se identifiquen estos problemas de sesgo se requiere incluir los
factores exógenos en la regresión y utilizar modelos de regresión múltiple. En
la siguiente ecuación, Z representa el vector de factores exógenos que puedan
cambiar y estar asociados con P y Y.
Yi = β 0 + β p Pi + β z Z i + ε
[4]
85
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recolectar la información para incluir todos los factores exógenos relevantes
es en la práctica muy difícil debido a que el número puede llegar a ser elevado
y en muchos casos no se pueden observar. De este modo, en la medida que existan
factores exógenos en el término de error ( ε ) se sobreestimará o
subestimará el impacto del programa. En la tabla 14 se muestra el cambio en
elcoeficiente de impacto al aislar el efecto de los factores exógenos en la
estimación. El procedimiento que se siguió fue estimar la ecuación 4 incluyendo
las variables que en teoría podrían estar asociadas con Y y P de acuerdo con
los factores exógenos que se identificaron y definieron en los pasos 2 y 4. Se
analizó la significancia estadística41 de los coeficientes de regresión de
estas variables y, luego, se estimó nuevamente la ecuación 4 incluyendo sólo
las variables significativas. En la última columna de la tabla 14 se mencionan
los factores exógenos que finalmente se incluyeron en la estimación. Como se
observa, la inclusión de factores exógenos en la estimación del impacto fue
relevante sólo para cuatro de los indicadores (número de visitas al médico,
ingreso per cápita del hogar, tasa de incidencia de la diarrea y su duración).
En la estimación del impacto de los otros cinco indicadores ninguno de los
factores exógenos fue estadísticamente significativo.
Tabla 14
ESTIMACIÓN ECONOMÉTRICA DEL IMPACTO DEL PROGRAMA AISLANDO EL EFECTO DE LOS
FACTORES EXÓGENOS
Indicadores de impacto
ap sin z’s Coeficiente t o z test
3,50 6,38
Coeficiente 4,05
ap con z’s t o z test
7,74
Número de visitas al médico
Ingreso per cápita del hogar (mensual)
8 681,08
0,78
5 821,88
0,52
Tasa de incidencia de la diarrea (porcentaje) Duración de la diarrea (días)
Duración de la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de
niños que tuvieron que permanecer en cama Porcentaje de niños en riesgode
desnutrición (peso/edad)
0,01 0,04 -0,53 0,07 0,11
0,27 0,11 -0,64 0,74 0,59
0,06 0,0375 n.a. n.a. n.a.
0,21 0,11 n.a. n.a. n.a.
Factores exógenos Capital social de la madre, número de niños en el hogar e
ingreso per cápita del hogar Edad del jefe de hogar, tamaño del hogar, casa
propia Edad del niño Edad del niño Ninguno significativo Ninguno significativo
Ninguno significativo Ninguno significativo
0,11
n.d.
n.a.
n.a.
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
41
La significancia estadística de los coeficientes de regresión indica si en la
población el valor de estos coeficientes es diferente de cero en la población.
Un coeficiente igual cero significa que no hay asociación entre la variable
dependiente e independiente. La prueba de significancia estadística es
importante porque los coeficientes de regresión son estimados a partir de una
muestra de la población, y por lo tanto es probable que aunque en la muestra el
valor de los coeficientes sean diferentes de cero, el valor poblacional sea
igual a cero. Vale la pena aclarar que se puede probar la significancia
estadística de un valor diferente de cero, sin embargo, en ciencias sociales
generalmente se prueba la significancia respecto a 0 (Ver anexo 6 prueba de
hipótesis).
86
CEPAL - SERIEmanuales
N° 48
Es importante mencionar que en los modelos en los que se incluyeron factores
exógenos la significancia estadística del impacto no cambió drásticamente. En
el caso de la estimación del impacto medido como el cambio en el ingreso per
cápita del hogar, la tasa de incidencia de la diarrea y su duración, el impacto
del Programa continuo siendo no significativo, después de incluir los factores
exógenos. Por su parte, el impacto del Programa en el número de visitas al
médico continuó siendo significativo, luego de incluir los factores exógenos
(el cápital social de la madre, el número de niños en el hogar y el ingreso per
cápita del hogar). El coeficiente de impacto aumentó de 3.5 a 4.05 y el
estadístico t que mide su significancia estadística pasó de 6.38 a 7.74. Es
decir, al excluir este conjunto de variables se estaba subestimando el impacto
del Programa. Cuando el coeficiente del Programa cambia al aislar el efecto de
los factores exógenos es conveniente examinar el sesgo que cada uno de estos
estaba generando. Por ejemplo, en el caso del número de visitas al médico el
valor del coeficiente del ingreso per cápita del hogar es positivo (.0000145)42
al igual que su asociación con la variable de participación en el Programa P
(8681.084),43 lo que indica que al excluir esta variable de la estimación de
impacto del Programa, el coeficiente α P capturaba el efecto del ingreso
en el número de visitas y su asociación positiva con P. Finalmente, se debe
tener en cuenta que aun incluyendo algunos factoresexógenos en la estimación
del impacto con controles reflexivos, es posible, en la mayoría de los casos,
que el verdadero impacto del programa continúe sobreestimado o subestimando.
Esto sucede porque, como se mencionó, es muy difícil contar con información de
todos los factores exógenos asociados con Y y P. Es más, seguramente muchos de
ellos todavía ni siquiera han sido identificados por la teoría que orienta las
intervenciones sociales. De este modo, es muy probable que el diseño con
controles reflexivos no pueda eliminar completamente los problemas de validez
interna causados por historia y maduración, que debilitan los resultados de
este diseño. Actividad 5: Analizar el diagrama de flujo de la evaluación Por
último, los resultados obtenidos a través de los modelos de evaluación de
impacto se deben siempre contrastar con las relaciones de causalidad inicialmente
establecidas entre los componentes y los efectos de corto, mediano y largo
plazo del programa. Esta comparación permite analizar si estas relaciones de
causalidad están ocurriendo o no en la práctica, y por lo tanto si la teoría
del programa es correcta. En el Diagrama 18, se muestra el diagrama de flujo
que se está evaluando. Con sombreado se señalan los hitos en los que el
programa generó efectos estadísticamente significativos: las visitas al médico
y el porcentaje de niños en riesgo de desnutrición. Así, se observó una
disminución en la desnutrición, pero casi ninguno de los efectos iniciales e
intermedios, que se preveía que causaría esta disminuciónocurrió, sólo las
visitas al médico aumentaron.
42 43
β z de la ecuación 4 en el Recuadro 10. Corresponde al coeficiente γ
T de la ecuación 3 en el Recuadro 10.
Corresponde al coeficiente
87
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Diagrama 18
DIAGRAMA DE FLUJO DE LA EVALUACIÓN USANDO GRUPOS DE CONTROL
Requisito de visitas médicas
Visitas al médico
Ingreso al programa
Subsidio
Aumenta el ingreso del hogar
Mejora las condiciones de salud del niño
Disminuye la desnutrición del niño
Fuente: Elaborado por los autores.
Estos resultados pueden tener diferentes explicaciones. La primera es que los
efectos observados en la desnutrición no son atribuibles al programa. Porque si
se observan cambios en los indicadores de impacto de más largo plazo sin que se
hayan generado todos los efectos iniciales e intermedios, no sería posible
concluir que los cambios sean atribuibles al programa. Entonces, la conclusión
podría ser que los cambios en la desnutrición no estuvieron asociados con el
programa. Una segunda explicación es que las relaciones de causalidad
establecidas en la evaluación estuvieran mal definidas. Por ejemplo, es posible
que las mejoras en el estado de salud de los niños ocurran debido a los cambios
en la nutrición y no viceversa como se planteó. También, es posible que el
requisito de asistir a los controles médicos sea el único componente del
programa que influye en la desnutrición. En estos casos, loscambios en la
desnutrición si serían atribuibles al programa y lo que es necesario revisar
son las relaciones de causalidad establecidas en el diagrama de flujo de la
evaluación.
2. Opción 2. Evaluación con grupos de control no equivalentes
En este diseño se utiliza como grupo de control a no beneficiarios del programa
que poseen características similares a las del grupo de tratamiento. En estos
diseños se tiene en cuenta que es posible que diferencias relevantes entre los
grupos existan desde el inicio del programa debido a que en los diseños
cuasi-experimentales los grupos no son asignados aleatoriamente. Por esta razón,
casi siempre existe la amenaza de tener sesgo por selección. Para disminuir
este sesgo se emplean métodos de pareo que buscan minimizar las diferencias
entre los grupos de tratamiento y control. En la siguiente sección se analizan
los principales pasos y elementos involucrados en la selección de un grupo de
control. Luego, se estima el impacto del Programa utilizando dos diseños de
evaluación con grupos de control no equivalentes: sólo después y diferencias en
diferencias. Actividad 1: Seleccionar una muestra aleatoria de beneficiarios
Esta actividad fue descrita en la opción de evaluación con controles
reflexivos. La muestra de beneficiarios que conforman el grupo de tratamiento
está compuesta por 54 hogares y 80 niños. Actividad 2: Seleccionar la ubicación
geográfica del grupo de control La complejidad de los diseños
cuasi-experimentales está en la escogencia y conformación de un grupo de
controlque sea similar al grupo de tratamiento excepto por su participación en
el programa. Una de las alternativas más utilizadas para seleccionar el grupo
de comparación en los diseños cuasi-experimentales es el método de pareo. El
objetivo de este método es encontrar o identificar un grupo de individuos que
no participaron en el programa pero cumplen con los criterios de selección del
programa. Además, que sean similares a las personas que conforman el 88
CEPAL - SERIE manuales
N° 48
grupo de tratamiento en aquellas características observables que podrían
incidir en la variable de impacto del programa y/o en la decisión de los
individuos de participar o no en el programa (Navarro, 2005). El primer paso
para conformar un grupo de control es definir su ubicación espacial. Este grupo
puede ser seleccionado dentro o fuera del lugar donde se implementa la
intervención. Dependiendo del programa, el lugar puede ser referido a
organizaciones (e.g. escuelas, hospitales, etc.) o territorios. Dado que en el
programa de transferencias los subsidios se distribuyen directamente a los
hogares es más apropiado asociar el lugar de implementación del programa al
territorio en donde está localizada la población objetivo, en este caso el
municipio de Zipaquirá. Luego de haber definido el lugar de intervención, se
deben comparar las ventajas y desventajas de seleccionar el grupo de control
dentro o fuera ese lugar (municipio). En principio, es bueno construir el grupo
de control con hogares que habiten en el municipio, dado queestán expuestos al
mismo contexto económico, social y político. Este procedimiento hace más
sencillo aislar el efecto de factores externos que afectan las variables de
impacto. En este caso, para la selección del grupo de control se debe construir
un marco muestral de la población objetivo del programa que por alguna
circunstancia no tuvo acceso a los beneficios de la intervención. Y luego
seleccionar una muestra probabilística que sea representativa de esta
población. Sin embargo, no siempre es posible conformar el grupo de control con
población que reside en el lugar de implementación de la intervención. Tal es
el caso de los programas con cobertura total. En estos programas, la única
alternativa es implementar un sistema escalonado para ingresar al programa. De
este modo, los individuos o familias que estén en lista de espera actúan como
grupo de control antes de que ingresen al programa. Por su parte, también
existen situaciones en las que aún teniendo una cobertura parcial de la
población objetivo, no es apropiado conformar el grupo de control con población
residente en el lugar de implementación. Por ejemplo, cuando los beneficiarios
del programa están geográficamente muy cerca del grupo de control, porque es
posible que los conocimientos, bienes, y servicios que suministra el programa
se transmitan o transfieran entre grupos. En esa situación ambos grupos
estarían recibiendo la intervención. En este ejercicio, vamos a asumir que el
Programa atenderá a toda la población objetivo residente en el municipio, y
quese decidió implementar el programa al mismo tiempo para todos los
beneficiarios, debido a la severidad del problema de nutrición en el municipio.
Al descartar la posibilidad de implementar un sistema escalonado de ingreso al
programa y por ende de conformar el grupo de control al interior del lugar
donde se implementa la intervención, se debe iniciar entonces la búsqueda en
municipios que tengan características similares a las de Zipaquirá. En nuestro
ejemplo, la búsqueda se concentra en las provincias de la sabana centro y
occidente. Esta delimitación obedece a que la cercanía y la relación
política-administrativa entre los municipios de estas provincias podrían
también significar similitudes en sus características económicas y sociales
requeridas en la conformación del grupo de control. Estas provincias agrupan un
total de 19 municipios (ver Figura 1).
89
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Figura 1
DIVISIÓN DE LAS PROVINCIAS DE LA SABANA CENTRO Y OCCIDENTE
Fuente: Tomado de la página de Internet de la Gobernación de Cundinamarca de la
República de Colombia.
Una vez listados los potenciales municipios para conformar el grupo de control,
se deben identificar aquellas variables que deben ser similares a Zipaquirá.
Estas se denominan variables de pareo y se refieren a características de los
municipios que afectan positiva o negativamente los indicadores de impacto, y
que al no tenerlas en cuenta en la evaluación podríansubestimar o sobreestimar
el verdadero impacto de la intervención. En general, si la teoría del programa
fue construida apropiadamente, las variables para el pareo de municipios deben
corresponder a los factores exógenos. Estos están asociados con la pobreza, la
infraestructura en salud, el cápital social, entre otros. En principio, el
pareo se debiera hacer teniendo en cuenta todas las variables de contexto
identificadas en la teoría del programa. Sin embargo, por problemas de
disponibilidad de la información generalmente sólo es posible realizar la
selección del control incluyendo algunas de ellas. También, cabe mencionar que
utilizar sólo las variables más relevantes hace más sencillo y eficaz el
ejercicio de pareo dada la dificultad de encontrar dos unidades de análisis que
sean estadísticamente similares en muchas variables. Teniendo en cuenta estas
consideraciones, a manera de ejemplo, en este ejercicio se seleccionó como
variable de pareo la pobreza.44 El nivel de pobreza en los municipios es una de
las características que podría tener una alta incidencia en las variables de
impacto del programa. Altos índices de pobreza implican la existencia de una
inadecuada oferta de servicios sociales y un insuficiente y/o inequitativo
desarrollo económico que impiden el acceso de los hogares a servicios básicos
como vivienda, salud, educación, etc. Los indicadores que se seleccionaron para
medir la pobreza en los municipios fueron: el índice de necesidades básicas
insatisfechas y el índice de calidad de vida. En el cuadro 20,se muestra el
valor de estos índices para cada uno de los municipios de las provincias de la
sabana centro y occidental. El INBI oscila en un rango ente 19% y 40%, y el ICV
entre 73 y 85 puntos.
44
En el caso del programa Familias en Acción las variables de pareo que se
definieron fueron: nivel de urbanización (tamaño de cabecera municipal), tamaño
potencial del programa (número de familias elegibles), índice de calidad de
vida (calidad y servicios de la vivienda, niños menores de 7 años,
hacinamiento, escolaridad de los 12 y más, y asistencia escolar de los 5 a 18
años), e infraestructura en de educación y salud.
90
CEPAL - SERIE manuales
N° 48
Cuadro 20
INBI E ICV EN LOS MUNICIPIOS DE LAS PROVINCIAS DE LA SABANA CENTRO Y OCCIDENTE
Municipio Boajacá Cajicá Chia Coguea Cota Facatativa Funza Gachancipá Madrid
Mosquera Nemocón Sopo Subachoque Tabio Tenjo Tocancipá Zipacón Zipaquirá
Desviación estándar INBI 34,95 24,08 19,90 23,58 21,60 21,66 26,15 29,01 27,04
40,29 35,00 19,39 27,61 21,40 20,38 28,21 30,01 19,39 5,89 ICV 72,8 80,8 82,8
80,8 79,7 81,8 77,2 78,7 74,7 75,4 77,4 81,3 79,6 84,7 81,8 78,3 75,7 81,8 3,07
Fuente: Elaborado por los autores con base información del Sistema de
Indicadores SocioDemográficos para Colombia (SISD). Departamento Nacional de
Planeación de la República de Colombia.
Luego de calcular las variables de pareo, el paso siguiente es seleccionar el
grupo de municipios que son estadísticamente similares a Zipaquirá en el INBI e
ICV. El procedimiento estándar paracalcular esta similitud es aplicar una
prueba de significancia de medias. Esta es una prueba sencilla que mide si el
valor promedio de una determinada variable es estadísticamente diferente entre
dos grupos, teniendo en cuenta la distribución o variación de los valores que
toma la variable en cada grupo. En la medida que la distribución de la variable
sea similar en los dos grupos, la prueba de significancia de medias indicará la
diferencia en el valor promedio de la variable entre los grupos es
estadísticamente igual a cero. Los pasos para la aplicación de esta prueba
estadística se describen en el recuadro 11.
91
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Recuadro 11
PRUEBA ESTADÍSTICA DE DIFERENCIA DE MEDIAS Paso 1. Calcular las diferencias en
la media de las variables para los grupos:
X1 − X 2
Paso 2. Estimar el error estándar de la diferencias en medias calculado en el
paso 1.
S X 1− X 2
 S12 + S12   2  2  ï£ ï£¸ = n
Donde S es la varianza estimada para cada grupo. Paso 3. Cálcular del
t-estadístico
t=
Paso 4. Tomar la decisión
X1 − X 2 S X 1− X 2
Si t > 2 la diferencia entre las medias de los dos grupos es significativa
al 95% de confianza.
Fuente: Tomado de www.itl.nist.gov.
A pesar de la amplia utilización de la prueba de significancia de medias, en
este ejercicio no es posible su aplicación porque no se cuenta con información
de la distribución del INBI e ICV en cada uno de los municipios. Por tanto,se
desconoce el valor de la desviación estándar. Como alternativa para superar
esta dificultad, se estableció como criterio para la comparación de los índices
entre municipios la diferencia absoluta entre el valor del índice para
Zipaquirá y el valor para cada uno de los demás municipios (ver ecuación 1).
Diferencia = IndiceZipaquira − IndicemuncipioX
[5]
Luego de calculadas las diferencias se estableció que los municipios con
mayores similitudes con Zipaquirá son aquellos en los que la diferencia
absoluta en el INBI o ICV es menor a la desviación estándar de cada índice en
las provincias de la sabana central y occidental. Con este criterio se conformó
un grupo de 7 municipios compuesto por: Tenjo, Facatativa, Sopo, Chia, Coguea,
Cajicá y Cota (Ver tabla 14).45 De acuerdo a la metodología y los criterios
establecidos para el pareo, los 7 municipios seleccionados son controles apropiados
para evaluar el impacto del programa. Ahora lo importante es definir si es
conveniente incluirlos a todos en el grupo de control, solo a unos de ellos, o
inclusive seleccionar uno solo. Dado que todos los municipios son muy similares
en las variables de pareo seleccionadas, en la decisión se deben tener en
cuenta otros factores como el costo de recolección de la información. Es más
costoso recolectar información de 50 hogares localizados en 7 municipios
diferentes, que en dos o inclusive en uno solo. Si se determina que incluirlos
a todos no es eficiente, una alternativa disponible es seleccionar una muestra
aleatoria quesea representativa de estos municipios. En este ejercicio, se
seleccionaron 3 municipios aleatoriamente, favoreciendo el resultado del sorteo
a Chía, Cajicá y
45
Estos municipios hicieron parte del grupo de control en la evaluación de
impacto del programa Familias en Acción.
92
CEPAL - SERIE manuales
N° 48
Cota.46 De este modo, el grupo de control para evaluar el programa de transferencias
condicionadas en Zipaquirá estará conformado por hogares residentes en estos
tres municipios. Como se observa en la figura 2, los municipios seleccionados
tienen además en común que están localizados en la misma área geográfica que
Zipaquirá, lo cual podría sugerir que el área es bastante homogénea en sus
características.
Figura 2
MUNICIPIOS SELECCIONADOS PARA CONFORMAR EL GRUPO DE CONTROL Diferencia absoluta
con Zipaquirá Dist NBI Dist ICV 0,99 0,00 2,27 0,00 0 0,50 0,51 1,00 4,19 1,00
4,69 1,00 2,21 2,10 8,22 2,20 2,01 2,90 9,62 3,10 8,82 3,50 15,61 4,40 6,76
4,60 10,62 6,10 20,9 6,40 7,65 7,10 15,56 9,00
Municipio Tenjo Facatativa Sopo Chia Coguea Cajicá Cota Subachoque Tabio
Gachancipá Tocancipá Nemocón Funza Zipacón Mosquera Madrid Bojacá
Indicadores INBI 20,38 21,66 19,39 19,9 23,58 24,08 21,6 27,61 21,4 29,01 28,21
35 26,15 30,01 40,29 27,04 34,95 ICV 81,8 81,8 81,3 82,8 80,8 80,8 79,7 79,6
84,7 78,7 78,3 77,4 77,2 75,7 75,4 74,7 72,8
Fuente: Elaborado por los autores.
Actividad 3: Seleccionar los miembros del grupo de control Una vez seleccionado
el lugar espacial en donde estará ubicada lapoblación de control, el siguiente
paso es seleccionar una muestra probabilística que sea representativa de la
población objetivo “potencial” ubicada en el lugar escogido. Es decir, hogares
o individuos residentes de Chía, Cajicá y Cota que cumplan con todos los
requerimientos para acceder a un programa de transferencias condicionadas como
el implementado en Zipaquirá. En este caso, la principal variable de acceso es
el nivel de pobreza del hogar medida a través del índice SISBEN. El tamaño de
la muestra que se seleccionó en los municipios de control fue:
46
También se hubiera podido aplicar muestreo por conveniencia en donde se los
municipios sean seleccionados con base al criterio del evaluador.
93
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Cuadro 21
TAMAÑO DE LA MUESTRA DEL GRUPO DE CONTROL Municipio Chía Cajicá Cota Total
grupo de control Número de hogares 25 17 6 48 Número de niños 0-6 40 20 12 72
Niños por hogar 1.6 1.2 2.0 1.5
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.
El grupo de control está conformado por 48 hogares y 72 niños de 0-6 años. Este
tamaño es similar al del grupo de tratamiento que está conformado por 54
hogares y 87 niños. Para continuar con la evaluación de impacto con grupos de
control no equivalentes se debe decidir si esposible construir una línea de
base que contenga información sobre los indicadores de impacto y factores
exógenos de los grupos de tratamiento y control. Si no es posible la
recolección de esta información se debe aplicar un diseño de sólo después.
Cuando se dispone de esta información, la alternativa es estimar el impacto del
programa usando un diseño de diferencias en diferencias. A continuación se
analiza cada una de estas alternativas.
3. Opción 2.1. Diseño sólo después
En el diseño sólo después se debe disponer al menos de una medición, pero es
deseable contar con múltiples observaciones que conformen una serie de tiempo.
Como se mencionó anteriormente las series de tiempo permiten observar la
tendencia y discontinuidades en los indicadores de impacto que suministran
información útil para corroborar o descartar la sospecha acerca de problemas de
validez (ver diagrama 19). En nuestro ejercicio se cuenta sólo con una
medición, un año después de haberse implementado el programa.
Diagrama 19
DISEÑO SÓLO DESPUÉS
Después
(Situación con proyecto)
T C
X
Programa
Yt+1 Yt+1
Yt+2 Yt+2
Yt+3 Yt+3
Yt+4 Yt+4
Yt+n Yt+n
Fuente: Elaborado por los autores con base en Shadish, Cook y Cambell (2002).
A continuación se describen las actividades a seguir para estimar el impacto en
el diseño sólo después. Se inicia con la actividad 4 porque en la aplicación de
este diseño se deben desarrollar previamente las tres actividades analizadas
anteriormente para la conformación del grupo de control.
94
CEPAL - SERIE manuales
N° 48
Actividad 1: Calcular los indicadores de impacto para el grupo de tratamiento y
control en la situación con proyecto El impacto se calcula utilizando la ecuación
6, en este caso el subíndice T indica el grupo al que pertenece el niño (1 para
los beneficiarios que conforman el grupo de tratamiento y 0 para los miembros
del grupo de control).
I T =0 =
1 n 1 n ∑ Yi ; I T =1 = n ∑ Yi n i =1 i =1
[6]
En la tabla 15 se muestra el valor de los indicadores de impacto para el grupo
de tratamiento y control en la situación con proyecto. No se calcularon los
indicadores relacionados con las visitas al médico porque sólo un hogar del
grupo de control suministró esta información.
Tabla 15
INDICADORES DE IMPACTO EN LA SITUACIÓN SIN Y CON PROYECTO Indicadores de
impacto Ingreso per cápita del hogar (mensual) Tasa de incidencia de la diarrea
(porcentaje) Duración de la diarrea (días) Duración de la gripa (días) Tasa de inactividad
(porcentaje) Porcentaje de niños que tuvieron que permanecer en cama Porcentaje
de niños en riesgo de desnutrición (peso/edad) Porcentaje de niños en riesgo de
desnutrición (peso/edad) Grupo de tratamiento (a) 74 101,0 10,00 0,55 5,61
29,26 75,00 0,00 1,25 Grupo de control (b) 142 385.5 11,11 0,44 6,96 38,46
73,33 4,17 6,94
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.Actividad 2:
Calcular el impacto En este diseño, el impacto se calcula comparando la media
de los indicadores de impacto para el grupo de tratamiento y control en la
situación con proyecto (ver Ecuación 2).
α T = I T =1 − I T =0
[7]
Los resultados se muestran en la tabla 16, indicando el impacto absoluto y
porcentual generado por el programa de acuerdo con el diseño de sólo después.
La prueba de significancia de medias indica que el único impacto significativo
del Programa es sobre el porcentaje de niños en riesgo de nutrición. Al
comparar los resultados obtenidos en este indicador entre el diseño sólo
después con grupos de control equivalente y el diseño con controles reflexivos
se obtuvo una diferencia de 6.64 y 18.73 puntos porcentuales al utilizar el
indicador de peso/edad y peso/talla respectivamente, siendo el impacto menor en
el diseño de sólo después.
95
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Tabla 16
IMPACTO PROMEDIO DEL PROGRAMA USANDO EL DISEÑO DE SÓLO DESPUÉS Indicadores de
impacto Ingreso per cápita del hogar (mensual) Tasa de incidencia de la diarrea
(porcentaje) Duración de la diarrea (días) Duración de la gripa (días) Tasa de
inactividad (porcentaje) Porcentaje de niños que tuvieron que permanecer en
cama Porcentaje de niños en riesgo de desnutrición (pesos/edad) Porcentaj de
niños en riesgo de desnutrición (peso/talla) Absoluto (b-a) -68 284,49 -1,11
0,11 -1,36 -9,20 1,67 -4,17 -5,69 Impacto Porcentual (b/a-1)*100-47,96 -10,00
23,75 -19,49 -23,92 2,27 -100,00 -82,00 t-test 1,37 0,22 0,35 1,40 0,86 -0,09
1,85** 1,80**
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.
Actividad 3: Incluir los factores exógenos en el cálculo del impacto Al igual
que en el diseño con controles reflexivos se deben incluir los factores
exógenos en la estimación de impacto. Los resultados obtenidos en el caso del
diseño sólo después fueron similares. La significancia de los coeficientes de
impacto no cambió drásticamente y varios de los factores exógenos identificados
en la teoría no mostraron una asociación estadísticamente significativa con los
indicadores de impacto. Actividad 4: Analizar el diagrama de flujo de la
evaluación Los resultadotes arrojados por el diseño de sólo después generan aún
más incertidumbre debido a no poderse estimar el impacto en el número de
visitas, la evaluación indica que el riesgo de desnutrición en los niños está
disminuyendo por causa del programa, sin que los efectos iniciales e
intermedios esperados hubieran ocurrido. Si el diagrama de flujo de la
evaluación es correcto, los resultados obtenidos usando el diseño de sólo
después serían muy cuestionables, y generarían el interrogante si otros
factores diferentes al programa están produciendo el cambio en el riesgo de
desnutrición (ver Diagrama 20).
Diagrama 20
FLUJO DE CAJA DEL PROGRAMAUSANDO EL DISEÑO SÓLO DESPUÉS CON GRUPOS DE 47
COMPARACIÓN EQUIVALENTES
Requisito de visitas médicas
Visitas al médico
Ingreso al programa
Subsidio
Aumenta el ingreso del hogar
Mejora las condiciones de salud del niño
Disminuye la desnutrición del niño
Fuente: Elaborado por los autores.
En conclusión, los valores estimados del impacto, usando el diseño de sólo
después, también deben analizarse con precaución. Este diseño es superior al
diseño con controles reflexivos en la
47
Los casilleros en blanco representan los efectos que no son evaluados y que
fueron incluidos en diagrama 14.
96
CEPAL - SERIE manuales
N° 48
medida que la incorporación de un grupo de control con personas que no
participaron en el programa puede eliminar problemas de validez interna
causados, por ejemplo, por historia. Si el grupo de control es afectado por el
mismo contexto al que está expuesto el grupo de tratamiento, la incidencia de
estos factores será la misma para ambos grupos, la cual se neutraliza en la
estimación. Sin embargo, el diseño de sólo después no puede garantizar que los
grupos hubieran sido similares en la situación sin proyecto, y es posible que
esas diferencias sobrestimen o subestimen el verdadero impacto del Programa. En
otras palabras, este diseño también puede presentar problemas de sesgo de
selección en la estimación del impacto.
4. Opción 2.2. Diseño de diferencias en diferencias
El diseño de diferencias en diferencias es considerado el más riguroso de los
diseñoscuasiexperimentales. Este diseño busca solucionar los problemas de
validez interna presentes en los diseños con controles reflexivos y sólo
después con grupos de control equivalentes. Para esto usa información de los
grupos de tratamiento y control en la situación sin y con proyecto, es decir,
agrega una línea de base a la evaluación. En el diagrama 21 se muestran los
elementos que componen este diseño. Al igual que los diseños analizados
anteriormente, el de diferencias y diferencias se puede aplicar cuando se
dispone de una medición antes y después, o múltiples mediciones en ambos
períodos de tiempo.
Diagrama 21
DISEÑO DE DIFERENCIAS EN DIFERENCIAS
Antes
(Situación sin proyecto)
Después
(Situación con proyecto)
T C
Yt-n Yt-n
Yt-4 Yt-4
Yt-3 Yt-3
Yt-2 Yt-1 Yt-2 Yt-1
X
Programa
Yt+1 Yt+1
Yt+2 Yt+2
Yt+3 Yt+4 Yt+n Yt+3 Yt+4 Yt+n
Fuente: Elaborado por los autores con base en Shadish, Cook y Cambell (2002).
A continuación se describen las actividades a seguir para estimar el impacto en
el diseño diferencias en diferencias. Al igual que en el diseño anterior, se
inicia con la actividad 4 porque se deben desarrollar previamente las tres
actividades analizadas al inicio de la opción 2 de evaluación. Actividad 1:
Estimar las diferencias del grupo de tratamiento y control antes de la
implementación del programa La característica fundamental que debe cumplir un
grupo de control es que sea lo más similar posible al grupo de tratamiento
antes de la implementación del programa. Dado que losgrupos de tratamiento y
control no fueron asignados aleatoriamente, es posible que el grupo de control
difiera del grupo de tratamiento de forma significativa en algunas de sus
características observables y no observables. Es decir, la selección
probabilística de los miembros del grupo de control en los municipios de
control no necesariamente garantiza que los grupos sean similares, aún habiendo
realizado el ejercicio de pareo para seleccionar estos municipios.48
48
Si los municipios no se hubieran pareado sin duda las diferencias serían
mayores.
97
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Las diferencias entre el grupo de tratamiento y control en la situación sin
proyecto se calculan comparando el valor promedio de los indicadores de impacto
para los dos grupos antes de haberse iniciado la implementación del programa
(ver Ecuación 8).
Diferencia =
1 n 1 ∑ Yi − n n1 T =1 0
T =0
∑Y
n
i
[8]
Donde, n1 es el número de individuos que conforman el grupo de tratamiento
(T=1) y n0 el número de individuos en el grupo de control o comparación (T=0);
y Y es la variable de impacto. En la tabla 17 se muestra el valor de estos
indicadores para el grupo de control y tratamiento en la situación sin proyecto,
las diferencia entre los grupos y la significancia estadística de estas
diferencias utilizando el t-estadístico. Como se observa los grupos son
similares en la mayoría de los indicadores. Sin embargo, las pocas
diferenciasocurren en indicadores relevantes como en el porcentaje de niños que
no pudieron realizar sus actividades normales durante los últimos quince días,
el porcentaje de niños que viven en hogares con NBI de hacinamiento crítico y
dependencia económica. Con menor nivel de confianza (80%) están los años de
educación de la madre, el ingreso total del hogar y el porcentaje de niños que
viven en hogares en pobreza crónica (pobres por NBI e ingresos).
98
CEPAL - SERIE manuales
N° 48
Tabla 17
DIFERENCIAS ENTRE LOS GRUPOS DE CONTROL Y TRATAMIENTO EN LA SITUACIÓN SIN
PROYECTO
Tratamiento Control Indicadores de impacto Número de visitas de crecimiento y
desarrollo 2,05 2,00 Porcentaje de niños en riesgo de desnutrición 0,10 0,17
(peso/edad) Porcetnaje de niños en riesgo de desnutrición 0,24 0,17 (peso/talla)
Tasa de incidencia de la diarrea 0,09 0,08 Duración de la diarrea (días) 0,51
0,36 Duración de la gripa (días) 6,68 6,53 % niños que no pudieron realizar las
actividades 0,22 0,40 Número de días que no pudieron realizar las 0,88 1,09
actividades normales Número de días que tuvieron que guardar cama 2,27 2,24
Variables del niño Porcentaje de hombres 0,53 0,47 Edad (meses) 43,70 45,86
Variables de la madre Edad 29,99 30,58 Estado civil casado o compañero 0,70
0,79 Años de educación de la madre 6,95 7,67 Participación en organizaciones
civiles o 0,14 0,18 religiosas Variables del hogar Número de niños en el hogar
2,03 2,08 NBI de vivienda (%) 0,14 0,17 NBI de servicios (%) 0,88 0,90 NBI de
hacinamiento crítico(%) 0,40 0,54 NBI de dependencia económica 0,44 0,25
Porcentaje de hogares pobres por NBI 0,325 0,2916 Porcentaje de hogares pobres
extremos por NBI 0,625 0,6666 Ingreso total de hogar (mensual) 369 730 472 703
Ingreso per cápita del hogar (mensual) 65 420 70 261 Porcentaje de hogares
pobres por ingreso (H) 0,9558 0,9843 Porcentaje de hogares pobres extremos por
0,7647 0,6406 ingreso (H) Porcentaje de hogares pobres extremos por NBI 0,50
0,375 e ingresos Variables del municipio Porcentaje de hogares pobres por NBI
19,39 21,86 Índice de calidad de vida 81,80 81,10 Número de hospitales 1,00
0,67 Número de centros de salud 3,00 0,33 Número de puestos de salud 14,00
Número de otras instituciones de salud 24,00 33,00 Variables Diferencia 0,050
-0,067 0,071 0,004 0,151 0,151 -0,171 -0,216 0,038 0,053 -2,161 -0,596 -0,092
-0,721 -0,041 t-estadístico 0,0368 1,2119 1,0792 0,0927 0,5174 0,1304 1,7886**
0,5314 0,0391 0,6464 0,6293 0,4807 1,2906 1,4441* 0,6900
-0,058 -0,029 -0,028 -0,142 0,188 0,033 -0,042 -102 973 -4 841 -0,029 0,124
0,125
0,3958 0,4981 0,5395 1,7541** 2,4539*** 0,4413 0,5329 1,5197 1,365* 0,9504
1,5642* 1,4467*
-2,5 0,7 0,3 2,7 14,0 -9,0
n.a. n.a. n.a. n.a. n.a. n.a.
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: (1) En
la columna del t-estadístico se indica con tres asterisco si la diferencia
entre los grupos essignificativa al 95% de confianza, con dos al 90% y uno al
80%. (2) El ingreso per cápita está en pesos colombianos.
En conclusión, los grupos de tratamiento y control no son similares en todas
sus características, y por lo tanto debe tenerse en cuenta que los resultados
que se obtienen a continuación podrían sufrir en alguna medida sesgo de
selección causado por las diferencias encontradas. Además, sigue siendo posible
que los grupos de tratamiento y control difieran en características que no son
observables.
99
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Actividad 2: Calcular los indicadores de impacto para el grupo de tratamiento
en la situación sin y con proyecto Esta actividad se realizó para estimar el
impacto del Programa aplicando el diseño con grupos de control reflexivos. Los
resultados se muestran en la actividad 2 de esta opción de evaluación. En la
tabla 18 se muestra esta información más la diferencia entre la situación con y
sin proyecto para el grupo de tratamiento.
Tabla 18
INDICADORES DE IMPACTO PARA EL GRUPO DE TRATAMIENTO EN LA SITUACIÓN SIN Y CON
PROYECTO Indicadores de impacto Ingreso per cápita del hogar (mensual) Tasa de
incidencia de la diarrea (porcentaje) Duración de la diarrea (días) Duración de
la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de niños que
tuvieron que permanecer en cama Porcentaje de niños en riesgo de desnutrición
(pesos/edad) Porcentaj de niños en riesgo de desnutrición (peso/talla)Sin
proyecto (a) 65 419,92 8,75 0,51 6,14 22,44 63,63 10,81 25,68 Con proyecto (b)
74 101,01 10,00 0,55 5,61 29,26 75,00 0,00 1,25 Diferencia (c=b-a) 8 681,09
1,25 0,04 -0,53 6,82 11,37 -10,81 -24,43
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
Actividad 3: Calcular los indicadores de impacto para el grupo de control en la
situación sin y con proyecto Al igual que para el grupo de tratamiento, se debe
calcular la situación de los indicadores de impacto para el grupo de control
con y sin proyecto, estimando la diferencia. Los resultados se muestran en la
tabla 19.
Tabla 19
INDICADORES DE IMPACTO PARA EL GRUPO DE TRATAMIENTO EN LA SITUACIÓN SIN Y CON
PROYECTO Indicadores de impacto Ingreso per cápita del hogar (mensual) Tasa de
incidencia de la diarrea (porcentaje) Duración de la diarrea (días) Duración de
la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de niños que
tuvieron que permanecer en cama Porcentaje de niños en riesgo de desnutrición
(pesos/edad) Porcentaj de niños en riesgo de desnutrición (peso/talla) Sin
proyecto (d) 79 260,69 8,33 36,11 6,53 39,53 76,47 18,46 18,46 Con proyecto (e)
142 385,50 11,11 0,44 6,96 38,46 73,33 4,17 6,94 Diferencia (f=e-f) 63 124,81
2,78 -35,67 0,43 -1,07 -3,14 -14,29 -11,52
Fuente: Elaborado por los autores con base eninformación de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia. Nota: El
ingreso per cápita está en pesos colombianos.
100
CEPAL - SERIE manuales
N° 48
Actividad 4: Calcular el impacto El impacto en el modelo de diferencias en
diferencias se obtiene comparando las diferencias en los indicadores de impacto
para el grupo de tratamiento en la situación con y sin proyecto. En esta
estimación es útil construir una matriz que relaciona el valor de los indicadores
de impacto en cada uno de estos momentos del tiempo para cada uno de los
grupos. Por simplificación esta matriz se construyó para el indicador que mide
el riesgo de desnutrición a través de los estándares de peso/talla. En el
cuadro 22 se muestra la forma de la matriz especificando la fórmula de cálculo
de cada una de sus casillas. Para mayor claridad se hace referencias a las
letras utilizadas en las tablas 15 y 16.
Cuadro 22
MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (TEÓRICA) Grupo de
tratamiento a b c* Grupo de control d e f Diferencia g=(d-a) h**=(e-b) Impacto
I=(c-f) ó I=(h-g)
Situación sin proyecto Situación con proyecto Diferencia
Fuente: Schoeni (2004). * Corresponde al impacto estimado con grupos de control
reflexivos. ** Corresponde al impacto estimado con el diseño de sólo después
con grupos de control equivalentes.
En el cuadro 23 se muestra que, de acuerdo con el diseño de diferencias en
diferencias, elprograma disminuyó el riesgo de desnutrición en 12.91 puntos porcentuales.
Cuadro 23
MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (RESULTADOS)
Situación sin proyecto Situación con proyecto Diferencia Grupo de tratamiento
25,68 1,25 -24,43 Grupo de control 18,46 6,94 -11,52 Diferencia 7,21 -5,69
-12,91
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.
Finalmente, el impacto también puede ser estimado aplicando modelos
econométricos. La especificación general del modelo es la siguiente: [9] La
ecuación 9 combina las variables P y T que representan el tiempo de la medición
(sin=0 y con proyecto=1) y el grupo al que pertenece el individuo
(tratamiento=1 o control=0). En este modelo el impacto se mide a través el
efecto de la interacción entre estas dos variables (T*P) en el indicador de
impacto Y. De este modo, el coeficiente de impacto es α PT . Usando la
matriz de
Yi = α 0 + α P Pi + α T Ti + α PT Ti * Pi + µ
impacto del cuadro 22 es sencillo demostrar que α PT es el impacto del
programa. En el cuadro 24 se muestran los coeficientes de regresión que miden
los indicadores de impacto para el grupo de tratamiento y control en la
situación sin y con proyecto, y el impacto del Programa.
101
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Cuadro 24MATRIZ DE IMPACTO EN EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS (TEÓRICA)
Grupo de tratamiento Situación sin proyecto Situación con proyecto Diferencia
Grupo de control Diferencia
α 0 + αT α 0 + α P + α T + α PT α P + α
PT
α0 α0 +αP αP
αT α T + α PT
Impacto
α PT
Fuente: Schoeni (2004).
En la tabla 20 se muestra el impacto del Programa estimado a partir de la
ecuación 9. Como se observa el Programa no produjo ningún impacto
estadísticamente significativo con excepción de la disminución en el riesgo de
desnutrición. Estos resultados son consistentes con los obtenidos en los
diseños con grupos de control reflexivos y sólo después con grupos de control
no equivalentes.
Tabla 20
IMPACTO DEL PROGRAMA MEDIDO CON EL DISEÑO DE DIFERENCIAS EN DIFERENCIAS
Indicadores de impacto Ingreso per cápita del hogar (mensual) Tasa de
incidencia de la diarrea (porcentaje) Duración de la diarrea (días) Duración de
la gripa (días) Tasa de inactividad (porcentaje) Porcentaje de niños que
tuvieron que permanecer en cama Porcentaje de niños en riesgo de desnutrición
(peso/talla)
37
-54 443,68 -0,09 -0,05 -0,97 0,24 0,05 -0,12
Error estándar 50 580,87 0,40 0,42 1,39 0,40 1,95 0,04
t-test (z en el Probit) -1,08 -0,22 -0,11 -0,69 0,60 0,02 -1,99
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.
Comparando los resultados del diseño dediferencias en diferencias acerca del
impacto del Programa en el riesgo de desnutrición con los obtenidos en los
otros diseños, se concluye que al utilizar el diseño con controles reflexivos
se sobreestimaría el impacto y en el caso del diseño de sólo después se
subestimaría. En promedio el impacto calculado con controles reflexivos es un
50% mayor al estimado con diferencias en diferencias. En el caso del diseño de
sólo después el resultado es contrario, subestimándose el impacto en cerca de
50% (ver gráfico 8).
102
CEPAL - SERIE manuales
N° 48
Gráfico 8
IMPACTO DEL PROGRAMA EN EL RIESGO DE DESNUTRICIÓN AL PRIMER AÑO DE EJECUCIÓN
SEGÚN DIFERENTES DISEÑOS DE EVALUACIÓN DE IMPACTO
Diseño con controles reflexivos
Diseño sólo después con grupos de comparación equivalentes
Diseño de diferencias en diferencias con grupos de control no equivalentes
-5,00 -5,69 Puntos porcentuales -10,00 -15,00 -20,00 -25,00 -30,00
Fuente: Elaborado por los autores con base en información de la evaluación de
impacto del programa Familias en Acción publicada en la página de Internet del
Departamento Nacional de Planeación de la República de Colombia.
-12,91
-24,43
Actividad 5: Incluir los factores exógenos en el cálculo de los indicadores de
impacto Los resultados obtenidos al incluir las variables que miden los
factores exógenos al Programa mostraron que no existe una asociación
estadísticamente significativa entre estos factores y los indicadores de
impacto. Sólo en el caso del porcentaje de niños en riesgo dedesnutrición se
encontró una asociación significativa con la edad de los niños. El cambio en el
indicador al incluir esta variables fue mínimo, disminuyendo el impacto del
programa a 11.99 puntos porcentuales. Actividad 6: Analizar de diagrama del
flujo de la evaluación Es el mismo al análisis que se realizó en el diseño de
sólo después con grupos de control no equivalentes. En conclusión, la
aplicación del diseño de doble diferencia aumenta la confiabilidad de los
resultados obtenidos al estimar el impacto del programa. Contar con información
de línea de base permite determinar la similitud entre los grupos de control en
la situación sin proyecto, identificando o descartando la posibilidad de sesgo
por selección. Asimismo, contar con información sobre el grupo de control antes
y después de la implementación del programa ofrece confianza en que factores
exógenos relacionados con el contexto afectan de igual forma a los dos 103
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
grupos, y por tanto se neutralice su incidencia en los indicadores de impacto.
Aunque el diseño de diferencias en diferencias tiene múltiples ventajas en
comparación con los otros diseños cuasiexperimentales se debe tener en cuenta
que siempre la sobrestimación o subestimación del impacto es una amenaza si los
supuestos del diseño no se cumplen. En especial, el supuesto que los factores
exógenos afectan en igual magnitud tanto al grupo de tratamiento como de
control. Además, laconfiabilidad de los resultados depende en gran medida en
que se seleccione un grupo de control lo más similar posible al grupo de
tratamiento en la situación sin proyecto. Respecto a este último punto, vale la
pena mencionar que los diseños con grupos de control no equivalentes se
combinan frecuentemente con el método de pareamiento por probabilidad de
similitud (propensity score matching) que busca minimizar las diferencias entre
los miembros del grupo de tratamiento y control.49
Paso 6. Análisis de eficacia y eficiencia
A pesar de los múltiples pasos y actividades que se deben realizar para estimar
el impacto de un programa social, los resultados obtenidos generalmente tienen
poca utilidad si la evaluación suministra sólo información sobre la magnitud
del impacto del programa. Conocer que el Programa, en un año, disminuyó en
12.91 puntos porcentuales el riesgo de desnutrición de los niños no permite
concluir directamente si la intervención está produciendo buenos o malos
resultados. De este modo, la utilidad de las evaluaciones de impacto es mayor
cuando la información sobre la magnitud de loas cambios atribuibles al programa
(calculada en el paso 5) se combina con un análisis de la eficacia y eficiencia
de la intervención en la generación de estos impactos. En el presente ejercicio
no fue posible realizar un análisis completo de la eficacia y eficiencia del
Programa por falta de información. A continuación se describen los principales
elementos que se analizaron con la información disponible.
1. EficaciaEl paso fundamental en el análisis de la eficacia de una
intervención es seleccionar la medida de comparación sobre la cual se
contrastan los impactos estimados. En el paso 3 se mencionó que existen
diferentes medidas de comparación, siendo los objetivos y las metas de las
intervenciones las más usadas. También la comparación de los resultados del
programa con los impactos generados por intervenciones que persiguen los mismos
objetivos. Cuando se establecen los objetivos y metas de la intervención como
medida de comparación, la intervención es eficaz si el impacto generado es
mayor o igual a estos parámetros establecidos en la etapa de pre-inversión. Por
ejemplo, si la meta fijada en el Programa fue reducir el porcentaje de niños en
riesgo de desnutrición aguda en 15 puntos, se concluye que la intervención fue
ineficaz dado que la reducción en este indicador, atribuible al Programa, fue
de 12.91 puntos porcentuales. Por el contrario, si la meta fue menor a 12.91
puntos porcentuales, se considera que el Programa fue efectivo en el logro del
objetivo propuesto. Desafortunadamente, en este ejericicio no fue posible
utilizar esta medida de comparación debido a que en el diseño del programa
Familias en Acción no se establecieron metas específicas para el indicador que
se esta analizando. Por su parte, cuando la medida de comparación son otros
programas similares, se considera que el programa que se evalúa es eficaz si el
impacto que genera es mayor al obtenido por las intervenciones de comparación.
La dificultad que seencontró para comparar el impacto del Programa con otros
programas de transferencias monetarias condicionadas implementados en
49
Ver Aedo (2005) para un análisis completo de los pasos que se siguen en la
implementación de este método.
104
CEPAL - SERIE manuales
N° 48
América Latina fue que los indicadores estimados en las evaluaciones no son
estrictamente comparables. Por ejemplo, en la evaluación de Progresa se estimó
el impacto en la desnutrición crónica de los niños en lugar de la desnutrición
aguda, como se realizó en nuestro ejercicio. En el caso de la Red de Protección
Social de Nicaragua se evaluó el impacto en este último indicador, pero se
analizó el porcentaje de niños desnutridos y no en riesgo de desnutrición.50 La
dificultad de encontrar parámetros de comparación con otros programas indica la
importancia de definir la metodología para analizar la eficacia del programa en
la etapa de diseño de la evaluación y no una vez se ha realizado la evaluación
de impacto. Lo óptimo es que los elementos del análisis de eficacia se definan
en el paso 3 cuando se determina: “Qué se quiere conocer sobre los efectos del
programa”.51
2. Eficiencia
En el análisis de eficiencia los resultados del programa se contrastan con los
costos en que se incurrió para generar el impacto. Existen dos enfoques para
evaluar la eficiencia de un programa social: el análisis costo-beneficio y el
análisis costo-efectividad. La diferencia básica es el método que utilizan para
valorar los beneficios. El primero, expresalos beneficios en términos
monetarios, mientras que en el segundo enfoque los beneficios son valorados a
través de indicadores sociales que miden los cambios en las condiciones de
bienestar que se evalúan. A partir de los resultados de la evaluación de
impacto se pueden aplicar los dos métodos para determinar la eficiencia de la
intervención (Navarro 2005). En la tabla 21, se describen los pasos que se
deben seguir para la aplicación de cada unos de estos métodos.
Tabla 21
PASOS METODOLÓGICOS EN EL ANÁLISIS DE EFICIENCIA DE UNA INTERVENCIÓN
Actividades 1) 2) 3) Análisis costo-beneficio Valoración de los impactos
Valoración de los impactos en términos monetarios (beneficios) Valoración de
los costos en términos monetarios (a precios económicos) Comparación de los
beneficios y los costos. RBC = VPB VPC VPB = valor presente de los beneficios
VPC = valor presente de los costos RBC = relación costo-beneficio Comparación
de la RBC del programa con la RCE de otros programas que buscan generan los
mismos impactos (jerarquización). Decisión: es recomendable invertir en
proyectos con RBC > 1, y el programa con mayor RBC es el más eficiente. Análisis
costo-efectividad Valoración de los impactos n.a. Valoración de los costos en
términos monetarios (a precios económicos) Comparación de los impactos y los
costos. RCI = Impacto VPC Impacto = cambio en el indicador social X VPC = valor
presente de los costos RCE = relación costo-efectividad Comparación de la RCI
del programa con la RCI de otros programas que buscan generan losmismos
impactos (jerarquización). Decisión: es recomendable primero con mayor RCE, es
el más eficiente.
Fuente: Tomado de Navarro (2005).
4)
5)
6)
50
El indicador de destrucción utilizado en la evaluación de la Red de Protección
Social de Nicaragua no fue usado en esta pauta debido a que el número de niños
desnutridos fue muy bajo en la muestra que se analizó. En el grupo de tratamiento
sólo 4 niños sufrían de desnutrición aguda y tres en e grupo de control. Para
una descripción completa de los elementos que integran un análisis de eficacia,
ver Navarro (2005).
51
105
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
En la evaluación de programas sociales el análisis costo-efectividad es más
utilizado, debido a que el análisis costo-beneficio requiere expresar ciertos
beneficios en términos monetarios, lo cual puede llegar a ser muy complejo y
controvertido en el caso de muchos de los impactos que generan los programas
sociales, especialmente aquellos relacionados con la prevención de enfermedades
y la muerte (Rossi, Lipsey y Freeman, 2004). En este ejercicio no fue posible
realizar un análisis completo de costo-efectividad dado que no se encontró
información de la eficiencia de programas similares en la reducción del riesgo
de desnutrición aguda (actividades 5 y 6). Los resultados de las actividades 3
y 4 fueron los siguientes: • Costos del programa Desde la perspectiva de un
inversionista privado los costos de un proyectoincluyen el valor de todos los
recursos utilizados en la producción de un bien o servicio. Es decir, los
costos están conformados por todos los desembolsos que realiza el empresario
durante la preparación, instalación y operación del proyecto. Por ejemplo:
gastos de personal; compra de equipo; compra o arrendamiento de bienes muebles
e inmuebles; mantenimiento de la maquinaria y equipo; intereses, etc. En el
caso de los programas sociales éstos representan sólo a los costos directos en
que incurre el programa. En la valoración de los costos de programas sociales
se deben incluir además los costos en que incurren los beneficiarios por
acceder a los servicios entregados por el programa y los costos en otros
miembros de la sociedad. En el tabla 22 se muestran los principales rubros que
se deben tener en cuenta en la valoración de los costos de un programa de
transferencias monetarias.
Tabla 22
COSTOS EN QUE SE INCURRE AL GENERAR LOS IMPACTOS El programa Costos de las
siguientes actividades: Diseño del programa y planeación Identificación de los
beneficiarios Incorporación de los beneficiarios Entrega de las transferencias
Verificación condicionalidad Monitoreo y evaluación Evaluación externa Los
beneficiarios Costos de transporte de y tiempo en que incurren los
beneficiarios por desplazarse a las instituciones de salud y sitios de entrega
de las transferencias El resto de la sociedad Impuestos Reducción en el
presupuesto de otros programas sociales
Fuente: Tomado de Caldés, Coady y Maluccio (2004) y Coady (2002).
Eneste ejercicio sólo se cuenta con el valor de las transferencias monetarias
que se entregan mensualmente a los hogares, que asciende a US$ 20. El costo
total en un año se calculó de la siguiente forma: Costo total anual= número de
hogares en el grupo de tratamiento x valor de la transferencia mensual x 12. =
54 x 20 x 12 = US $ 12,960 • Comparación de los impactos y los costos Los
impactos y costos se comparan a través de la relación costo-impacto –RCI- que
indica el costo promedio por unidad de impacto generado.
RCI =
Costo Total Impacto ( β )
106
CEPAL - SERIE manuales
N° 48
En nuestro ejercicio la RCI de la reducción en el porcentaje de niños en riesgo
de desnutrición es igual a:
RCI =
12 ,960 = US $ 1, 004 12 ,91
Es decir, por cada punto porcentual de reducción en el porcentaje de niños en
riesgo de desnutrición en el grupo de tratamiento, se deben invertir US$ 1.004
en un año.
107
CEPAL - SERIE manuales
N° 48
Conclusiones
a) En definitiva, una de las mayores ventajas que proporcionan las
evaluaciones de impacto es el que pueden constituirse en un instrumento
importante para pasar de un enfoque de administración de insumos en el control
de los recursos presupuestarios asignados, a un modelo de administración por
resultados que prioriza los efectos que generan las intervenciones del
gobierno. Las razones para realizar evaluaciones de impactos son determinar el
impacto de un programa, mejorar el funcionamiento de un proyecto en términos de
impacto y poder escoger unproyecto de acuerdo al impacto que este genera.
b) Lo que se ha pretendido a través de los ejercicios realizados en
esta Pauta es mostrar las ventajas de comparar la evaluación impacto ex-ante
con la evaluación ex-post así como la situación con y sin proyecto, a fin de
conocer efectivamente los resultados y lograr así que ambas evaluaciones ocupen
un rol preponderante en la formulación y evaluación de proyectos y programas,
sobretodo cuando se trata de intervenciones para reducir la pobreza y
solucionar necesidades básicas.
c) Por otro lado, la información que proveen las evaluaciones de
impacto ex-post, mejora el proceso de toma de decisiones de inversión y
contribuye a una asignación más eficiente y efectiva del gasto público.
Asimismo, las evaluaciones de impacto ayudan al proceso de rendición de cuentas
de los hacedores de política. En el anexo 7 se presenta un resumen de algunas
de las evaluaciones de impacto que se han realizado en América Latina.
109
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
d) Se ha privilegiado un desarrollo metodológico práctico y sencillo sobre el
teórico y
matemático, con el propósito de que esta Pauta facilite la aplicación de la
evaluación impacto por parte de los interesados y sirva como guía o manual para
las actividades de capacitación e intercambio de experiencias.
110
CEPAL - SERIE manuales
N° 48
Bibliografía
Aedo, Cristian (2005), Evaluación de impacto. CEPAL Alarcón, D. (2001),Medición
de las condiciones de vida. Instituto Interamericano para el Desarrollo Social
–INDES-. Banco Interamericano de Desarrollo. Atanasio, O. y Szekely, M. (2001),
Where to from here? Generating capabilities and creating opportunities for the
poor. Banco Interamericano de Desarrollo. _____ (1999), An Asset-Based Approach
to the Analysis of Poverty in Latin America. Banco Interamericano de
Desarrollo. Baker, J. L. (2000), Evaluación del impacto de los proyectos de
desarrollo en la pobreza: Manual para profesionales.
https://www.worldbank.org/poverty. Banco Mundial (2001), Economic Analysis of
Investment Operations. Analytical tools and practical applications. Pedro
Belli, Jock R. Anderson, Howard N. Barnum, John A. Dixon, Jee-Peng Tan. Banco
Mundial (2003), PovertyNet. Tomado de https://www.worldbank.org. Banco Mundial.
(2005), PovertyNet, Impact evaluation, Overview. Tomado de
https://www.worldbank.org. Barba-Romero, Sergio, Pomerol Jean-Charles
“Decisiones multicriterio. Fundamentos teóricos y utilización práctica”.
Universidad de Alcalá, Madrid. 1997. Caldés, N., Coady, D. y Maluccio, J.
(2004), “The Cost of Poverty Alleviation Transfer Program: A comparative
Analysis of Three Programs in Latin America”. CELADE. (2002), Boletín
Demográfico No. 69. América Latina y Caribe: Estimaciones y Proyecciones de
Población. 1950-2050 CEPAL. (2002), Meeting the Millenium Poverty Reduction
Targets in Latin America and the Caribbean, Libros de la CEPAL, United Nations
Publication _____ (2005), Objetivos de Desarrollo del Milenio:una mirada desde
América Latina y el Caribe.
111
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
_____ (2005), “Políticas hacia las familias, protección e inclusión sociales”.
Irma Arriagada (editora), Serie Seminarios y Conferencias 46. _____ (2005),
“Aprender de la experiencia. El capital social en la superación de la pobreza”.
Irma Arriagada (editora). _____ (2005), “Capital social y reducción de la
pobreza en América Latina y el Caribe: en busca de un nuevo paradigma. Raúl
Atria, Marcelo Siles (compiladores). Coady, D. (2000), “The application of
Social Cost-Benefit Analysis to the Evaluation of Progresa”. Cohen, E. (2000),
Educación, eficiencia y equidad: una difícil convivencia. Tomado de sHacia
dónde va el gasto público en educación?; logros y desafíos, volumen I: la
búsqueda de la eficiencia. Serie Políticas Sociales, Ns 42 Santiago: CEPAL.
Cohen, E. y Franco, R. (2005), Gestión Social. Cómo lograr eficiencia e impacto
en las políticas sociales. CEPAL. _____ (1998), Evaluación de Proyectos
Sociales. México, DF: Siglo Veintiuno. Cordera, Rolando. Glosario. Tomado de
https://www.rolandocordera.org.mx/ Departamento Administrativo Nacional de
Estadística–DANE–de la República de Colombia. (2005), Información estadística.
Datos consultados en https://www.dane.gov.co/. Departamento Nacional de
Planeación de la República de Colombia. 2004. Programa Familias en Acción. Condiciones
Iniciales de los Beneficiarios e Impactos Preliminares. Evaluaciónde Políticas
Públicas No. 1. Daper N. y Smith (1981), Applied regression analysis, Wiley,
New York Departamento Nacional de Planeación –DNP–. SISBEN. Tomado de
https://www.dnp.gov.co/ Feres, J.C. y Mancero, J. (2001a), Enfoques para la
medición de la pobreza. Breve revisión de la literatura. En serie estudios
estadísticos y prospectivos. Santiago de Chile: CEPAL/Naciones Unidas. _____
(2001b), El método de las necesidades básicas insatisfechas (NBI) y sus
aplicaciones en América Latina. En serie estudios estadísticos y prospectivos.
Santiago de Chile: CEPAL/Naciones Unidas. Foster, James E., Greer, Joel y
Thorbecke, Erik. “A Class of Decomposable Poverty Measures”. Econometrica 52(3),
1984: 761-765. Govaerts, Bernadette (2002), Calcul statistique sur ordinateur:
notes de cours. Institut de Statistique. Université catholique de Louvain.
Louvain La neuve. CIACO Gradín, Carlos y del Río, Coral (2001), La medición de
la pobreza, Universidad de Vigo. Gujarati, Damodar. Econometría. Mc Graw Hill.
Santafé de Bogotá. 1997 Hahn, J., Todd, P. & Van der Klaauw, W. (2001),
Identification and Estimation of Treatment Effects with a
Regression-Discontinuity Design, Econometrica, Econometric Society, vol. 69(1),
pages 201-09. Hayashi, Fumio (2000), Econometrics. Princeton. United States of
America Instituto Latinoamericano y del Caribe de Planificación Económica y
Social –ILPES– (1994), Manual de Jerarquización de proyectos. _____ (2001), El
uso de indicadores socioeconómicos en la formulación y evaluación de proyectos
sociales,aplicación metodológica. En serie manuales. No 15. Santiago de Chile:
CEPAL/Naciones Unidas. _____ (2003a), Bases conceptuales para el ciclo de
cursos sobre gerencia de proyectos y programas, Serie Manuales 24. Edgar
Ortegón y Juan Francisco Pacheco. Santiago de Chile: CEPAL/Naciones Unidas.
_____ (2003b), Infoproyect 5: 57 Metodologías, manuales y guías sobre
preparación y evaluación de proyectos”. Edgar Ortegón (editor). CD. Santiago de
Chile: CEPAL/Naciones Unidas. _____ (2003c), Trabajos de grupo y monografías
seleccionadas. CD, Curso internacional “El uso de indicadores socioeconómicos
en la evaluación de impacto de proyectos y programas de lucha contra la
pobreza”. ILPES/AECI/Universidad de Alcalá. La Antigua, Guatemala, 9 al 20 de
junio de 2003. _____ (2004), Trabajos de grupo y monografías seleccionadas. CD,
Curso internacional “El uso de indicadores socioeconómicos en la evaluación de
impacto de proyectos y programas de lucha contra la pobreza”.
ILPES/AECI/Universidad de Alcalá. Santa Cruz de la Sierra, Bolivia, 3 al 14 de
mayo de 2004. _____ (2004), Los sistemas nacionales de inversión pública en
Centroamérica: marco teórico y análisis comparativo multivariado, Serie Manuales
34. Edgar Ortegón, Juan Francisco Pacheco. _____ (2004), Evaluación social de
inversiones públicas: enfoques alternativos y su aplicabilidad para
Latinoamérica. Serie Manuales 37. Eduardo Contreras. _____ (2004), Manual para
la evaluación de impacto de proyectos y programas de lucha contra la pobreza.
Serie Manuales 41. Hugo Navarro.112
CEPAL - SERIE manuales
N° 48
_____ (2005), Trabajos de grupo y monografías seleccionadas. CD, Curso
internacional “El uso de indicadores socioeconómicos en la evaluación de
impacto de proyectos y programas de lucha contra la pobreza”.
ILPES/AECI/Universidad de Alcalá. Cartagena de Indias, Colombia, 4 al 15 de
julio de 2005. _____ (2005), Metodología del marco lógico para la
planificación, el seguimiento y la evaluación de proyectos y programas, Serie
Manuales 42. Edgar Ortegón, Juan Francisco Pacheco y Adriana Prieto. _____
(2005), Metodología general de identificación, preparación y evaluación de
proyectos de inversión pública, Serie Manuales 39. Edgar Ortegón, Juan Francisco
Pacheco y Horacio Roura, 2005. _____ (2005), Los sistemas nacionales de
inversión pública en Argentina, Brasil, México, Venezuela y España como caso de
referencia (cuadros comparativos), Serie Manuales 40. Edgar Ortegón y Juan
Francisco Pacheco, 2005. _____ (2005), El sistema de inversiones públicas en la
provincia de San Juan, República de Argentina, Serie Manuales 44. Edgar
Ortegón, Juan Francisco Pacheco y Ana Carolina Cámpora Rudolff, 2005. _____
(2005), Los sistemas nacionales de inversión pública en Barbados, Guyana,
Jamaica y Trinidad y Tobago, Serie Manuales. Edgar Ortegón y Diego Dorado.
Khandrer, S. y otros (2001), Poverty Manual. Banco Mundial.
https://www.worldbank.org/wbi/povertyanalysis/manual/ Kliksberg, Bernando
(2005), Hacia una nueva visión de la política social en América Latina.
Desmontando mitos. Ponencia (BID).Lewis-Beck, M. (1980), “Applied Regression.
An introduction”. Sage Publications. Medina., F. (2003a), La conceptualización
y medición de la pobreza. Curso internacional “El uso de indicadores
socioeconómicos en la evaluación de impacto de proyectos y programas de lucha
contra la pobreza”. ILPES/AECI/Universidad de Alcalá. La Antigua, Guatemala, 9
al 20 de junio de 2003. _____ (2003b), Los índices para la medición de la pobreza:
alcances y limitaciones. Curso internacional “El uso de indicadores
socioeconómicos en la evaluación de impacto de proyectos y programas de lucha
contra la pobreza”. ILPES/AECI/Universidad de Alcalá. La Antigua, Guatemala, 9
al 20 de junio de 2003. _____ (2005a), La medición del bienestar: Algunas
reflexiones conceptuales y elementos para la praxis. Curso internacional “El
uso de indicadores socioeconómicos en la evaluación de impacto de proyectos y
programas de lucha contra la pobreza”. ILPES/AECI/Universidad de Alcalá.
Cartagena de Indias, Colombia, 4 al 15 de julio de 2005. _____ (2005b), Marco
teórico para el estudio del bienestar, la equidad y la pobreza. Curso
internacional “El uso de indicadores socioeconómicos en la evaluación de
impacto de proyectos y programas de lucha contra la pobreza”.
ILPES/AECI/Universidad de Alcalá. Cartagena de Indias, Colombia, 4 al 15 de
julio de 2005. Nandy, S. y otros (2003), “A New Aggregate Measure of
Malnutrition in Young Children” Narayam, Deepa. (1994), The contribution of
people's participation: 121 rural water supply projects. Banco Mundial.Navarro,
H. (2003), Esquema general para la evaluación de impacto de proyectos y
programas de lucha contra la pobreza. Curso internacional “El uso de
indicadores socioeconómicos en la evaluación de impacto de proyectos y
programas de lucha contra la pobreza”. ILPES/AECI/Universidad de Alcalá. La
Antigua, Guatemala, 9 al 20 de junio de 2003. Prennushi, G., G. Rubio, and K.
Subbarao (2000), 'Monitoring and Evaluation.' In Sourcebook for
Poverty Reduction Strategies. Washington, D.C.: World Bank. Presidencia de la
República de Colombia (2004), El ABC de Familias en Acción. Cartilla No. 4
Ravallion, Martin (1999), 'The Mystery of the Vanishing Benefits: Ms.
Speedy Analyst's Introduction to Evaluation.' Policy Research Working
Paper 2153, World Bank, Development Economics Research Group, Washington, D.C.
Rawlings Laura, Rubio Gloria (2003), Lecciones desde América Latina E valuación
del impacto de los programas de transferencias condicionadas en efectivo.
Cuadernos de desarrollo humano. Mexico Rossi, P., Lipsey, M. y Freeman, H.
(2004), “Evaluation A Systematic Approach”. Septima edición. Sadish, W., Cook,
T. y Campbell, D. (2002), “Experimental and Quasi-experimental Designs for Generalized
Causal Inference.” Schoeni, R. 2004. Lecture Notes. Program Evaluation. Master
of Public Administration. Gerald R. Ford School, University of Michigan. Silva,
I. (1996), Preparación y evaluación de proyectos. ILPES Smith, L. y Haddad, L.
(2000), “Explaining Child Malnutrition in Developing Countries. A Cross Country
Analysis”. Stiglitz, J.(2003), El rumbo de las reformas, hacia una nueva agenda
para América Latina. Revista de la CEPAL. No. 80. Verbeek, Marno. (2000), A
guide to modern econometrics. Wiley. Great Britain. Wiesner Eduardo “Función de
evaluación de planes, programas, estrategias y proyectos”, Serie Gestión
Pública 4, Santiago, 2000. Wooldridge J. (2002), Econometric analysis of cross
section and panel data. Massachusetts Institute of Technology.
113
CEPAL - SERIE manuales
N° 48
Anexos
115
CEPAL - SERIE manuales
N° 48
Anexo 1
DIAGRAMA DE CAJA PARA DETERMINAR VALORES ABERRANTES
500 000 000
Ingreso per cápita del hogar
Cabecera
Centro poblado
Rural disperso
Fuente: Elaboración de los autores.
En la zona 1 (cabecera cantonal) se eliminó los dos hogares más aberrantes y se
mantuvo al hogar identificado por el número 1791. De las otras zonas, no se
eliminó ningún hogar, por cuanto no se observó datos tan extremos como los de la
zona 1. A pesar de que el gráfico no muestra la distribución de los datos,
permite identificar cuáles son los hogares que tienen datos aberrantes.
117
118
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
30 31 32 33 Número de personas Número de hgoares Número de niños en el hogar
Número de jóvenes en el hogar Número de adultos en el hgoar Número de adultos
mayores en el hogar Número de personas de la tercera edad en el hogar Número de
hogares con jefe de hogar mujer Población en edad de trabajar Población
económicamente activa Poblacióndesempleada Población empleada Población
inactiva Ingreso total de los hogares Número de años de educación Número de
personas entre 14 y 30 años con primaria incompleta Número de personas entre 14
y 30 años con secundaria incompleta Número de personas con discapacidad Número
de personas que asisten a primaria Número de personas entre 6 y 11 que asisten
a primaria Número de personas entre 6 y 11 años Número de personas que asisten
a secundaria Número de personas entre 12 y 17 que asisten a secundaria Número
de personas entre 12 y 17 años Número de personas que asisten a educación
superior Número de personas entre 18 y 22 que asisten a educación superior
Número de personas entre 18 y 22 años Personas que asisten a un plantel
educativo Número de hogares sin conexión a la red pública de electricidad
Número de hogares sin conexión a la red pública de agua potable Número de
hogares sin conexión a agua por cañería Número de hogares sin servicio higiénico
Número de hogares con casa propia Crónica 15 444 3 709 5 091 3 778 3 975 1 803
797 1 119 10 353 4 247 872 3 375 6 222 4 891 771 137 59 789 2 085 3 652 335 2
181 1 675 2 556 1 046 845 1 990 35 23 1 324 4 233 63 563 1 953 1 128 1 278
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Anexo 2
MIP CON LÍNEA DE POBREZA ABSOLUTA VARIABLES
Tipo de pobreza Estructural Reciente 600 27 413 174 7 075 77 7 406 145 6 987
154 8 219 153 3 824 71 977 60 1 640 523 20 007 276 9 511 16 1 157 260 8 354 131
11 119 742 500844 11 715 794 245 2 889 160 267 77 1 997 139 5 347 17 403 40 3
310 26 2 984 41 3 835 30 2 878 26 2 189 43 3 346 6 304 2 164 74 2 687 92 8 259
2 10 31 124 687 86 66 3 449 No pobre 3 350 494 495 748 1 195 720 192 237 2 855
1 809 54 1 755 423 5 527 472 877 25 633 191 476 43 213 179 229 261 183 241 111
41 315 727 1 33 332 Total población 46 807 11 452 13 069 11 658 13 543 6 500 2
037 3 056 33 738 15 843 2 099 13 744 17 895 22 607 539 103 248 578 4 350 9 614
798 6 044 4 864 6 661 4 215 3 243 5 620 456 230 4 400 13 311 76 594 2 797 1 214
5 125
Fuente: Elaboración de los autores.
CEPAL - SERIE manuales
INDICADORES
Tipo de pobreza Crónica Estructural Reciente Estructura familiar Tamaño
promedio del hogar 4,35 1,20 4,51 Participación promedio de los niños en el
hogar 32,7% 9,3% 26,3% Participación promedio de los jóvenes en el hogar 24,5%
24,1% 25,4% Participación promedio de los adultos en el hogar 25,7% 25,3% 30,3%
Participación promedio de los adultos mayores en el hogar 12% 30% 14%
Participación promedio de los adultos mayores en el hogar 23% 14% 17%
Porcentaje de hogares con jefe mujer 31,4% 16,7% 27,0% Estructura ocupacional
Tasa global de participación promedio 41,2% 55,4% 48,7% Tasa de desempleo 20,2%
4,9% 11,2% Tasa de ocupación 32,9% 52,7% 43,2% Tasa de inactividad 57,7% 84,0%
48,4% Tasa de dependencia 2,6 1,7 1,7 Ingreso per cápita del hogar 326 875 1
530 246 462 633 Educación Años promedio de educación de las personas mayores de
22 años 3,89 4,84 5,93 Salud Porcentaje de personas con discapacidad 6,7%20,0%
5,5% Acceso y uso de servicios sociales Tasa bruta de cobertura primaria
promedio 85% 106% 94% Tasa bruta de cobertura media promedio 53% 61% 87% Tasa
bruta de cobertura superior promedio 3% 10% 12% Tasa neta de cobertura primaria
promedio 66% 56% 78% Tasa neta de cobertura media promedio 43% 57% 66% Tasan
eta de cobertura superior prmedio 2% 5% 6% Tasa promedio de no acceso a
electricidad de los hogares 1,7% 1,5% 0,1% Tasa promedio de no acceso a agua
potable de los hogares 15,1% 17,8% 0,0% Tasa promedio de no acceso a acueducto
de los hogares 52,4% 67,7% 10,1% Tasa promedio de no acceso a servicio
higiénico de los hogares 30,1% 46,5% 0,0% Porcentaje promedio de hogares con
casa propia 34,3% 38,3% 47,4% No pobre Total población
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
1,30 13,4% 20,7% 36,7% 23% 8% 11,1% 64,5% 3,6% 62,2% 87,7% 1,6 2 453 412 8,46
9,8% 91% 126% 50% 75% 83% 16% 0,2% 0,0% 6,1% 0,0% 65,8%
4,09 27,9% 24,9% 28,9% 14% 18% 26,7% 47,0% 13,2% 40,7% 53,0% 2,0 482 995 5,31
6,1% 91% 75% 10% 73% 58% 5% 0,7% 5,2% 24,4% 10,6% 44,8%
Fuente: Elaboración de los autores.
N° 48
119
120
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
30 31 32 33 Número de personas Número de hogares Número niños en el hogar
Número de jóvenes en el hogar Número de adultos en el hogar Número de adultos
mayores en el hogar Número de personas de la tercera edad en el hogar Número de
hogares con jefe de hogar mujer Población en edad de trabajar
Poblacióneconómicamente activa Población desempleada Población empleada
Población inactiva Ingreso total de los hogares Número de años de educación
Número de personas entre 14 y 30 años con primaria incompleta Número de personas
entre 14 y 30 años con secundaria incompleta Número de personas con
discapacidad Número de personas que asisten a primaria Número de personas entre
6 y 11 que asisten a primaria Número de personas entre 6 y 11 años Número de
personas que asisten a secundaria Número de personas entre 12 y 17 que asisten
a secundaria Número de personas entre 12 y 17 años Número de personas que
asisten a educación superior Número de personas entre 18 y 22 que asisten a
educación superior Número de personas entre 18 y 22 años Personas que asisten a
un plantel educativo Número de hogares sin conexión a la red pública de
electricidad Número de hogares sin conexión a la red pública de agua potable
Número de hogares sin conexión a agua por cañería Número de hogares sin servicio
higiénico Número de hogares con casa propia Crónica 15 720 3 614 5 138 3 845 4
047 1 859 831 1 134 10 582 4 360 880 3 480 6 106 5 138 472 204 61 109 2 123 3
719 346 2 202 1 691 2 5779 1 059 855 2 005 37 23 1 359 4 278 61 546 1 895 1 089
1 241
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Anexo 3
MIP CON LÍNEA DE POBREZA RELATIVA VARIABLES
Tipo de pobreza Estructural Reciente 324 29 386 269 6 512 30 7 717 78 7 450 82
8 908 97 4 225 37 1 086 45 1 760 294 21 669 163 10 550 8 1 183 155 9367 247 10
496 495 799 778 13 594 918 865 1 569 174 255 39 2 134 72 5 676 6 428 19 3 739
10 3 094 18 3 972 17 3 037 16 2 305 28 3 506 4 355 2 186 39 2 881 47 8 687 4 9
48 182 656 125 103 3 085 No pobre 1 377 1 057 184 285 506 319 83 117 1 193 770
28 742 1 046 3 378 348 257 11 645 54 147 18 84 69 92 102 67 81 60 19 121 299 2
64 696 Total población 46 807 11 452 13 069 11 658 13 543 6 500 2 037 3 056 33
738 15 843 2 099 13 744 17 895 22 607 539 103 248 578 4 350 9 614 798 6 044 4
864 6 661 4 215 3 243 5 620 456 230 4 400 13 311 76 594 2 797 1 214 5 125
Fuente: Elaboración de los autores.
CEPAL - SERIE manuales
INDICADORES
Tipo de pobreza Crónica Estructural Reciente Estructura familiar Tamaño
promedio del hogar 4,35 1,20 4,51 Participación promedio de los niños en el
hogar 32,7% 9,3% 26,3% Participación promedio de los jóvenes en el hogar 24,5%
24,1% 25,4% Participación promedio de los adultos en el hogar 25,7% 25,3% 30,3%
Participación promedio de los adultos mayores en el hogar 12% 30% 14%
Participación promedio de los adultos mayores en el hogar 23% 14% 17%
Porcentaje de hogares con jefe mujer 31,4% 16,7% 27,0% Estructura ocupacional
Tasa global de participación promedio 41,2% 55,4% 48,7% Tasa de desempleo 20,2%
4,9% 11,2% Tasa de ocupación 32,9% 52,7% 43,2% Tasa de inactividad 57,7% 84,0%
48,4% Tasa de dependencia 2,6 1,7 1,7 Ingreso per cápita del hogar 326 875 1
530 246 462 633 Educación Años promedio de educación de las personas mayores de
22 años 3,89 4,84 5,93 Salud Porcentaje de personas condiscapacidad 6,7% 20,0%
5,5% Acceso y uso de servicios sociales Tasa bruta de cobertura primaria
promedio 85% 106% 94% Tasa bruta de cobertura media promedio 53% 61% 87% Tasa
bruta de cobertura superior promedio 3% 10% 12% Tasa neta de cobertura primaria
promedio 66% 56% 78% Tasa neta de cobertura media promedio 43% 57% 66% Tasa
neta de cobertura superior promedio 2% 5% 6% Tasa promedio de no acceso a
electricidad de los hogares 1.7% 1,5% 0,1% Tasa promedio de no acceso a agua
potable de los hogares 15,1% 17,8% 0,0% Tasa promedio de no acceso a acueducto
de los hogares 52,4% 67,7% 10,1% Tasa promedio de no acceso a servicio
higiénico de los hogares 30,1% 46,5% 0,0% Porcentaje promedio de hogares con
casa propia 34,3% 38,3% 47,4% No pobre Total población
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
1,30 13,4% 20,7% 36,7% 23% 8% 11,1% 64,5% 3,6% 62,2% 87,7% 1,6 2 453 412 8,46
9,8% 91% 126% 50% 75% 83% 16% 0,2% 0,0% 6,1% 0,0% 65,8%
4,09 27,9% 24,9% 28,9% 14% 18% 26,7% 47,0% 13,2% 40,7% 53,0% 2,0 482 995 5,31
6,1% 91% 75% 10% 73% 58% 5% 0,7% 5,2% 24,4% 10,6% 44,8%
Fuente: Elaboración de los autores.
N° 48
121
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
Anexo 4
DISEÑOS DE EVALUACIÓN Diseño de evaluación Experimental Cuasi experimental
Asignación aleatoria antes de Asignación no es aleatoria. El iniciar la
operación del proyecto grupo de control puede conformarse una vez iniciado el
proyecto Se puede realizar encualquier Grupos en promedio similares en
proyecto. todas sus características excepto en la participación en el proyecto
La asignación aleatoria no es tan La asignación de grupos similares viable
políticamente. no es fácil. Existe un sesgo de selección.
Fuente: Elaboración de los autores.
Características
Ventajas
Limitaciones
Anexo 5
Modelos econométricos
En primer lugar es importante mencionar que un modelo es una aproximación de un
fenómeno más complejo. Es por eso que cualquier modelo que refleje una
situación compleja debe contener un término de error, que represente la
diferencia entre el modelo teórico y lo observado.
y = β 0 + β 1 x1 + ε
La estimación de los parámetros de este modelo puede ser realizada mediante el análisis
de la regresión. Regresión lineal simple (una sola variable) La regresión puede
calcular estimadores para estos parámetros en base a una serie de observaciones
y de factores explicativos. El objetivo de la regresión es estimar la función
de regresión poblacional con base a la función de regresión muestral (FRM) en
la forma más precisa posible. El modelo de regresión lineal simple puede estar
escrito para cada observación de la muestra de la siguiente manera:
yi = β 0 + β1 xi 1 + ε i
A
donde i = 1,2,n
Si se asume que y es el precio y x1 la cantidad
yi xi 1
A
es el precio observado para la observación i es la cantidad o el factor
explicativo para la observación i
ε i es el término de error supuesto de media nula β0
es la constante del modelo, es decirel valor medio de y cuando x1 vale cero
β1 es la pendiente de la recta
n es el tamaño de la muestra de observaciones
Las hipótesis sobre el término de error son: 122
CEPAL - SERIE manuales
N° 48
1. ε i es una variable aleatoria de media nula y de varianza constante 2.
ε i y ε j no están correlacionados ∀i ≠ j : cov(ε i , ε j ) = 0 3. los
ε i son independientes y de distribución normal: ε i ≈ N (0, s
2 ) Métodos para calcular la FRM Los métodos para la calcular la FRM son el
método de mínimos cuadrados ordinarios (MCO) y el de máxima verosimilitud (MV).
El MCO propone escoger como estimadores b0 y b1 de β 0 y β1 los
valores que minimizan la suma de los cuadrados de la distancias verticales de
los puntos de la recta. Las propiedades de un estimador dependen del método de
estimación y de la calidad de la muestra. Por su parte, el método de MV tiene
como supuesto de partida que la distribución de un fenómeno observado es
conocida excepto por un número finito de parámetros. Estos parámetros van a ser
estimados tomando los valores que les den a las observaciones la probabilidad o
verosimilitud más alta. Los estimadores obtenidos por este método son
eficientes pero pueden ser inconsistentes si una parte de la distribución está
mal especificada. Para más detalle ver Daper N. y Smith (1981) Applied
regression analysis, Wiley, New York Gujarati, Damodar. Econometría. Mc Graw
Hill. Santafé de Bogotá. 1997 Verbeek, Marno. (2000) A guide to modern
econometrics. Wiley. Great Britain Regresión lineal múltiple (más deuna
variable) En el caso más general de la regresión múltiple, existen dos o más
variables independientes. El modelo de regresión lineal múltiple puede estar
escrito para cada observación de la muestra de la siguiente manera:
yi = β 0 + β 1 xi 1 + β 2 xi 2 + . + β K xi K + ε i
A A A
donde i = 1,2,n
donde
K es el número variables independientes
O en términos matriciales:
y=X +
Este modelo tiene los siguientes supuestos: 1. Estricta exogeneidad de las
variables independientes 2. E(
i
X) = 0 donde i = 1,2,n
3. No multicolinealidad, es decir que ninguna de las K columnas de X puede ser
expresado como una combinación lineal de las otras columnas de X 4.
Homocedasticidad 5. E(
2 i
X) = σ 2 > 0 donde i = 1,2,n
6. No correlación entre las observaciones
123
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
7. E(
i
j
X) = 0 donde i, j = 1,2,n ; i ≠ j
La estimación de los coeficientes de una regresión múltiple se realiza por MCO
y es un cálculo bastante complicado y laborioso, por lo que se requiere del
empleo de programas de computación especializados. Sin embargo, la
interpretación de los coeficientes es similar al caso de la regresión simple:
el coeficiente de cada variable independiente mide el efecto separado que esta
variable tiene sobre la variable dependiente. El coeficiente de determinación,
por otro lado, mide el porcentaje de la variación total en y que es explicado
por la variaciónconjunta de las variables independientes. Para más detalle ver:
• Daper N. y Smith (1981) Applied regression análisis, Wiley, New York. •
Hayashi, Fumio. (2000) Econometrics. Princeton. United States of America. •
Verbeek, Marno. (2000) A guide to modern econometrics. Wiley. Great Britain. •
Modelo Probit. Supongamos que se quiere explicar si un niño es desnutrido o no
de acuerdo a una serie de características del niño
y i = 1 si el niño i está desnutrido yi = 0 si el niño i no está desnutrido
Cuando la variable dependiente está descrita por una variable binaria, utilizar
un modelo de regresión lineal no es correcto ya que lo que se debe obtener es
una probabilidad y está debe estar comprendida entre 0 y 1. Por otro lado, el
término de error en un modelo de esta naturaleza tiene una distribución no
normal y sufre de heterocedasticidad, ya que solo existen dos resultados 0 o 1.
Para solucionar estos problemas se utilizan modelos de elección binaria, que
son diseñados para modelos de elección entre dos alternativas discretas. Esto
modelos describen la probabilidad de que y i = 1 .
P(y i = 1 xi ) = G ( xi , β ) para alguna función G (.)
Esta ecuación dice que la probabilidad de tener y i = 1 depende del vector que
contiene las características individuales, en este caso de cada niño. Como se
trata de una probabilidad la función G (.) debe tomar valores en el intervalo
[0,1]. Una elección para la función G (.) puede ser la distribución normal
estándar que conduce al modelo probit. Como este modelo trata con
laprobabilidad que ocurra el evento se debe tener cuidado al interpretar el
coeficiente. En el modelo probit la tasa de cambio en la probabilidad está dada
por β j φ ( y i ) , donde φ (.) es la función de densidad de la
variable normal estándar. Para más detalle ver Gujarati, Damodar. Econometría.
Mc Graw Hill. Santafé de Bogotá. 1997 Verbeek, Marno. (2000) A guide to modern
econometrics. Wiley. Great Britain
Fuente: (1) Govaerts, Bernadette. (2002) Calcul statistique sur ordinateur:
notes de cours. Institut de Statistique. Université catholique de Louvain.
Louvain La neuve. CIACO. (2) Hayashi, Fumio. (2000) Econometrics. Princeton.
United States of America. Elaboración: Autores.
124
CEPAL - SERIE manuales
N° 48
Anexo 6
Pruebas de hipótesis
Se recuerda que se puede estimar un parámetro a partir de los datos contenidos
en una muestra. Puede encontrarse ya sea un sólo número (estimador puntual) o
un intervalo de valores posibles (intervalo de confianza). Sin embargo, es
necesario tomar una decisión entre aceptar o rechazar una proposición sobre
algún parámetro. Esta proposición recibe el nombre de hipótesis. Este es uno de
los aspectos más útiles de la inferencia estadística, puesto que muchos tipos
de problemas de toma de decisiones, pruebas o experimentos, pueden formularse
como problemas de prueba de hipótesis. Supongamos que si quiere saber si el
coeficiente de impacto del programa sobre la desnutrición es o no nulo. Esto
puede expresarse de manera formal como:
H0 : βk = 0 H1 : β k ≠ 0
La proposición H 0 :β k = 0 , se conoce como hipótesis nula, mientras que
la proposición
H 1 : β k ≠ 0 , recibe el nombre de hipótesis alternativa. Es
importante recordar que las hipótesis
siempre son proposiciones sobre la población o distribución bajo estudio, no
proposiciones sobre la muestra. Por lo general, en ciencias sociales en la
hipótesis nula se evalúa el valor nulo del parámetro de la población
especificado. La elección de los parámetros se determina en alguna de las tres
maneras: 1. Puede ser resultado de la experiencia pasada o del conocimiento del
proceso, entonces el objetivo de la prueba de hipótesis usualmente es
determinar si ha cambiado el valor del parámetro. 2. Puede obtenerse a partir
de alguna teoría o modelo que se relaciona con el proceso bajo estudio. En este
caso, el objetivo de la prueba de hipótesis es verificar la teoría o modelo. 3.
Cuando el valor del parámetro proviene de consideraciones externas, tales como
especificaciones de diseño. En esta situación, el objetivo usual de la prueba
de hipótesis es probar el cumplimiento de las especificaciones. Un
procedimiento que conduce a una decisión sobre una hipótesis en particular
recibe el nombre de prueba de hipótesis. Los procedimientos de prueba de
hipótesis dependen del empleo de la información contenida en la muestra
aleatoria de la población de interés. Si esta información es consistente con la
hipótesis, se concluye que ésta es verdadera; sin embargo si esta información
es inconsistente con la hipótesis, se concluye que esta es falsa. Debe
hacersehincapié en que la verdad o falsedad de una hipótesis en particular
nunca puede conocerse con certidumbre, a menos que pueda examinarse a toda la
población. Usualmente esto es imposible en muchas situaciones prácticas. Por
tanto, es necesario desarrollar un procedimiento de prueba de hipótesis
teniendo en cuenta la probabilidad de llegar a una conclusión equivocada. La
hipótesis nula, representada por H 0 , es la afirmación sobre una o más
características de poblaciones que al inicio se supone cierta (es decir, la
“creencia a priori”). La hipótesis alternativa, representada por H 1 , es la
afirmación contradictoria a H 0 , y ésta es la hipótesis del investigador.
125
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
La hipótesis nula se rechaza en favor de la hipótesis alternativa, sólo si la
evidencia muestral sugiere que H 0 es falsa. Si la muestra no contradice
decididamente a H 0 , se continúa creyendo en la validez de la hipótesis nula.
Entonces, las dos conclusiones posibles de un análisis por prueba de hipótesis
son rechazar H 0 o no rechazar H 0 . Uno de las pruebas o test utilizados para
rechazar una hipótesis es el t estadístico mencionado en el Recuadro 11. Para
ser precisos se puede rechazar la hipótesis nula si la probabilidad de observar
el valor de t k es menor que el nivel de significancia α , que muchas
veces es 5%. Consecuentemente a un nivel de significancia de 5% (o 95% de
confianza), la hipótesis nula puede ser rechazada si tk es mayor es que su
valor crítico.
Fuente: https://www.itch.edu.mx/academic/industrial/estadistica1/cap02.html
Verbeek, Marno. (2000) A guide to modern econometrics. Wiley. Great Britain
126
CEPAL - SERIE manuales
Anexo 7
ALGUNOS DE LOS ESTUDIOS DE EVALUACIÓN DE IMPACTO REALIZADOS EN AMÉRICA LATINA Y
EL CARIBE EN LA ÚLTIMA DÉCADA
Programa País Período de operación del programa 1975-presente Período de
evaluación impacto 1999 Evaluador
I. Programas de búsqueda de empleo Sistema Nacional de Empleo Brasil (SINE) II.
Programa de empleo Trabajar Argentina Proempleo Empleo en Acción III.
Capacitación SENA Probecat Programa Joven Chile Joven Projoven Pro Joven
Argentina Colombia
Instituto Iberoamericano de investigaciones económicas (2002)
1996-presente 1998-2000 2002-presente
1990-1997 1998-2000 2002-2004
Banco Mundial (1999, 2000 y 2002). Ministerio de Trabajo de Argentina (1999)
Ministerio del Trabajo de Argentina y Banco Mundial (2001) Institute of Fiscal
Studies (IFS), Econometria S.A. y Sistemas Especializados de Información S.A.
(SEI) Universidad de los Andes (Colombia, 2001) El Colegio de México y CIMAT
(2001). Ministerio del Trabajo de México (1995). Banco Mundial (1992 y 1999)
Unidad de estadísticas y evaluación de impacto del Programa Joven (1996 y
1998). ILADES-Georgetown University (Chile, 1996) Santiago Consultores (Chile,
1998) Grupo de Análisis para el Desarrollo – GRADE– (Perú, 2002) Banco
Interamericano de Desarrollo e Instituto Nacional de la Juventud de Uruguay
(1997) IFS(Inglaterra), Econometria S.A (Colombia) y SEI (Colombia)
International Food Policy Research Institute –IFPRI– (2001) Banco Mundial
(2002) IFS (Inglaterra), Econometria S.A. (Colombia) y SEI (Colombia)
International Food Policy Research Institute – IFPRI– (2000) (en proceso)
International Food Policy Research Institute – IFPRI– (2000 – 2002) Secretaría
Técnica del Frente Social (Ecuador)- Banco Mundial (en proceso) (continúa)
Colombia México Argentina Chile Perú Uruguay
1957-presente 1984-presente 1996-2000 1991-95 (fase I) 1996- (fase II)
1996-presente 1996-presente 2002-presente 1997-presente 2001-presente
2002-presente
1996-1997 1984-1998 1996-1998 1995-1997 1996-2000 1996-1997 2002-2004 1997-1999
1999 2002-2003 2000 2000-2001 2003-2005
Jóvenes en Acción Colombia IV. Programas de transferencias Progresa
(actualmente se llama México Oportunidades) Bolsa Escola (actualmente se Brasil
llama Bolsa Familia) Familias en Acción Colombia Programa de Asignación
Honduras Familiar (PRAF) Red de Protección Social Nicaragua (RPS) Bono de
Desarrollo Humano Ecuador (BDH)
20001998-presente
N° 48
127
128
Programa País Período de operación del programa 199019911986-presente
1996-presente 2001-2005 V. Fondos de inversión social Fondo de inversión social
de emergencia de FISE FONCODES Fondo de Inversión social VI. Trabajo Infantil
PETI VII. Nutrición Programa Bolsa-Alimentaçao (actualmente se llama Bolsa
Familia) VIII. Informe final a) Estudio de evaluación de impacto del Programa
de Evaluación de Programas.Evaluaciones de impacto y evaluaciones de los
programas del Gobierno. b) El aporte de FUNDES a las pymes en América Latina:
una evaluación de impacto. Nicaragua Perú Bolivia Brasil Brasil Chile 1997-2005
Chile, Argentina, El Salvador 2002-2003
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
ANEXO 7 (CONCLUSIÓN) ALGUNOS DE LOS ESTUDIOS DE EVALUACIÓN DE IMPACTO
REALIZADOS EN AMÉRICA LATINA Y EL CARIBE EN LA ÚLTIMA DÉCADA
(conclusión) Período de evaluación impacto 2000 1993-1996 1994-1998 1996-1999
2002 Banco Mundial y FISE (2002) Banco Mundial (2002) Banco Mundial (2002)
Banco Mundial (2001) IFPRI, Emory University, The London School for Hygiene and
Tropical Medicine, e Instituto de Estudos do Trabalho e Sociedade (2003).
Evaluador
2003-2005
Banco Mundial, Universalia de Canadá y Michael Bamberger.
2000-2003
CEPAL/FUNDES (Marco Dini, Giovanni Stumpo, Sebastián Vergara)
Fuente: Tomado del Manual 41 del ILPES “Manual para la evaluación de impacto de
proyectos y programas de lucha contra la pobreza” (2005).
CEPAL - SERIE manuales
N° 48
Serie manuales
Números publicados
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22.
23. 24. América Latina: Aspectos conceptuales de los censos del 2000
(LC/L.1204-P), NÛ GH YHQWD 6 ,,*
86 10.00), 1999. www Manual de identificación, formulación y evaluación de
proyectos de desarrollo rural (LC/L.1267-P; LC/IP/L.163), NÛ GH YHQWD
6 ,,*
86 10.00),1999. www Control de gestión y evaluación de resultados en la
gerencia pública (LC/L.1242-P; LC/IP/L.164), N de venta: S.99.II.G.25 (US$
10.00), 1999. www Metodología de evaluación de proyectos de viviendas sociales
(LC/L.1266-P; LC/IP/L.166), NÛ GH YHQWD S.99.II.G.42 (US$ 10.00), 1999. www
Política fiscal y entorno macroeconómico (LC/L.1269-P; LC/IP/L.168), en prensa.
NÛ GH YHQWD 6 ,,* (US$ 10.00), 2000. www
Manual para la preparación del cuestionario sobre medidas que afectan al
comercio de servicios en el hemisferio (LC/L.1296-P), NÛ GH YHQWD
6 ,,*
86 10.00), 1999. www Material docente sobre gestión y control de proyectos
(LC/L.1321-P; LC/IP/L.174), NÛ GH YHQWD 6 ,,* (US$
10.00), 2000. www Curso a distancia sobre formulación de proyectos de
información (LC/L.1310-P), NÛ GH YHQWD 6 ,,* (US$
10.00), 2000. www Manual de cuentas trimestrales, Oficina de Estadísticas de la
Unión Europea (EUROSESTAT) (LC/L.1379-P, NÛ GH venta: S.99.II.G.52 (US$ 10.00),
2000. www Procedimientos de gestión para el desarrollo sustentable
(LC/L.1413-P), NÛ GH YHQWD 6,,*
86 10.00), 2000. www Manual de cuentas nacionales bajo condiciones de alta
inflación (LC/L.1489-P), NÛ GH YHQWD
6,,* (US$ 10.00), 2001. www Marco
conceptual y operativo del banco de proyectos exitosos (LC/L.1461-P;
LC/IP/L.184), NÛ GH YHQWD S.00.II.G.142 (US$ 10.00), 2000. www Glosario de
títulos y términos utilizados en documentos recientes de la CEPAL
(LC/L.1508-P), NÛ GH YHQWD S.01.II.G.43 (US$ 10.00), 2001. www El papelde la
legislación y la regulación en las políticas de uso eficiente de la energía en
la Unión Europea y sus Estados Miembros, Wolfgang F. Lutz (LC/L.1531-P), NÛ GH
YHQWD 6,,*
86 10.00), 2001. www El uso de indicadores socioeconómicos en la formulación y
evaluación de proyectos sociales, en prensa (US$ 10.00), 1999. www Indicadores
de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y
perspectivas (LC/L.1607-), NÛ GH venta: S.01.II.G.149 (US$ 10.00), 2001. www
Retirado de circulación. Desafíos y propuestas para la implementación más
efectiva de instrumentos económicos en la gestión ambiental de América Latina y
el Caribe (LC/L.1690-P), NÛ GH YHQWD 6,,*
86 10.00), 2002. www International trade and transport profiles of Latin
American Countries, year 2000 (LC/L.1711-P), Sales NÛ E.02.II.G.19, (US$
10.00), 2002. www Diseño de un sistema de medición de desempeño para evaluar la
gestión municipal: una propuesta metodológica, Ricardo Arriagada (LC/L.1753-P;
LC/IP/L.206), NÛ GH YHQWD 6,,*
86 10.00), 2002. www Manual de licitaciones públicas, Isabel Correa
(LC/L.1818-P; LC/IP/L.212) NÛ GH YHQWD 6,,*
(US$ 10.00), 2002. www Introducción a la gestión del conocimiento y su
aplicación al sector público, Marta Beatriz Peluffo y Edith Catalán
(LC/L.1829-P; LC/IP/L.215), NÛ GH YHQWD 6,,*
86$ 10.00), 2002. www La modernización de los sistemas nacionales de inversión
pública: Análisis crítico y perspectivas (LC/L.1830-P; LC/IP/L.216), NÛ GH
YHQWD 6,,*86 10.00), 2002. www Bases
conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas
(LC/L.1883-P; LC/IP/L.224), NÛ de venta: S.03.II.G.48, (US$ 10.00), 2003. www
129
Pauta metodológica de evaluación de impacto ex-ante y ex-post de programas
sociales de lucha contra la pobreza
25. Guía conceptual y metodológica para el desarrollo y la planificación del
sector turismo, Silke Shulte (LC/L.1884-P; LC/IP/L.225), NÛ GH YHQWD
6,,*1, (US$ 10.00), 2003. www 26. Sistema de
información bibliográfica de la CEPAL: manual de referencia, Carmen Vera
(LC/L.1963-P), NÛ GH YHQWD S.03.II.G.122, (US$ 10.00), 2003. www 27. Guía de
gestión urbana (LC/L.1957-P), NÛ GH YHQWD 6,,*
86 10.00), 2003. www 28. The gender dimension of economic globalization: an
annotated bibliography, María Thorin (LC/L.1972-P), NÛ GH venta: E.03.II.G.131,
(US$ 10.00), 2003. www 29. Principales aportes de la CEPAL al desarrollo social
1948-1998, levantamiento bibliográfico: período 1948-1992, Rolando Franco y
José Besa (LC/L.1998-P), NÛ GH YHQWD 6,,*
86 10.00), 2003. www 30. Técnicas de análisis regional, Luis Lira y Bolívar
Quiroga (LC/L.1999-P; LC/IP/L.235), NÛ GH YHQWD 6,,*
(US$ 10.00), 2003. www 31. A methodological approach to gender analysis in
natural disaster assessment: a guide for the Caribbean, Fredericka Deare
(LC/L.2123-P), NÛ GH YHQWD (,,*
86 10.00), 2004. www 32. Socio-economic impacts of natural disasters: a gender
analysis, Sarah Bradshaw (LC/L.2128-P), NÛ GHYHQWD E.04.II.G.56, (US$ 10.00),
2004. www 33. Análisis de género en la evaluación de los efectos
socioeconómicos de los desastres naturales, Sarah Bradshaw y Ángeles Arenas
(LC/L.2129-P), NÛ GH YHQWD 6,,*
86 10.00), 2004. www 34. Los sistemas nacionales de inversión pública en
Centroamérica: marco teórico y análisis comparativo multivariado, Edgar Ortegón
y Juan Francisco Pacheco (LC/L.2160-P); (LC/IP/L.246), N° de venta:
S.04.II.G.88 (US$10.00), 2004. www 35. Políticas de precios de combustibles en
América del Sur y México: implicancias económicas y ambientales, Hugo Altomonte
y Jorge Rogat (LC/L.2171-P), N° de venta: S.04.II.G.100 (US$ 15.00), 2004. www
36. Lineamientos de acción para el diseño de programas de superación de la
pobreza desde el enfoque del capital social. Guía conceptual y metodológica,
Irma Arriagada, Francisca Miranda y Thaís Pávez (LC/L. 2179-P), N° de venta:
S.04.II.G.106, 2004. www 37. Evaluación social de inversiones públicas:
enfoques alternativos y su aplicabilidad para Latinoamérica, Eduardo Contreras
(LC/L.2210-P), N° de venta: S.04.II.G.133 (US$ 10.00), 2004. www 38. Pobreza y
precariedad del hábitat en ciudades de América Latina y el Caribe, Joan Mac
Donald y Marinella Mazzei (LC/L. 2214-P), N° de venta: S.04.II.G.136 (US$
15.00), 2004. www 39. Metodología general de identificación, preparación y
evaluación de proyectos de inversión pública, Edgar Ortegón Juan Francisco
Pacheco Horacio Roura (LC/L.2326-P), N° de venta: S.05.II.G.69, 2005. www 40.
Los sistemas nacionales deinversion pública en Argentina, Brasil, México,
Venezuela, y España como caso de referencia (cuadros comparativos), Edgar
Ortegón; Juan Francisco Pacheco (LC/L.2277-P), N° de venta: S.05.II.G.53, 2005.
www 41. Manual para la evaluación de impacto de proyectos y programas de lucha
contra la pobreza, Hugo Navarro (LC/L.2288-P), N° de venta: S.05.II.G.41, 2005.
www 42. Metodología del marco lógico para la planificación, el seguimiento y la
evaluación de proyectos y programas, Edgar Ortegón Juan Francisco Pacheco
Adriana Prieto (LC/L.2288-P), N° de venta: S.05.II.G.89, 2005. www 43.
Estadísticas del medio ambiente en América Latina y el Caribe: avances y
perspectivas, Rayén Quiroga Martínez (LC/L. 2348-P), NÛ GH YHQWD 6,,*
www 44. El sistema de inversiones públicas en la provincia
de San Juan, República de Argentina, Edgar Ortegón, Juan Francisco Pacheco y
Ana Carolina Cámpora Rudolff (LC/L.2387-P; LC/IP/L.261). N° de venta:
S.05.II.G.130, 2005.
www
45. Indicadores de desempeño en el sector público, Juan Cristóbal Bonnefoy y
Marianela Armijo (LC/L.2416-P; LC/IP/L.263), N° de venta: S.05.II.G.163, 2005.
www 46. Los sistemas nacionales de inversión pública en Barbados, Guyana,
Jamaica y Trinidad y Tabajo, Edgar Ortegón y Diego Dorado (LC/L.2436-P;
LC/IP/L.265). N° de venta: S.05.II.G.182, 2006. www 46. National public
investment systems in Barbados, Guyana, Jamaica and Trinidad and Tobago, Edgar
Ortegón and Diego Dorado (LC/L.2436-P; LC/IP/L.265), Sales number:
E.05.II.G.182, 2006. www 47. Evaluación delimpacto, Cristián Aedo
(LC/L.2442-P), N° de venta: S.05.II.G.189, 2005. www 48. Pauta metodológica de
evaluación de impacto ex-ante y ex-post de programas sociales de lucha contra
la pobrezaAplicación metodológica-, Hugo Navarro, Katiuska King, Edgar Ortegón
y Juan Francisco Pacheco (LC/L.2449-P; LC/IP/L.266), N° de venta: S.06.II.G.18,
2006. www Algunos títulos de años anteriores se encuentran disponibles
130
CEPAL - SERIE manuales
N° 48
•
El lector interesado en adquirir números anteriores de esta serie puede
solicitarlos dirigiendo su correspondencia a la Unidad de Distribución, CEPAL,
Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrónico:
publications@cepal.org. Disponible también en Internet: https://www.cepal.org/ o
https://www.eclac.org
ZZZ
Nombre:
Actividad:
Dirección:
Código postal, ciudad, país:
..
Tel.: . Fax: .
E.mail: .
131
