Este libro ofrece una introducción a la evaluación de impacto y su práctica en el desarrollo, proporcionando información para diseñar e implementar evaluaciones de impacto a un proyecto o programa
¿Qué son y cómo se construyen los indicadores en la evaluación de impacto?
Un indicador es una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. Esta comparación arroja un valor, una magnitud o un criterio, que tiene significado para quien lo analiza.
Los indicadores se utilizan en diversos ámbitos. Un ejemplo básico de indicador es el porcentaje. Otros indicadores comunes pueden ser la tasa de empleo, la tasa de desempleo, la tasa de actividad, la tasa de informalidad, por mencionar algunos.
Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad; representan un lenguaje común que facilita una medida estandarizada. Son herramientas útiles porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un participante en la formación.
Los indicadores por lo general, se construyen con información cuantitativa, no obstante y de modo creciente, se usan indicadores cualitativos.
Un indicador debe ser construido con un claro criterio de utilidad, para asegurar la disponibilidad de los datos y resultados más relevantes en el menor tiempo posible y con un menor costo. También es necesario elaborar indicadores que den cuenta de todas las dimensiones sobre las cuales el programa o las acciones de formación se han propuesto intervenir. Siguiendo lo planteado en el eje 2 “Conceptualización” los indicadores podrían describir los resultados, efectos e impactos en las personas, las empresas y la sociedad.
¿Qué tipos de indicadores se utilizan y para qué?
Como se vio en el eje 2 “Conceptualización”, la inversión en una acción de formación origina una cadena de resultados, efectos e impactos. Para cada una de las etapas de la cadena se pueden definir indicadores.
Indicadores de gestión
Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades que se ejecutan con el fin de lograr los productos específicos de una política o programa36.
Ejemplos de indicadores de gestión:
¿Qué mide? | ¿Cómo se elabora? |
Costo hora de formación |
Valor presupuesto ejecutado
Horas de formación aplicadas
|
Costo alumno en formación |
Valor presupuesto ejecutado
Número de participantes en formación
|
Número de participantes por docente |
Total participantes
Número de docentes
|
Relación de personal administrativo a personal docente |
Número de funcionarios administrativos
Número de funcionarios docentes
|
Número de participantes por cada espacio de formación |
Total de participantes
Número de espacios de formación
|
Número de computadoras disponibles por cada participante |
Total de computadoras
Número de participantes
|
Indicadores de resultado o producto
Relacionan los bienes y servicios generados por la acción de formación; resultan de las actividades de transformación de los insumos y generan un incremento en los productos aplicables a la formación.
Ejemplos de indicadores de resultado:
¿Qué mide? | ¿Cómo se elabora? |
Variación en cupos de formación creados |
Cupos después – cupos antes
Cupos antes
X 100
|
Variación en diseños curriculares elaborados |
Núm diseños después - num. diseños antes
Número de diseños antes
X 100
|
Variación en normas de competencia redactadas |
Número normas después – núm normas antes
Número de normas antes
X 100
|
Variación número de docentes disponibles |
Número docentes después – num docentes antes
Número de docentes antes
X 100
|
Variación del número de horas para formación |
Número horas después – numero horas antes
Número de horas antes
X 100
|
Indicadores de efecto
Se refieren a las consecuencias inmediatas de la formación y desarrollo de competencias sobre las personas, las empresas o la sociedad. Representan el encuentro de las acciones formativas, con la demanda de los participantes.
Algunos indicadores de efectos:
¿Qué mide? | ¿Cómo se elabora? |
Tasa de participantes matriculados |
Número de matrículas
Número de cupos ofrecidos
|
Tasa de participantes certificados |
Número de certificados
Número total de participantes
|
Tasa de participantes que realizan pasantías en empresas |
Número de pasantes
Número total de participantes
|
Tasa de abandono de la formación |
Número de abandonos
Número total de participantes
|
Tasa de proyectos de creación de empresas elaborados |
Número proyectos de creación de empresas
Número total de proyectos
|
Indicadores de impacto
Representan el cambio esperado en la situación de los participantes una vez que la formación se lleva a cabo. Usualmente se pueden medir en períodos de mediano o largo plazo debido a que se requiere un lapso, para que se puedan medir el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los demás impactos mencionados en el eje 1 “Contexto”.
Algunos indicadores de impacto:
¿Qué mide? | ¿Cómo se elabora? |
Variación de los ingresos |
Ingresos después – ingresos antes
Ingresos antes
X 100
|
Variación en la situación de empleo | Tasa de desempleo después – Tasa desempleo antes |
Incremento de la productividad | Tasa productividad después – Tasa productividad antes |
Disminución de los accidentes de trabajo | Tasa accidentes después – Tasa de accidentes antes |
Mejoramiento de la salud | Cuidado de la salud después – Cuidado de la salud antes |
Tasa de retorno personal por unidad invertida |
Ingresos nuevos generados
Costo aprendizaje
X 100
|
Tasa de retorno global por unidad invertida |
Ingresos nuevos totales generados
Costo aprendizaje
X 100
|
Los indicadores de impacto:
- Expresan los cambios ocasionados a partir de las acciones de formación. Deben permitir la comparación con la situación anterior a la implementación del programa y en los sucesivos cortes evaluativos programados. Para ello es necesario disponer de la llamada “línea de base” y los momentos de evaluación intermedia, final y de impacto.
- Reflejan cambios observados en la población objetivo (salarios, empleo, protección social) así como de situaciones expresadas cualitativamente (satisfacción, salud, bienestar).
- Se definen desde el diseño de las acciones de formación37 y, de esa manera se garantiza su solidez y confiabilidad.
- Deben buscar el retorno económico de la formación para poder demostrar la utilidad del esfuerzo realizado.
- Deben ser válidos, es decir comprobar efectivamente aquello que se pretende medir.
- Deben ser confiables. Su valor no depende de quien lo mida pues las variaciones que refleja son efectivamente encontradas en la realidad.
- Pueden ser cuantitativos y cualitativos, estos últimos están basados en la percepción o el grado de convicción del participante sobre una cierta situación.
En el anexo 2 se incluyen criterios para la elaboración de indicadores, en los anexos 3, 4 y 5 se incluyen ejemplos de aplicación.
En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar en forma combinada, dependiendo de las características del programa a evaluar, del tipo de participantes y del enfoque de evaluación diseñado.
36 Los datos que se comparan en los indicadores cuantitativos reciben el nombre de “variables”
37 Usualmente los indicadores se definen en herramientas de planificación como el “marco lógico” muy utilizado en el diseño de proyectos