¿En qué consiste la evaluación de impacto con métodos cuantitativos?

El método cuantitativo busca verificar la relación de causalidad entre la acción de formación y sus impactos. Al efecto, utiliza la información contenida en los objetivos  del programa y, con base en la información recolectada,  establece el grado en que los objetivos se alcanzaron, mediante un indicador.

Por ejemplo, entre los objetivos de un programa de formación de jóvenes se pueden mencionar: mejorar la empleabilidad de los participantes; acortar el tiempo de desempleo una vez finalizada la formación; facilitar la continuidad de la formación del participante.

La medición del impacto debe corroborar que, en efecto y debido a las acciones de formación ejecutadas, los participantes en el programa experimentaron los cambios en las condiciones que se habían establecido como objetivos.

El siguiente gráfico representa la lógica implícita en la evaluación de impacto; la situación de los participantes cambia entre el comienzo y el final de la ejecución de la acción de formación.  El impacto es la diferencia entre la situación “con formación” y “sin formación”. La pregunta central que ejemplifica este enfoque es: ¿Cuál hubiera sido la situación de los participantes, si ellos no hubiesen recibido  la formación?

 

Dentro de las evaluaciones de impacto con métodos cuantitativos, se dispone de tres tipos de diseño que pueden combinarse para construir una evaluación más eficiente en función de las características de cada caso. Los diseños más usuales son el experimental, el semi-experimental y el no experimental; a continuación se describirá cada uno.

 

Diseño experimental

Como su nombre lo indica, estos modelos hacen uso de condiciones de “experimento”38 para conformar el grupo de participantes y el de control. Las condiciones experimentales imponen que, tanto los participantes como los integrantes del grupo de control se elijan mediante un sorteo, es decir con un procedimiento aleatorio. Esta selección implica que quienes integren el grupo de control, no son invitados a ingresar en el programa. Luego de construidos los grupos se realizan comparaciones de la situación “antes” y “después”, mediante el uso de los indicadores. El impacto se establece a partir de los cambios encontrados en las mediciones entre el grupo de participantes comparado con el grupo de control.

Este enfoque utiliza técnicas de comparación estadística para establecer la relación causa-efecto entre la acción de formación y los cambios que se produjeron en los participantes.   Una característica fundamental es que el impacto se mide en términos comparativos entre los participantes y los no participantes. Al efecto se recurre a un grupo similar (grupo de control) que no haya participado de las acciones y por tanto permita aislar efectos de factores exógenos al programa39. Esto significa que en la evaluación se requiere estar seguro de que los impactos constatados se deben exclusivamente a las acciones de formación y no a otro hecho fuera de contexto.

¿Para qué se usan los grupos de control? Como es necesario realizar la comparación de poblaciones pertenecientes al mismo universo (por ejemplo: jóvenes) con el propósito de identificar el impacto de las acciones desarrolladas, la medición se realiza en el grupo de participantes40 y en un grupo de control41.

Estos grupos coinciden en sus características fundamentales o al menos en aquellas que se consideran críticas y que pueden influir en el impacto esperado. Los miembros del grupo de control, por definición, no deben haber participado en las acciones de formación que se evalúan. La conformación de un grupo de control se realiza con el fin de establecer el llamado escenario contrafactual42.  Este término se utiliza para expresar la garantía de que los impactos son realmente atribuibles a la acción de formación  y no se hubieran generado si la acción no se hubiese realizado. 

Los dos grupos se deben conformar antes de comenzar las acciones y, para garantizar que sean similares, los integrantes deben asignarse mediante procedimientos estadísticos43.

 

En este diseño,  la medición de la o las variables de impacto (por ejemplo: salario o empleo) se realiza en ambos grupos, una vez que los participantes han recibido los beneficios de la acción.  Cuando la medición de la variable de impacto se realiza antes de iniciado el proyecto se establece la “línea de base” de la evaluación.  En algunos casos, dada la dificultad de definir la línea de base,  se realizan las mediciones en ambos grupos luego de las intervenciones y se establece el impacto por la diferencia encontrada.

Estos modelos necesitan sostener las condiciones experimentales a lo largo de toda la evaluación. Al impedir  participar en la acción formativa a quienes integran el grupo de control genera críticas desde el punto de vista ético y político.

Si bien es un método que, en teoría, garantiza condiciones “químicamente puras” y pretende reproducir un ambiente de laboratorio,  en la práctica le otorga a la evaluación de impacto un tinte excesivamente científico que la hace difícil de aplicar y poco práctica, disuadiendo a muchos actores de su utilización44.

 

Diseño semi-experimental

Este tipo de diseño, también llamado cuasi-experimental, se basa también en la conformación de los dos grupos, el de participantes y el de control, pero no excluye  a estos últimos de la participación en el programa. 

En este enfoque las personas que integran el grupo de participantes han ingresado al programa  por su voluntad y no como resultado de un sorteo aleatorio. Se trata de que las personas que van a conformar el grupo de control sean lo más parecidas posibles a aquellas que constituyen el grupo de participantes. Es decir, que para conformar dichos grupos de comparación se trabaja a partir de las variables centrales o las que se cree pueden provocar o influir en los resultados.

Estos diseños pueden realizar mediciones antes-después o solamente después y en algunos casos se puede aplicar comparando el grupo de participantes con un “grupo de control genérico”. En este caso, el grupo de comparación puede ser la población en general o un sector específico de ésta.

En la tabla siguiente se presenta  la forma en que se establecieron los grupos de participantes y los grupos de control en varias evaluaciones de impacto de instituciones o programas formativos de la región.

Criterios y métodos utilizados en la conformación del grupo de comparación en cuatro estudios de evaluación de impacto de programas de capacitación laboral en Ameríca Latina

  Grupo de tratamiento Grupo de comparación

SENA
Colombia

Criterio: personas empleadas que asistieron a algún curso de capacitación del SENA en el año 1996, y nunca antes habían tomado un curso de capacitación.

Fuente: Encuesta de Calidad de Vida de 1997 (seguimiento).

Criterio: personas empleadas que nunca han recibido un curso de capacitación.

Fuente: Encuesta de Calidad de Vida de 1997 (seguimiento).

Probecat
México

Criterio: personas que fueron admitidas en Probecat y terminaron la capacitación.

Fuente: encuesta retrospectiva realizada por Probecat a una muestra de las personas graduadas en 1990. La encuesta se realizó en febrero de 1992 (seguimiento) y se aplicó el formulario de la Encuesta Nacional de Empleo (ENEU).

Criterio: personas que estuvieron desempleadas en el tercer trimestre de 1990 y cumplian con los criterios de selección de Probecat.

Fuente ENEU, tercer trimestre de 1990 - tercer trimestre de 1991 (seguimiento).*

Programa
Joven
Argentina

Criterio: personas que fueron admitidas en el Programa Joven en 1996/97 y terminaron los cursos de capacitación.

Fuente: encuesta administrada por el programa en los años 1996/97 (línea base) y 1998 (seguimiento).

Criterio: personas que fueron admitidas en el Programa Joven en 1996/97 y nunca iniciaron los cursos de capacitación.

Fuente: encuesta administrada por el programa en los años 1996/97 (línea base) y 1998 (seguimiento).

PROJoven
Perú

Criterio: personas que fueron admitidas en PROJoven y terminaron los cursos de capacitación.

Fuente: encuesta administrada por el programa en los años 2000 (línea base) y 2001 (seguimiento).

Criterio: personas que viven en la misma zona que los beneficiarios de PROJoven (i.e. cuadra, manzana, etc.), cumplen con los criterios, pero no se inscribieron.

Fuente: encuesta administrada por el programa en los años 2000 (línea base) y 2001 (seguimiento).

 

* LA ENEU utiliza un sistema de rotación trimestral para que cada grupo de rotación (hogares) permanezcan en la encuesta por cinco trimestres consecutivos y después dejan de pertenecer a la muestra.
Fuente: Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Navarro, Hugo. CEPAL-ILPES. 2005.
 

Diseño no experimental

Este enfoque no utiliza grupos de control para evaluar los impactos de las acciones implementadas; es decir, solo trabaja con la población que participó en el proyecto. El no utilizar grupos de control puede obedecer a que sencillamente no fue previsto en la planificación de la evaluación o, a que en algunos casos, existen razones técnicas que impiden la construcción de los dos grupos.  Es el caso de  la evaluación de impacto de una política pública nacional que debe cubrir a toda la población o a un sector importante de ella; la construcción de grupos de control por métodos experimentales supondría separar de los beneficios de las políticas a importantes porciones de la población.

Bajo este enfoque se realizan comparaciones en el tiempo  denominadas “diseños seriados” que cubren los momentos: antes-después o sólo después. Se les llama seriados por cubrir series de tiempo y se conocen como estudios longitudinales. Sus características estarán determinadas por las variables a medir, el tipo de seguimiento requerido y el acceso a datos confiables previos al desarrollo de las acciones.

Los diseños seriados son los más rigurosos entre los no experimentales ya que, a pesar de no trabajar con grupos de control, permiten calcular la tendencia del impacto a analizar si no hubieran tenido lugar las acciones implementadas. Necesitan de la existencia de una cantidad suficiente de observaciones anteriores al desarrollo de las acciones para poder identificar la tendencia previa a la intervención.  En este caso, se trabaja con un diseño “antes – después” evaluando el impacto mediante un tratamiento estadístico del cambio observado en las variables.

Si bien, a partir de estos diseños, no se pueden aislar los efectos de factores ajenos a las acciones previstas, se podría afirmar que las mismas han contribuido a los resultados junto con otros factores no aislados.

Los diseños seriados son más útiles cuando el objetivo de las acciones cubre a toda una población, por ejemplo todos los trabajadores jóvenes que se inscriben en cursos de aprendizaje.

La elección de un método determinado para la implementación de la evaluación de impacto supone un conjunto de aspectos políticos, metodológicos y relativos a la asignación de recursos económicos y humanos. Como se anotó antes, existe una relación inversa entre la facilidad y practicidad de la aplicación de estos diseños y la confiabilidad estadística de los resultados.

 

La recolección de información bajo el enfoque cuantitativo

Es una parte sensible de la evaluación ya que puede comprometer la calidad de los datos.  El tamaño de la muestra y la modalidad de recolección pueden tener una alta incidencia en los costos.

Se debe obtener información tanto del grupo de participantes como del grupo de control y diseñar categorías claras y estandarizadas para la información recolectada.  Cuando se trata de intervenciones de carácter público y de amplia cobertura, no es posible obtener la información de cada uno de los participantes, lo que sería un censo,  por lo cual se aplican técnicas de muestreo.

Calcular una muestra es el procedimiento de seleccionar un subgrupo de todo el conjunto de participantes, que debe ser representativo de dicho conjunto. Existen técnicas estadísticas para calcular el tamaño y características de una muestra; la regla básica es que todos los participantes en el programa tengan la misma probabilidad de salir elegidos en la muestra45.

La información que es recolectada en la muestra comprende un grupo de variables que serán analizadas para evaluar el impacto. Estas variables pretenden captar los rasgos de los impactos deseados y  son diferentes según que los beneficiarios de la formación sean las personas, las empresas o la sociedad.

Algunas de las variables de impacto de los programas de formación y desarrollo de competencias son:

 

Variables de impacto en las personas

Variable Tipo de medición

Salario

Ingreso

Tiempo para conseguir trabajo

Empleo

Tiempo en algún empleo

Creación de autoempleo

Número de horas trabajadas

Tasa de ocupación

Tasa de participación laboral

Cambio en la situación laboral

Cambio en el tipo de empleo

Consumo total

Aumento de la productividad laboral

Protección social

Variación en moneda corriente

Variación en moneda corriente

Semanas, meses.

Cambio en la probabilidad de emplearse

Semanas, meses, años

Conformación  empresas

Variación, antes-después

Variación

Variación

Empleo, desempleo, activo, inactivo

Formal, informal, auto-empleo

Variación en moneda corriente

Desempeño laboral

Variación aportes pagados 

Variables de impacto en las empresas

Variable Tipo de medición

Tiempo no trabajado-ausentismo

Tiempo no trabajado-otras causas

Tiempo de parada en línea

Calidad de productos finales

Accidentabilidad laboral

Crecimiento productividad

Innovaciones aplicadas

Ventas

Exportaciones

Conflictividad laboral

Diálogo social

Variación horas, días

Variación horas, días

Variación horas, días

Cantidad rechazos por desperfectos

Cantidad accidentes de trabajo

Producto final/insumos aplicados

Número de innovaciones en práctica

Variación en moneda corriente

Variación en moneda corriente

Variación días, horas

Tiempo participación, concertación

Variables de impacto en la sociedad

Variable Tipo de medición

Bienestar físico

Participación ciudadana

Desarrollo formativo

Educación

Bienestar emocional

Condiciones de salud y nutrición

Ejercicio de ciudadanía, membresías

Ingreso o permanencia en la formación

Elevación del nivel educativo

Inserción familiar, social, redes

Las variables que describen los impactos sociales de la formación son de más difícil obtención y cuantificación, ello hace que las evaluaciones de impacto social sean bastante escasas. En el anexo 8 se incluye un ejemplo de las variables que utiliza el SENAI.

 

El análisis de información en los métodos cuantitativos

La información sobre las variables e indicadores para la evaluación cuantitativa se analiza con métodos estadísticos. Las herramientas más utilizadas son el promedio (o media aritmética), el análisis de regresión y el análisis de panel.

La media aritmética o promedio, es una medida de la tendencia central de varias observaciones. Para calcularla se toman en cuenta los valores de los indicadores para todas las observaciones realizadas tanto en los participantes como en el grupo de control.   Se suele calcular el promedio para cada uno de los grupos (participantes y control); la diferencia entre las dos observaciones promedio, es el impacto del programa.

En el siguiente ejemplo se presenta una evaluación para  la variable ingresos utilizando grupo de control46 se muestra la información para los dos grupos y el cálculo del promedio para cada uno.

 

SALARIOS DEVENGADOS DESPUES DE LA FORMACIÓN  
  GRUPO DE PARTICIPANTES GRUPO DE CONTROL  
 

1000

1200

1500

1150

1300

1200

890

950

1000

750

 

Suma

6150

4790

Impacto

Promedio

1230

 958

272

La media o promedio está definida por la suma de los datos observados dividida por el número de observaciones, en este caso cinco.  La diferencia de las dos medias es el impacto en términos absolutos:  $272, un impacto positivo.   Para darle un significado se convierte en un indicador porcentual, así:

 

El impacto representa un incremento de 28,39% en los salarios de quienes participaron en la formación en relación con quienes no lo hicieron.

El análisis de regresión, es una técnica que estima el valor promedio de una variable dependiente (como el salario o el empleo) dados ciertos valores conocidos de la variable explicativa o independiente (la formación).  A modo de ejemplo, en una acción de formación profesional, la variable independiente es la provisión de formación y la variable dependiente el cambio en el empleo de los participantes, o el cambio en el salario.

 

El análisis de panel utiliza series de tiempo, incorporando información de variables y unidades de estudio durante un período determinado. Incluye una muestra de información de agentes de interés (personas, empresas) para un lapso. 

A manera de ejemplo, para aplicar el modelo se podría disponer de datos periódicos (mensuales, anuales) de los ingresos obtenidos por un grupo de egresados de un programa de formación durante un período de 24 meses.  A esto se le llama disponer de los datos en “panel”.

El objetivo es detectar los cambios en los individuos a través del tiempo, atribuibles a su participación en una acción de formación. Esta técnica permite realizar un análisis   dinámico al incorporar la dimensión temporal de los datos, lo que enriquece el estudio, particularmente en períodos de grandes cambios47.

Una vez calculados el promedio, el análisis de regresión o aplicada la técnica de panel, se deben realizar las pruebas de significación estadística48 de los valores obtenidos.  Esta prueba indica si el valor de un determinado indicador de impacto es estadísticamente significativo para explicar el impacto obtenido.  Son útiles para identificar aquellos factores que, al no estar asociados con el impacto, no deben ser tomados en cuenta en diseños futuros de intervenciones.

Como ya se mencionó, en la variación de un determinado indicador, pueden concurrir efectos no necesariamente asociados a la acción de formación. Por ejemplo, un joven que ha recibido formación cuando la economía está en auge, tenderá a encontrar empleo con una facilidad similar a otro que no lo haya hecho.   El efecto no atribuible al aprendizaje se produce por la alta demanda laboral que tienen las empresas en momentos de crecimiento, cuando la tasa de desempleo tiende a bajar.

En forma inversa, un joven que haya recibido una buena formación en un ciclo de recesión económica, tendrá más dificultades para encontrar un empleo, lo cual no necesariamente es un impacto adverso del programa de capacitación en el que participó.

 

 

38  En ciencias sociales, un experimento implica una comparación sistemática de ciertos grupos con otros que son similares en los aspectos más relevantes, o con el mismo grupo en diferentes momentos del tiempo, con el objetivo de determinar el efecto o influencia de algún evento o intervención. Navarro. 2005.

39  Comúnmente conocido como el “contrafactual” en la evaluación de impacto.

40  También denominado grupo experimental o de tratamiento o grupo beneficiario

41  En ocasiones se encuentra mencionado como grupo de comparación

42  Anglicismo por el término “counterfact” de la literatura en inglés.

43  Es decir que estadísticamente no existan diferencias que puedan favorecer más a unos sobre los otros en la captación de beneficios de la acción

44  Grubb, W. Norton; Ryan, Paul. Op. cit.

45  Existen diferentes métodos de muestreo, entre ellos el aleatorio, el muestreo por conglomerados cuando se agrupan conjuntos afines de la población y el muestreo por características particulares que atiende a variables como edad, sexo, situación económica, entre otras.

46  Generalmente se recolecta información de una muestra representativa de cada uno de los grupos

47  Mayor información: http://www.bccr.fi.cr/ndie/Documentos/NT-05-2000.pdf

48  Un resultado es estadísticamente significativo cuando no es probable que haya ocurrido por causa del azar.