¿Cómo implementar?

Sobre redes y activos. Efectos e impactos de los programas Intensivos en el empleo. OIT

Este documento presenta los hallazgos de una revisión sistemática de diversos estudios dirigidos a investigar el impacto...

Guía para la capacitación basada en TIC para MIPYME

Esta Guía es una herramienta modular con características flexibles que proporciona un conjunto de orientaciones...

La evaluación de impacto en la práctica. Banco Mundial

Este libro pretende ser una introducción accesible al tema de la evaluación de impacto y a cómo aplicarla...

Evaluación para el desarrollo social: aportes para un debate abierto en América Latina

El libro desarrolla  temas relativos a tres grandes áreas: (i) el enfoque de gerencia social, la efectividad para el desarrollo...

Evaluación de impacto del programa jóvenes rurales emprendedores

Esta evaluación realizada en 2010, muestra una extensa aplicación del sistema de encuestas...

Algunas lecciones aprendidas

La información es la base de la evaluación

Si se concibiera una pirámide imaginaria sobre la práctica de la evaluación, en su base estarían los datos y la información, en el siguiente nivel los indicadores y los sistemas de monitoreo y seguimiento y, en la cúspide, la evaluación de impacto. La cuestión clave es cómo hacer viables las evaluaciones e ir generando  una cultura de evaluación que cubra toda la pirámide.

 

La evaluación para mejorar los sistemas de formación

La evaluación juega un importante rol para contribuir a crear y mejorar sistemas y políticas de formación y desarrollo de competencias.  Si un país está tratando de desarrollar una política coherente en materia de desarrollo de sus recursos humanos, las evaluaciones deberían ser capaces de generar insumos para contribuir con ese objetivo.

Los resultados de las evaluaciones se deben aplicar para el ajuste o modificación de programas, en la reformulación de políticas, en el diseño de soluciones innovadoras para responder y anticiparse a las necesidades de formación.  Esto puede resumirse en una política de evaluación coherente con una visión de política pública en materia de formación.

 

 Evaluación con métodos prácticos y flexibles

Una clara orientación práctica debe guiar la planificación de la evaluación. Las buenas evaluaciones no tienen que ser extensas, complejas, ni costosas.  No es necesario acudir a enfoques ortodoxos y sofisticados, que pueden resultar inútiles y suelen ser demandantes en recursos.

En la evaluación de impacto se debe tratar de utilizar una variedad de métodos que se adapten al contexto, al tipo de programa, a los objetivos trazados y a las poblaciones beneficiarias.  El uso de herramientas, como los cuestionarios y las entrevistas, facilita y flexibiliza la evaluación. 

 

 Evaluación para responder a la demanda de competencias

La evaluación de impacto es útil  para orientar la formación como una respuesta a la demanda.

Cuando se trata de evaluar la inserción laboral, una forma es determinar que fracción de los participantes ha encontrado un empleo o está desempeñando una actividad productiva relacionada. La conclusión de que solo una pequeña fracción de los participantes está ocupada en la formación relacionada, es un indicio de orientación por la oferta más que de respuesta a la demanda y de que la formación no está articulada con los requerimientos específicos del sector productivo.

Otra  forma de evaluación es considerar las preferencias de los empleadores al contratar y su actitud frente a los servicios de formación.

 

Evaluación de impacto: un enfoque flexible para la economía informal

Los métodos de evaluación en la economía informal deben ser flexibles en el sentido de obtener el máximo provecho de los enfoques cualitativos. La economía informal es un área donde es necesario aplicar la gama más amplia de métodos de evaluación; un análisis ortodoxo de los impactos, la comparación de grupos con y sin formación en un diseño experimental o semi-experimental es difícil de imaginar. La técnica de estudios de caso  y una buena serie de preguntas de evaluación, son una aproximación válida para conocer los factores de éxito de las acciones de formación en la economía informal. En el anexo 9 se describe el diseño de elementos de evaluación para la capacitación en la MIPYME.

Deben considerarse diferentes fuentes y técnicas para recolectar información, tales como los referentes de la comunidad; también se puede realizar un  seguimiento de los participantes a través del tiempo. En estos casos la existencia de registros y testimonios e instrumentos autogestionados por los propios participantes juegan un papel crucial.

 

MATERIAL DE APOYO A ESTE EJE

www.oitcinterfor.org

Conocimiento asociado

  1. Diseño de la evaluación de impacto de las políticas de formación continua. MTESS. Argentina.
  2. Evaluación para el desarrollo social: aportes para un debate abierto  en  América Latina. INDES-BID
  3. La evaluación de impacto en la práctica. Banco Mundial.
  4. Guía para la capacitación basada en TIC para MIPYME. OIT/Cinterfor.
  5. Efectos e impactos de los programas Intensivos en el empleo. OIT.

Experiencias y aplicaciones

  1. Sistematización de la experiencia SIMAPRO del sector frutícola. Interfases. Chile.
  2. Evaluación estratégica sobre el desarrollo de capacidades. IDRC.
  3. Evaluaciones de Impacto de los Programas de Capacitación Laboral: la experiencia internacional y de Chile.
  4. Informe de evaluación. Modernización de la industria azucarera en México. Aplicación SIMAPRO.

 

¿Cuáles son las etapas para implementar la evaluación de impacto?

El proceso de evaluación de impacto comprende las etapas de  planificación, diseño, recolección de información y producción y divulgación de resultados. A continuación se señalan los aspectos a tener en cuenta.

 

Planear la evaluación

Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.  En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.

¿Qué se define? A tener en cuenta:
Las preguntas básicas que la evaluación debe responder. Se derivan   de los objetivos de la intervención que se va a evaluar. (Ver eje 2)
  • Debe tener un carácter participativo e incluyente para que los   grupos de interés puedan realizar sugerencias en torno a  los objetivos y las preguntas básicas.
  • Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales   
La cadena de resultados,   de la acción formativa   que permitirá definir los indicadores. (Ver eje 2)
  • Los resultados, efectos e impactos  deben ser  y  útiles para la toma de decisiones.
Los indicadores que  permitirán monitorear y medir los impactos relacionados con  las preguntas planteadas. (Ver eje 2)
  • Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.
  • La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.
  • Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución   y diseñar los instrumentos de registro pertinentes y la forma en que se construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad63.

 

Diseñar y preparar la implementación del proceso de evaluación

Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el  presupuesto para su ejecución.

No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según las características de la población, los impactos a evaluar y las consideraciones éticas y políticas.

Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas. Un abordaje mixto agrega la posibilidad de identificar  las prioridades y dificultades a partir de  la opinión y la vivencia de los actores. Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.

¿Qué se define? A tener en cuenta:
El diseño o cómo se va a evaluar. (Ver eje 4).
  • Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.
  • Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.
  • Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.
  • Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosas y ponen en cuestión la viabilidad de la evaluación de impacto.
  • Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.
Recursos técnicos y financieros, tiempo e   información disponible.    

 

  • Decidir si se realiza una evaluación interna o externa (Ver eje 2) considerando los recursos con que se cuenta.
  • Definir un equipo responsable de la evaluación  que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas  y capacidad operativa para gestionar la implementación.
  • Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto  en la organización.
  • Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.
Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar64, se va a desarrollar la evaluación de impacto.
  • Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los  impactos.
  • No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.
  • Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después –dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.
  • Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos  más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.

 

Recolectar la información

Esta etapa es eminentemente práctica y  comprende una serie de decisiones y actividades, tales como:

  • Definir qué información se necesita recolectar.
  • Determinar el equipo encargado.
  • Elaborar instrumentos y definir la muestra.
  • Realizar el trabajo de campo.
  • Procesar y validar la información.

La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico.  (Ver eje 4)

Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir. A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.

 

Producir y divulgar los resultados

Esta etapa comprende las siguientes actividades: analizar los datos, elaborar  informes y presentaciones de los resultados y divulgarlos.

¿En qué consiste? A tener en cuenta:
Analizar los datos
  • Asegurar la imparcialidad y el manejo ético de la información.
  • Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles  y útiles para la toma de decisiones.
Elaborar informes
  • Evitar un lenguaje técnico solo para especialistas. Los usuarios de la información no siempre son expertos en evaluación de impacto.
  • Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.
  • Demostrar que la evaluación se basa en informaciones válidas.
Divulgar los resultados
  • Implementar  un plan de difusión  de los resultados para los interlocutores sociales
  • La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.

 

 

63  Fuente primaria es aquella donde se origina la información, por ejemplo, el participante en la formación. Fuente secundaria es información previamente recogida y procesada por un tercero.

64  Aunque se ha llegado a señalar que las mejores evaluaciones ex post se diseñan y comienzan a implementarse ex ante (Ravallion, 2006), el momento en el que se puede obtener información relevante, más allá de su diseño, es cuando la acción o plan a evaluar ha finalizado.

Páginas

Subscribe to RSS - ¿Cómo implementar?