Programa de Calidad del Empleo y la Formacin Profesional

Unidad Tcnica de Certificacin de Competencias

Serie Evaluacin Documento N 1

Aportes para la seleccin de tcnicas y diseo de instrumentos de evaluacin

Lic. Mara Dolores Iacolutti - Lic. Mnica Sladogna

Direccin de Fortalecimiento Institucional Direccin Nacional de Orientacin y Formacin Profesional

Secretara de Empleo
1

1. La evaluacin de competencias: concepto

La evaluacin de competencias laborales es un proceso que tiene como propsito emitir un juicio de valor acerca de los saberes profesionales de los postulantes. Este juicio se basa en la norma de competencia validada sectorialmente.

El reconocimiento formal de estos saberes se denomina certificacin y es realizado por una institucin de tercera parte -es decir, no vinculada directamente con la ejecucin de acciones de formacin- constituida por los actores representativos del sector de actividad. La evaluacin de competencias posibilita certificar los saberes profesionales y orientar al sujeto para mejorar u optimizar sus desempeos. En funcin de lo expresado, tiene un doble propsito:

CERTIFICAR Reconocer formalmente las competencias requeridas. PROPOSITO DE LA EVALUACION ORIENTAR EN LA FORMACION Identificar fortalezas y debilidades.

La evaluacin es un proceso complejo y de carcter axiolgico. Plantea la necesidad de considerar a la vez los aspectos ticos y los tcnicos, ya que es, fundamentalmente, una operacin de construccin y de comunicacin de un juicio de valor. Evidentemente, cuando se pone en juego una actividad valorativa surge un conjunto de problemas que, entre otros aspectos, hacen referencia a: la posible incompatibilidad entre la jerarqua de valores del evaluador y lo postulado en la norma; las actitudes y caractersticas de las personas que evalan y la pretensin de validez de la evaluacin; la posible incompatibilidad de los propsitos que se persiguen; la viabilidad de desarrollar un proceso respetando los criterios de equidad, autonoma, credibilidad e imparcialidad de los juicios emitidos.

Asimismo, para construir un juicio de valor y no dar meramente una opinin sobre la competencia de un trabajador, resulta imprescindible organizar la evaluacin como un proceso continuo, sistemtico, global y comprensivo.

CONTINUO Y SISTEMATICO

La evaluacin como proceso continuo y sistemtico hace referencia a una secuencia de etapas y actividades, y no a un momento puntual o a un acto particular o singular. Para ello, se seleccionan diversas tcnicas y estrategias en funcin de los propsitos que se persiguen en cada etapa. A su vez es necesario tener presente que, en cada etapa, inciden e interrelacionan entre ellas diversas variables, tales como: la historia laboral del sujeto; la organizacin del trabajo y su adecuacin a las normas; las actitudes del evaluador, del postulante, de los representantes de la empresa y del sindicato; el modo en que se seleccionan, recogen e interpretan las evidencias.

GLOBAL Y COMPRENSIVO

Es global, porque la recoleccin de evidencias sobre el postulante debe considerar la organizacin del trabajo en la que est inserto. Para ello es importante analizar cmo sta influye en los resultados de su propio trabajo (por ejemplo, el estado de los insumos que le proveen o la informacin a la que accede). Es comprensivo, porque se pretende saber por qu las cosas son como son. Se trata de comprender el modo en que cada persona resuelve las situaciones planteadas y los incidentes crticos. Asimismo, se busca considerar las razones por las cuales se acta de determinada manera y entender cmo influyen los distintos aspectos de la organizacin en quien es evaluado.

2. La norma de competencia como referente de la evaluacin

La norma es la especificacin de un desempeo laboral que ha sido acordado entre los actores del mundo del trabajo para ser utilizado en procesos de evaluacin, de certificacin, de formacin, de seleccin o de proyeccin de carrera profesional. Estos desempeos laborales se describen de manera analtica en diversos documentos que se constituyen en referentes de la evaluacin y del diseo de instrumentos, a saber: el mapa funcional, las unidades de competencia y los elementos de competencia. El elemento de competencia, que es el mximo nivel de desagregacin, nos brinda informacin precisar sobre: Criterios de desempeo. Evidencias de desempeo. Evidencias de producto. Evidencias de conocimiento.

DESCRIPTORES DEL ELEMENTO DE COMPETENCIA

Criterios de Desempeo

Juicios orientadores de la prctica Saber hacer en proceso Calidad y cantidad del producto logrado Saber qu, por qu y para qu

Evidencias de Desempeo Evidencias de Producto Evidencias de Conocimiento

Este nivel de desagregacin tiene como finalidad transparentar la complejidad del desempeo laboral, tanto en lo rutinario como en la resolucin de incidentes. Sin embargo, esta descripcin exhaustiva, expresada en el elemento de competencia, puede llevarnos a incurrir en errores que se reflejarn en la seleccin de los indicadores y en el diseo de los instrumentos. Por qu? Porque podemos perder de vista nuestra concepcin integral de las competencias frente a su excesiva desagregacin. Este riesgo potencial exige un esfuerzo permanente por centrarnos en los ejes de la profesionalidad del rol que consideremos crticos para la emisin del juicio de valor. En este sentido, el mapa funcional y la unidad de competencia son instrumentos que nos sirven de gua para tener en cuenta la visin integral del rol a evaluar. Lo expresado es fundamental para determinar el tipo de informacin que debe ser recolectada para emitir un juicio vlido sobre las competencias alcanzadas por el postulante.

3. Etapas del Proceso de Evaluacin

De manera sucinta, podemos analizar las diversas etapas que componen el proceso de evaluacin para comprender integralmente, de qu manera cada una de ellas influye en las otras. Sintticamente, las etapas a las que nos referimos son: La programacin. La recoleccin de evidencias sobre el desempeo del trabajador. La interpretacin y valoracin de las evidencias.

3.1. La programacin

Esta etapa tiene como referente el anlisis de la norma de competencia, para: Definir qu, cundo y dnde evaluar. Seleccionar las tcnicas ms convenientes para obtener evidencias. Disear instrumentos vlidos y confiables.

3.2. La recoleccin de evidencias sobre el desempeo del trabajador

Este proceso de recoleccin no es azaroso ni arbitrario. Responde a una programacin que posibilita sistematizar la bsqueda de aquellos indicadores que se consideran crticos en la norma. El producto de esta accin nos permite contar con informacin pertinente y significativa para formular un juicio sobre la competencia del postulante. Este proceso involucra: el anlisis de la historia socio-laboral del postulante; el anlisis de la organizacin del trabajo en la cual se desempea; la adaptacin de los instrumentos que se utilizarn y la definicin de los momentos oportunos para relevar las evidencias; la recoleccin y registro de indicadores en situacin real de trabajo, y/o la recoleccin y registro de indicadores en situaciones creadas para tal fin.

En esta etapa el evaluador tendr la responsabilidad de llevar un registro en el que consten las evidencias recolectadas. A ste se le incorporar, posteriormente, el juicio emitido por el evaluador sobre el desempeo del postulante, as como la conformidad o disconformidad de ste y la ratificacin del verificador interno.

3.3. La interpretacin y valoracin de las evidencias

La informacin recogida, en si misma, no nos dice nada. Es necesario interpretarla y valorarla, en funcin de la norma de competencia, para poder emitir un juicio acerca de: el logro de la competencia requerida por el trabajador; los dficits percibidos y la orientacin que pudiera requerirse para superarlos.

De acuerdo con lo expresado, los juicios emitidos nos permiten tomar decisiones no slo sobre la certificacin, sino tambin sobre los cursos de accin a seguir. En esta etapa resultan fundamentales: el criterio del evaluador, su capacidad para relacionar e integrar la informacin proveniente de diversas fuentes e instrumentos y su capacidad comunicacional para informarle al postulante y/o a la empresa, los resultados de la evaluacin.

En este documento nos centraremos en la primera de las tres etapas del proceso de evaluacin: la programacin, para determinar qu, cundo y cmo evaluar y qu tcnicas e instrumentos utilizar.

Programacin teniendo como referente la Norma de Competencia

Definicin de qu, cundo y dnde evaluar Seleccin de las tcnicas para recolectar evidencias Diseo de Instrumentos

Diseo de Instrumentos

Etapas del Proceso de Evaluacin

Recoleccin de Evidencias
Registro de Evidencias

Interpretacin y valoracin de Evidencias

Emisin del Juicio de Valor Devolucin de resultados

4. La necesidad de determinar qu evaluar

En el proceso de evaluacin resulta fundamental precisar qu se va a evaluar y considerar desde su planeamiento, la dimensin integral de la competencia. En otras palabras, debemos evitar reducir la evaluacin al manejo de tcnicas y procedimientos o a la obtencin de determinados resultados. Se torna clave centrarnos en un planteo integrado del ejercicio profesional en el que converjan, entre otros aspectos: la aplicacin de criterios (ticos y tcnicos) que dan cuenta de una prctica reflexiva; la manera en que se organiza la tarea y se efectan las comunicaciones; la gestin, administracin de recursos y solucin de los problemas o incidentes; la forma en que se generan condiciones que garanticen la calidad, la seguridad y la productividad.

En el siguiente grfico se presentan sintticamente algunos aspectos a contemplar para seleccionar el qu evaluar en relacin con lo establecido en la norma.

Criterios de Desempeo

Reglas, juicios tcnicos y ticos que orientan la accin. Dominio de procedimientos. Propuesta de soluciones pertinentes y creativas a los problemas. Adopcin de estrategias adecuadas frente a incidentes crticos. Aplicacin de criterios.

Evidencias de Desempeo

Evidencias de Producto

Calidad y cantidad del producto logrado. Conocimientos que fundamentan la prctica. Condiciones que deben cumplirse para asegurar calidad, seguridad, productividad, etc. Finalidad o sentido de la actividad que realiza.

Evidencias de Conocimiento

10

4.1. Criterios para seleccionar evidencias descriptas en la norma.

Para seleccionar evidencias con el objetivo de desarrollar los instrumentos, el evaluador aplicar una serie de criterios entre los que podemos mencionar: frecuencia, complejidad, costos y consecuencias.

Frecuencia

Aplicar este criterio permite seleccionar evidencias tomando en consideracin su periodicidad. Para ello, resulta conveniente considerar: Factores habituales. Factores excepcionales cuya resolucin es fundamental debido a la gravedad de las consecuencias que acarrean en trminos de:
O O O

Seguridad personal, de los equipos y del medio ambiente. Calidad del producto terminado. Eficiencia productiva.

Complejidad
Aplicar este criterio permite seleccionar evidencias en las que intervengan un conjunto de variables interdependientes que obliga a: establecer prioridades; definir urgencias; establecer criterios tcnicos y de gestin, entre otros.

11

Costos
La aplicacin de este criterio en la seleccin de una actividad se relaciona con la necesidad de considerar la responsabilidad que involucra el manejo de los insumos, el instrumental o la tecnologa de elevado valor. Tambin incluye la seleccin de evidencias de criterio vinculadas con decisiones que tienen consecuencias en trminos de desperdicios de material, prdida de tiempos productivos, rechazos y necesidad de rehacer trabajo.

Consecuencias
Este criterio hace referencia a la necesidad de tener en cuenta el impacto que generan ciertas acciones, o su omisin, en trminos de resultados no esperados. Estos resultados pueden incidir en la calidad y/o en los costos, tanto en el desempeo del trabajo propio como en el de terceros, por su implicancia en trminos de prdidas de insumos o de tiempos productivos.

Determinar qu evaluar implica identificar, a partir de la norma como referente, aquellos indicadores que permiten reconocer si una persona puede ser considerada competente en el marco de determinado contexto productivo. Estos pueden hacer referencia a:

La posesin de determinados criterios. La demostracin de desempeos. La capacidad de resolucin de problemas. El dominio conceptual. La capacidad de reflexin sobre su prctica laboral.

12

Tcnicas para recolectar evidencias

1. Observacin Directa del postulante en ambiente real de trabajo 2. Situaciones organizadas al efecto de su observacin
Simulacin de situaciones Resolucin de problemas e incidentes Estudio de Casos Ensayos: Destructivos No destructivos

3. Anlisis de Productos 4. Anlisis de Documentacin

5. Entrevista

13

5. La seleccin de tcnicas para recolectar evidencias

Una vez que se ha definido el qu evaluar, resulta necesario reflexionar sobre qu tipo de situacin y qu tcnicas resultan ms adecuadas para evaluar aquello que hemos seleccionado. Por ejemplo, los procesos se pueden observar de manera directa en ambientes reales de trabajo; lo mismo sucede con la calidad de un producto o la claridad y precisin en la comunicacin. Pero, para saber si el postulante aplica un criterio profesional ser necesario no slo observar su desempeo en distintas situaciones, sino tambin formular preguntas vinculadas con la prctica reflexiva, plantear problemas para analizar la propuesta de solucin o realizar una entrevista, entre otras alternativas. Asimismo, si hemos decidido que es importante analizar la forma en que el o la postulante resuelve un determinado tipo de incidente, y el mismo no se produce durante el desarrollo habitual del proceso de trabajo, debera ser provocado a los efectos de la evaluacin. En este caso, se deber reproducir la situacin esperada en un ambiente controlado (como un Centro Evaluador), o bien proporcionar al postulante materiales que le permitan hacer presunciones sobre las causas del defecto y las posibilidades de correccin, por ejemplo.

14

A modo de resumen de los puntos 4 y 5 podemos decir que, para contar con informacin vlida y significativa que permita determinar si un trabajador es o no competente, se deben contemplar los siguientes aspectos: definir qu cuestiones crticas deben ser evaluadas; considerar en qu condiciones es posible hacerlo; combinar distintas tcnicas en la recoleccin de evidencias.

Entre las distintas tcnicas que se pueden utilizar para recolectar evidencias podemos mencionar las siguientes: Observacin directa del postulante en ambiente real de trabajo. Situaciones organizadas al efecto de su observacin. Anlisis de productos o resultados. Anlisis o elaboracin de documentacin. Entrevista.

15

5.1. Observacin directa del postulante en ambiente real de trabajo.

La observacin del desempeo laboral de la persona en su ambiente real permite recolectar, en forma integrada, evidencias de distinto tipo que se presentan normalmente como resultados del trabajo. En esta modalidad, el diseo de instrumentos suele acompaar las etapas del proceso productivo, situacin que facilita la recoleccin de evidencias. Sin embargo, hay que diferenciar la etapa de registro de evidencias de la fase de emisin de juicio de valor sobre las mismas. Por qu? Porque cuando se emite un juicio de valor, se lo realiza sobre el conjunto de evidencias recopiladas. De esta manera ste se basa en la integracin de la informacin proveniente de las diversas evidencias y su vinculacin con la/s unidad/es de competencia, que son nuestro parmetro de certificacin. Generalmente, la observacin suele realizarse irregularmente, sin objetivos delimitados de antemano (se observa lo que ms llama la atencin) y sin registrar lo observado. Por ello se hace necesaria una definicin clara y precisa del propsito de la observacin y una delimitacin de los datos a recolectar en cuanto a: qu es lo que se va a observar; qu aspectos se van a ver detalladamente; qu o cules se van a ver de un modo general o global. Asimismo, requiere un desarrollo sistemtico y el registro de datos en los instrumentos o soportes convenientes.

16

5.2. Situaciones organizadas al efecto de su observacin.

En este caso incluimos todo tipo de situaciones que sea necesario disear expresamente para evaluar alguna/s de las competencias del postulante.

5.2.1. Simulacin de situaciones

Permite aproximarse, en la medida de lo posible, a las condiciones reales de modo tal que las soluciones generadas posibiliten inferir cmo el postulante puede resolver situaciones que se presentan en la vida laboral. Se utiliza en los casos en que no es posible la observacin directa por razones diversas, entre ellas: Razones de costos, de riesgos, de seguridad o por la baja frecuencia de la actividad. Dificultad o imposibilidad de observar varias competencias en forma simultnea (comunicacin, trabajo en equipo, solidaridad, seguridad, toma de decisiones, etc.).

Entre los medios utilizados para simular situaciones se encuentran el software especializados, los simuladores a escala, las pruebas de habilidad o ejercicios prcticos, los proyectos especiales sobre la base del trabajo que se realiza, y el juego de roles. Para ste ltimo reservamos el trmino simulacin, que distinguimos de simulador por estar referido a mecanismos o dispositivos que representan fielmente la realidad en cuanto a condiciones similares a las normales. La complejidad de acontecimientos puede ser, en estos casos, controlada a travs de diferentes variables (riesgo, temperatura o situaciones atpicas, entre otras) que afectan el resultado esperado.

17

5.2.2. Resolucin de problemas

La resolucin de problemas pone en juego el conjunto de variables que integran una competencia. Por tal motivo, la seleccin de un problema o de un incidente implica considerar aquellas situaciones significativas desde el punto de vista de la gestin de los procesos productivos en los que interviene el postulante. En su resolucin, el sujeto debe:

Analizar de manera integral y sistmica los elementos que abarca. Identificar los principios, leyes, normas o incluso tcnicas y metodologas apropiadas para el contexto productivo, que tiene que aplicar para su resolucin. Reconocer la causa y la forma de resolver el problema, o derivarlo a quien pueda resolverlo.

Qu criterios hay que tener en cuenta para el diseo de los problemas a plantear al postulante? Los problemas a plantear deben ser: Reales, no tericos o abstractos. Tomados de los problemas que habitualmente se presentan en las prcticas productivas.

En algunos casos, pueden tomarse como ejemplo problemas no habituales, cuya respuesta o resolucin est prevista o codificada dentro de las prcticas productivas. La resolucin de problemas permite: Recoger evidencias de hechos inusuales o poco frecuentes que requieren respuestas profesionales. Evaluar la capacidad de gestionar y administrar sus recursos para destrabar los hechos no previstos que se presentan en el proceso.

18

5.2.3. Estudio de casos

Se caracteriza porque describe exhaustivamente una situacin de la realidad, o porque representa un caso paradigmtico que sirve como ejemplo para detectar:
O O

Estrategias de abordaje y resolucin. Forma de participacin de los diversos actores.

En el estudio de casos se presenta la forma en que se ha resuelto una situacin problemtica, lo cual permite analizarla en todas sus dimensiones. Por ejemplo: cmo el postulante describe las relaciones internas que tiene la situacin (tecnologa-producto-insumos-desempeos-decisiones de gestin, etc.), cmo evala la manera en que se ha resuelto o con qu criterios elabora una propuesta alternativa de resolucin. Esta tcnica se usa para:
O O O O

Analizar competencias de mejora continua. Propuesta de innovaciones. Casos de problemas de seguridad y riesgos en el trabajo. Comercializacin.

19

5.2.4. Ensayos

Esta tcnica, al igual que el anlisis de producto, se utiliza para evaluar las evidencias de resultado. Los ensayos permiten apreciar, entre otros aspectos, la calidad de los productos generados por el postulante y la correccin de los procedimientos utilizados. Posibilitan efectuar la comprobacin de una o ms propiedades o caractersticas de un material o un producto para formar un juicio sobre dichas propiedades. Para ello, se disea un proceso experimental que debe seguirse para obtener datos que indican la intensidad de la caracterstica ensayada o los valores proporcionales a ella. Los ensayos pueden ser:
O

Destructivos: cuando el material ensayado queda inutilizado para su uso posterior. Dentro de esta categora se consideran, en general, todos los que apuntan a conocer las resistencias mecnicas. No Destructivos: cuando el material conserva inalterados todos sus caracteres. Se incluyen en esta categora los ensayos de ultrasonido y las pruebas de carga sin rotura, entre otros casos.

5.3. Anlisis de productos

Esta tcnica se aplica cuando las evidencias de producto adquieren carcter concreto. Se utiliza para analizar objetos reales, a saber: impresos, planos, informes, registros, diseo de procesos, maquetas, vehculos ensamblados, maquinarias, equipos armados, estructuras de hormign armado, entre otros.

20

5.4. Anlisis de documentacin

En algunos casos la documentacin es un producto del trabajo del postulante, en otros nos brinda informacin sobre el aspirante y los resultados de su trabajo. En determinadas situaciones ser necesario acudir al anlisis de documentos de distinto tipo (tales como rdenes de trabajo, partes de produccin, reclamos realizados, manuales especficos e informes, entre otros), para recoger evidencias que permitan complementar las observaciones realizadas en ambientes reales o simulados. Esta modalidad resulta valiosa para contar con evidencias de determinados procesos y registros efectuados por el postulante a travs de un lapso ms abarcativo que el tiempo acotado al proceso de certificacin. Esto resulta clave para la evaluacin de algunos perfiles profesionales, tales como el perfil de vendedor o el del encuestador. En ciertos casos la evidencia de producto slo puede ser evaluada a partir de determinado lapso temporal. Por ejemplo: en la evaluacin de un vendedor, los productos a analizar son las ventas realizadas durante el ltimo ejercicio; en el caso de un encuestador, las entrevistas entregadas.

5.5. Entrevista

Permite tener informacin personalizada y de un modo directo. Se utiliza para recoger evidencias relacionadas con aspectos que, por su propia naturaleza, son inaccesibles o imposibles de observar. Un mayor desarrollo de la tcnica se puede observar en el documento N2 de la Serie Evaluacin titulada La entrevista sociolaboral.

21

Tipos de Instrumentos

1. Listas de Control o Cotejo 2. Escalas de Estimacin

Escala continua (numrica) Escala discreta (aproximativa)

3. Preguntas
Semiestructuradas Estructuradas u objetivas:
de seleccin u opcin mltiple; de respuestas por pares (correspondencia); de respuestas breves o completamiento; de alternativas constantes; de ordenamiento; otras preguntas, con base comn.

22

6. Los instrumentos de registro de la informacin

Una vez seleccionadas las tcnicas ms adecuadas para recoger evidencias en relacin con los distintos aspectos a evaluar, se elaborarn los instrumentos considerados como herramientas indispensables para recoger y documentar los aspectos a verificar y sus resultados. Estos tienen una mltiple funcin: Transparentan los criterios puestos en juego por el evaluador en el desempeo de su rol. Facilitar un soporte para el registro de las evidencias. Constituirse en documentos crticos del dossier de evidencias del postulante.

La evaluacin basada en normas de competencia exige la puesta en juego de algunos requisitos a tener en cuenta en el diseo de instrumentos. Entre ellos: Validez y confiabilidad. Representatividad, es decir, la relevancia de los distintos aspectos considerados en detrimento de los menos significativos. Objetividad, es decir, la independencia del juicio del evaluador en el registro de la informacin.

23

6.1. La validez

Un instrumento es considerado vlido cuando sirve para evaluar lo que se pretende (en nuestro caso, las competencias reconocidas por el sector). En otras palabras: cuando la informacin que permite obtener es coherente con los criterios y evidencias de desempeo, de producto y de conocimiento estipulados en la norma. Para que los instrumentos sean vlidos, es fundamental preguntarse: Qu es lo que se va a relevar? Cul es el modo ms adecuado para aproximarse al tipo de informacin buscada?

Cmo contribuir a lograr la validez? Partir del anlisis de la norma. Definir el qu evaluar. Seleccionar las modalidades y disear los instrumentos que resulten ms adecuados para recoger evidencias de distinto tipo. Efectuar las adaptaciones que se consideren necesarias en funcin del contexto productivo en el que se realizar la evaluacin (tecnologas, productos, insumos, particularidades de la organizacin del trabajo, etc.).

Lo expresado hace referencia a la validez desde un punto de vista tcnico, pero tambin debe considerarse la validez en un sentido amplio, ligado al reconocimiento social que debe tener todo proceso de evaluacin cuando se basa en valores de equidad, autonoma e imparcialidad. Por este motivo, el diseo del instrumento exige del evaluador la capacidad de reflexin crtica sobre sus propios valores y creencias para evitar que stos se transformen en factores discriminatorios al momento de la evaluacin.

24

6.2. La confiabilidad

Un instrumento es confiable cuando: Al ser aplicado por distintas personas para evaluar a un mismo postulante, se obtienen resultados semejantes en situaciones similares. Al ser utilizado por una persona para evaluar al mismo postulante, en diversas oportunidades, se obtienen resultados semejantes.

Para lograr la confiabilidad de un instrumento se recomienda: Partir de la norma para establecer referentes claros y unificar los criterios de evaluacin. Tener en cuenta que la informacin que se decida recoger debe ser suficiente y representativa como evidencia del logro (disminuir la incidencia del azar). Explicitar indicadores. Redactar claves de correccin para que diferentes evaluadores les otorguen el mismo significado y efecten similares registros en el desarrollo de este proceso.

El diseo de instrumentos de evaluacin que cumpla con los requisitos antes explicitados, posibilita: Recoger informacin objetiva sobre evidencias de distinto tipo, incluso en momentos diferentes. Registrar y documentar el proceso.

25

7. Seleccin y diseo de instrumentos

En la seleccin de los instrumentos resulta fundamental analizar las decisiones sobre qu es lo que queremos evaluar, en qu circunstancias es posible hacerlo y cules son las tcnicas e instrumentos ms adecuados para relevar informacin pertinente. En este proceso se recomienda: Recordar que la Unidad de Competencia es el ncleo de la certificacin. Por tal motivo, se debe evitar el diseo de instrumentos para cada una de las descripciones desagregadas en el Elemento de Competencia. Analizar cada Elemento de Competencia, y al hacerlo, identificar y seleccionar aquellos criterios, desempeos, resultados y conocimientos -en l descriptos- que sean considerados crticos. Considerar el/ los instrumento/s ms adecuados para registrar evidencias sobre criterios, conocimientos, desempeos y resultados. Por ejemplo:

Las preguntas permiten comprender los principios que ponen en juego los sujetos cuando trabajan, o el manejo apropiado de los conocimientos que fundamentan su accionar. Las listas de control resultan ms pertinentes para registrar evidencias sobre desempeos y resultados.

26

8. Tipos de instrumentos

De acuerdo con lo expresado en captulos anteriores la norma, como descriptor, aborda criterios, desempeos, productos y conocimientos esperados de un sujeto competente. Cada una de las evidencias nos exige reflexionar sobre la modalidad ms adecuada para relevarla y sobre las herramientas vlidas para registrar la informacin obtenida. En el caso ms convencional, cuando se pretende evaluar las evidencias de desempeo o de producto, las herramientas ms adecuadas son las basadas en la observacin: Listas de control o cotejo. Escalas de estimacin.

Para registrar evidencias referidas a conocimientos puestos en accin, resultan ms convenientes las preguntas de distinto tipo. Respecto del manejo de criterios de utilizacin de instrumentos, puede utilizarse cualquiera de los mencionados siempre que el mismo responda al propsito y a las caractersticas especficas, en cada caso.

27

9. Caractersticas de los diferentes instrumentos

9. 1. Lista de control
La lista de control o cotejo, consiste en una serie de indicadores (enunciados afirmativos o interrogativos sobre hechos, caractersticas o secuencia de acciones, entre otros) cuya presencia o ausencia se desea constatar. El evaluador debe sealar, en cada caso, si los indicadores o signos de evidencia estn o no presentes. La lista de control se emplea con frecuencia para evaluar: las tareas o procesos que pueden reducirse a acciones muy especficas; las caractersticas que necesariamente debe reunir un determinado producto o resultado; la existencia o inexistencia de determinadas conductas prescriptas en normas de seguridad.

La lista posibilita registrar evidencias en ambientes reales de trabajo, en situaciones simuladas, en entrevistas, en el anlisis de productos, o en el de documentacin de distinto tipo. En su elaboracin se sugiere considerar listas independientes en funcin del propsito. Para evitar las interpretaciones personales, una consideracin a tener en cuenta consiste en consignar nicamente lo observado. Para que este instrumento cumpla con su funcin, es importante que los indicadores que lo componen:

sean claramente observables; sean suficientemente explcitos, para lo cual es importante que su redaccin sea directa y precisa; tengan el mismo nivel de especificidad; posibiliten slo distinciones dicotmicas (si/no; correcta/incorrecta).

28

Ejemplo Rol: Maquinista de impresin offset a pliegos En el proceso de preparacin de la impresora, entre otros aspectos es necesario registrar en una lista de control los siguientes indicadores: El maquinista transmite a sus asistentes, de manera clara y precisa: Las especificaciones de la orden de trabajo. Los recaudos a tomar sobre probables dificultades que puedan presentarse. SI NO SI NO

Controla que los ayudantes efecten las tareas preestablecidas, en cuanto a: Correspondencia del papel (tipo y medida) con relacin a lo especificado en la orden. Verificacin del estado de las planchas, descartando aquellas que tengan defectos, golpes o ralladuras. Verificacin de tintas.

29

9. 2. Escala de estimacin
La escala consiste en una serie de categoras ante cada una de las cuales, el evaluador debe indicar el grado en que se encuentre presente determinada caracterstica, o la frecuencia con que ocurre determinada accin. Es similar a la lista en cuanto a que tiene aspectos bsicos como referencia para orientar la observacin, y difiere de ella en cuanto a que permite tildar el grado o la medida en que se manifiesta cada caracterstica a observar en el postulante. Puede adoptar diferentes formas: escala continua (numrica) y escala discreta (categoras cuya distancia no es matemtica, sino aproximativa, por ejemplo: siempre; la mayora de las veces, algunas veces y nunca). En todos los casos es recomendable la descripcin para evitar asignar significados personales.

Ejemplo Para evaluar el manejo de los fundamentos en la prctica reflexiva, podemos elaborar una escala con las siguientes categoras: Muy Satisfactorio, Satisfactorio, Poco Satisfactorio e Insatisfactorio, en la que se considerar: Muy Satisfactorio: Fundamenta de manera completa e integral el aspecto en cuestin. Satisfactorio: Fundamenta de manera suficiente, pero no exhaustiva. Poco satisfactorio: incompletos. expresa enunciados genricos, difusos y/o

Insatisfactorio: No aporta fundamentos

30

Ejemplo: Rol: Vendedor Grfico Algunos aspectos considerados en la consulta que se realiza al responsable de produccin.
Algunas Siempre La mayora de las veces veces (todas las veces, el (ms del 50%) (menos del 50%) 100%) Nunca

En la largada de la impresin Los clientes estn avisados de la largada de la mquina impresora para que concurran a conformar el pliego? Se ocasionan atrasos en produccin por esta causa? El vendedor est presente en dicha largada?

Una particularidad de la escala es la necesidad de hacer descripciones bien delimitadas y muy representativas de las conductas reales del sujeto (o caractersticas del objeto). Para su elaboracin se sugiere: Seleccionar las caractersticas ms representativas de lo que va a ser calificado. Incluir nicamente aquello que sea claramente observable. Considerar que la cantidad de enunciados a incluir en la escala estar relacionada con el nmero de aspectos que se hayan podido aislar. Describir de modo unvoco cada uno. Considerar que la cantidad de categoras podr oscilar entre 4 y 7. Resulta necesario considerar que debe tildarse el rasgo observado o la capacidad en s, sin consideraciones hacia la persona que lo demuestra para evitar los errores de generalizacin; al asignar un nivel (alto o bajo) indiscriminadamente se generaliza la reaccin ante el postulante y todo lo que l hace (efecto de halo). Asimismo, se recomienda tener en cuenta que pueden producirse errores de generosidad cuando hay tendencia a marcar hacia el lado que tiene los valores ptimos.

31

9.3. Preguntas

La vinculacin entre pregunta y conocimiento, y entre pregunta y criterio.

Las preguntas que hacemos y las distintas operaciones del pensamiento se relacionan entre s. Por lo tanto, al formular la pregunta resulta importante tener en claro qu esperamos evaluar a partir de la respuesta. Por ejemplo, generalmente, en las preguntas que se suelen realizar para evaluar conocimientos se solicita que la persona: Describa. Enuncie en forma ordenada las caractersticas de un objeto o idea. Compare. Seale las semejanzas y diferencias entre dos o ms objetos o ideas en funcin de un criterio. Defina. Indique con precisin el significado de un trmino, las caractersticas esenciales de un objeto, de un hecho o de una situacin. Resuma. Enuncie brevemente un tema respetando el orden, la idea y el lenguaje del original del cual se toma. Analice. Identifique los componentes esenciales, describindolos en sus particularidades e interrelaciones.

32

Otros tipos de preguntas pueden resultar ms convenientes para evaluar criterios. En stas se solicita que la persona: Relacione. Establezca las conexiones lgicas, causales o cronolgicas entre hechos e ideas, buscando coherencia o soluciones. Infiera. Extraiga conclusin/es (ir ms all) a partir de la interpretacin. Interprete. Identifique los aspectos fundamentales y comprenda el significado. Juzgue crticamente. Apoye o rechace una inferencia, con el respaldo de argumentos. Sintetice. Enuncie brevemente lo esencial de un tema, organizndolo de un modo personal. Identifique los supuestos. Descubra por inferencia algo que funciona como fundamento y cuya verdad no ha sido probada. Clasifique. Distribuya objetos o ideas en clases o conjuntos, segn un criterio de clasificacin.

Sobre la formulacin de preguntas.

Las preguntas, tal como lo expresamos con anterioridad, tienen caractersticas distintas con relacin a las evidencias que se quieren recoger. Sin embargo, en todos los casos se requiere que sean: Claras y orientadoras, evitando la ambigedad y los trminos desconocidos. Precisas en cuanto al tipo de respuesta que requieren: analizar, fundamentar, explicar, presentar ejemplos, elaborar un esquema, etc. Planteadas en relacin independientes entre s.

con

alguna

situacin,

pero

Explicitadas en claves de correccin, para que distintos evaluadores les otorguen el mismo significado.

33

Distinto tipos de preguntas Las preguntas, de acuerdo con su estructura, pueden ser de base:

1. Semiestructurada

Se caracteriza porque brinda la posibilidad de componer o elaborar la respuesta ante una pregunta que tiene un propsito definido. Permite recoger evidencias vinculadas con los conocimientos y adems, con la capacidad de expresin escrita del postulante.

Ejemplos del sector grfico

Por qu es necesario ajustar la viscosidad de las tintas antes de colocarlas en mquina? Por qu necesitamos controlar los espesores de cama y plancha? Mencione qu precauciones toma para que no haya retinte.

34

2. Estructurada u objetiva

Admite una nica respuesta posible, que puede expresarse en una palabra, en una cifra, o puede seleccionarse entre alternativas dadas. Favorece el trabajo con personas que pueden llegar a tener dificultades para la expresin escrita de sus conocimientos. El riesgo es centrarse en preguntas que demanden slo una respuesta memorstica.

Las preguntas estructuradas pueden ser:

2.1. De seleccin u opcin mltiple

Se enuncia una proposicin (expresada en forma directa o como una oracin incompleta) y una serie de soluciones establecidas (por lo general cuatro) en forma de opciones (palabras, frases, smbolos, nmeros), una de las cules es la correcta o la mejor respuesta. Las dems respuestas actan como distractores.

Ejemplo del sector grfico Si observa que los primeros pliegos (los de arriba de la plancha) presentan roturas, cul cree que es la causa? Marque con una X la respuesta correcta: ( ( ( ( ) Listn de corte gastado. ) Cuchilla mellada. ) Cuchilla desafilada. ) Presin incorrecta del pistn.

35

2.2. De respuestas por pares (correspondencia)

Se presentan dos o ms columnas de palabras, smbolos, nmeros, frases u oraciones. El postulante deber asociar o relacionar de algn modo las columnas, sobre la base de la consigna establecida. Se denomina premisa a la primera columna y respuesta a la segunda, que presenta la respuesta propiamente dicha y los distractores.

Ejemplo del sector grfico En los espacios en blanco que siguen a los nmeros, coloque la letra de la columna de la derecha que identifique el instrumento que se usa habitualmente para llevar a cabo la medicin requerida. Cada palabra que designa un instrumento puede ser utilizada una vez, ms de una vez o ninguna vez. Medicin de 1 ( ) Valores de pH 2 ( ) Temperatura 3 ( ) Porcentaje de alcohol 4 ( ) Conductividad Instrumento a utilizar A. Conductmetro B. Alcoholmetro C. Manmetro D. Tensimetro E. Tiras Reactivas F. Termmetro sumergible

36

2.3. De respuestas breves y de completamiento

Se formula una pregunta o enunciado incompleto que admite una nica respuesta posible (una palabra, una cifra o un smbolo). La diferencia entre respuesta breve y de completamiento se encuentra en la forma de presentar la pregunta.

Ejemplos de respuestas 1. Respuesta breve: Cmo se llama el aparato que permite aumentar o disminuir el voltaje de la corriente alterna? ....................................... 2. Completamiento o espacios en blanco El aparato que permite aumentar o disminuir el voltaje de la corriente alterna se denomina.....................................

37

2.4. De alternativas constantes

Se presenta una serie de proposiciones. La respuesta que se solicita para cada una de ellas es dicotmica (falso-verdadero; si-no; correctoincorrecto).

Ejemplo Si
El transformador permite modificar (aumentar o disminuir) el voltaje de la corriente alterna

No

2.5. De ordenamiento

Se presentan diversos datos o elementos que se tienen que ordenar o jerarquizar, de acuerdo con un criterio que se indica (cronolgico, lgico). El criterio de ordenamiento tiene que ser objetivo, no de opinin o estimacin.

38

2.6. Varias preguntas con una base comn

A partir de un esquema de informacin (base) que puede ser, entre otras posibilidades, una orden de produccin, un plano, un texto o un grfico, se construyen diversas preguntas (por lo general, de alternativas constantes o de opcin mltiple) utilizando los datos incorporados en el esquema de informacin.

Ejemplo Dado un plan de produccin especialmente establecido, se pueden formular preguntas como las siguientes: 1. En qu consiste el error detectado? ( ( ( ( Marque con una x

) Secuencia horaria equivocada ) Nmero de orden de trabajo incorrecto ) Horario excedido del establecido por la empresa ) Superposicin de horario Marque con una x Da Lunes Da mircoles Da jueves Da viernes

2. Dnde ubica el error? ( ( ( ( ) Mquina ) Mquina ) Mquina ) Mquina 1 3 2 1

39

A modo de sntesis

Podemos sealar que, una vez definidos los aspectos crticos a evaluar en funcin de la Norma, hay que reflexionar y tomar decisiones sobre cmo se recoger la informacin que servir de base para realizar una evaluacin integrada. En este sentido, hemos expresado que es necesario: Tener en cuenta el criterio de validez para seleccionar las tcnicas e instrumentos que resulten ms idneos para obtener informacin en las distintas situaciones. Considerar la adaptacin de las tcnicas e instrumentos al contexto en el que se realizar la evaluacin. Contemplar el requisito de confiabilidad, que hace referencia a la constancia o a cierta estabilidad que debe plasmarse en los resultados cuando se aplica el mismo instrumento en diversas oportunidades. Combinar distintas tcnicas en la recoleccin de evidencias para contar con informacin vlida y significativa que permita determinar si un trabajador es o no competente. En tal sentido, las alternativas son:

Observacin directa del postulante en ambiente real de trabajo. Observacin de situaciones organizadas al efecto (simulaciones, resolucin de problemas, estudios de casos, ensayos, etc.) Anlisis de productos o resultados. Anlisis o elaboracin de documentacin. Entrevista.

Seleccionar los instrumentos que resulten ms idneos como herramientas indispensables para recoger y documentar los aspectos a verificar y sus resultados. En tal sentido, pueden utilizarse listas de control, escalas de estimacin, distintos tipos de preguntas y cuestionarios, entre otros instrumentos Elaborar cada tipo de instrumento considerando los requisitos bsicos para su construccin. Analizar la coherencia del planteo realizado antes de avanzar en las etapas siguientes. Requerir, en la medida de lo posible, la lectura del material y las sugerencias de personas expertas en el rol que no hayan intervenido en el proceso que se ha descrito.

40

Bibliografa

Bertoni y otras. Evaluacin. Nuevos significados para una prctica compleja. Ed. Kapelusz. Buenos Aires. 1995 Camilloni y otras La evaluacin de los aprendizajes en el debate didctico contemporneo. Ed. Paids. Buenos Aires. 1998 House, E.R. Evaluacin, tica y poder. Ed. Morata. Madrid. 1994 De Ketele, J. M. y Roegiers X. Metodologa para la recogida de informacin. Ed. La Muralla. Madrid. 1995 McDonald, R; Boud D; Francis J y Gonczi. Nuevas perspectivas sobre la evaluacin. Boletn CINTERFOR N149.2000. UNESCO. Pars.1995 Perrenoud, Philippe. Avaliaao Da Excelencia a Regulaao das Aprendizagens. Entre duas lgicas. Ed. Artmed. Porto Alegre. 1999 SENA (Servicio Nacional de Aprendizaje). Sistema de Evaluacin y Certificacin de Competencias Laborales. Metodologa para Evaluar y Certificar Competencias Laborales. Direccin Sistema Nacional de Formacin Profesional. Bogot. 2003 Vargas, F.; Casanova, F.; Montanaro, L. El enfoque de Competencia Laboral: Manual de Formacin. Mdulo 1. Unidad 4.CINTERFOR. Montevideo. 2001. Vargas, F. La Evaluacin basada en Normas de Competencias. CINTERFOR. Montevideo. 2003

41

Proceso de Competencias Laborales: Acciones y Productos esperados

Difusin, sensibilizacin y capacitacin

Promover en los sectores pblicos y privados las ventajas de los procesos de normalizacin y certificacin. PRODUCTOS ESPERADOS Consensos y compromisos sobre roles y funciones a asumir por las partes intervinientes.

Asesoramiento, asistencia tcnica y monitoreo

Desarrollar metodologas de relevamiento. Desarrollar Normas de Competencia. Desarrollar la formacin de evaluadores. Desarrollar Procedimientos e Instrumentos de Evaluacin. Desarrollar la institucionalidad de la Certificacin. PRODUCTOS ESPERADOS Roles normalizados. Participacin en la institucionalidad de la Certificacin. Evaluadores certificados. Trabajadores certificados.

Registro

Difundir las calificaciones requeridas por los sectores de actividad expresadas en Normas de Competencias. Explicitar el perfil de las organizaciones vinculadas a la normalizacin, evaluacin y certificacin. Informar acerca de trabajadores certificados. PRODUCTOS ESPERADOS Normas de Competencia, Organizaciones vinculadas a la Normalizacin, Evaluacin y Certificacin y Trabajadores Certificados, registrados

42

Direccin de Fortalecimiento Institucional

Directora Lic. Mnica Sladogna Asistente Tcnico Mara Ester Baez Vera 4310-5620 / 4310-5856

Programa de Calidad del Empleo y la Formacin Profesional

http://www.trabajo.gov.ar/calidad/index.asp

Integrantes de la Unidad Tcnica de Certificacin de Competencias Coordinadora Lic. Mara Isabel Varela Consultores Prof. Hayde Chacn Hernn de San Fernando Lic. Pablo Granovsky Aldana Guimaraens Lic. Sebastin Lerer Lic. Ana Sampaolesi

Ministerio de Trabajo, Empleo y Seguridad Social Leandro N. Alem 638 piso 13, Ciudad de Buenos Aires (C1001AAN) (54-11) 4310-5628 / 5539 [email protected]

43