COMPETENCIA PARA LA FORMACIÓN DE EVALUADORES
Luis Miguel Villar Angulo
Universidad de Sevilla
ÍNDICE
Resumen
Esta ponencia alude al aprendizaje de la capacidad evaluativa como
objeto de formación y actualización profesional del docente universitario. Las acciones
formativas incluyen herramientas, libros, sitios Web y artículos evaluativos,
que forman parte de cualquier ambiente académico y evaluativo y que se ponen en
práctica interaccionando las personas. En esas acciones ejercidas
recíprocamente se combinan creencias, actitudes y subjetividades impregnadas de
valores que tienen memoria de experiencia profesional pasada. Esta ponencia no
olvida tampoco al estudiante. Es el primer destinatario de la calidad de la
docencia, el personaje que tiene que percibir el cambio docente, esa finísima
personificación imaginaria de un profesor de materia que ha adoptado el
simbolismo de la evaluación como representación espectral de la mejora.
PARTE UNA: COMPETENCIAS
DE UN EVALUADOR: DESARROLLO, APLICACIÓN E INTERPRETACIÓN
Reconozco el inicio de la crisis de la cultura evaluativa de las
universidades en la década de los noventa del siglo pasado. Entonces, la
universidad asume la auscultación de la calidad con plena conciencia de que se
produce una brecha irreparable con la tradición escolástica de pensar sobre el
mundo exterior. El envite de la responsabilidad lo comprende y lo lleva a la
piel de las titulaciones y de los servicios. Las universidades advierten que la
autorreflexión sobre la docencia es el gran asunto a atender y de ahí su
frenética actividad como evaluadora de la calidad de los programas formativos
que suponen la emergencia histórica de una nueva organización social que
alienta con transformar el trabajo académico del profesorado.
El pensamiento intelectual de los docentes comienza igualmente a
reflejar el nuevo discurso de la evaluación. Así, se introduce en ellos la
nueva semántica evaluativa de estándares, acreditación o de evaluación
formativa y se reconcilian con la nueva realidad universitaria afrontando el
dilema del aseguramiento de la calidad de la docencia desde la perspectiva de
su comprensión e incorporando la nueva imagen social del profesor como
evaluador.
La acción evaluativa que engendra
el espacio público de la calidad universitaria se ha reservado para las agencias,
y sobre todas ellas, la Agencia Nacional de Evaluación de la Calidad y
Acreditación (ANECA) que dicta la política necesaria y urgente para comprender
la acción previsible que brota de la pluralidad de universidades públicas y
privadas y del concepto de autonomía universitaria. La ANECA relaciona el
pensamiento de la calidad y la acción con cierto rigor lógico de forma que las
universidades mueven la ficha de la autoevaluación de los programas formativos como
primer documento que resume el complejísimo análisis de la calidad de la
docencia. La novedad del modelo evaluativo de la ANECA es que comprende seis
criterios bajo los cuales se calcula el valor de una titulación: programa
formativo, organización de la enseñanza, recursos humanos, recursos materiales,
proceso formativo y resultados. La aplicación de este modelo hace surgir a un
personaje de la vida académica, que está como docente de materias de distintos
campos científicos y que da vida a una creación nueva y original, el evaluador
del universo universitario.
UNO: La
práctica de la evaluación como lenguaje metafórico. El evaluador como…
La
literatura educativa abunda en personajes de ficción que tratan de dar existencia
real a lo que no se tiene, proclamando la libertad de los autores para recrear
con libertad muestras fehacientes de posturas intelectuales en lo que atañe a
la evaluación. Uno de los académicos más conspicuos en la enseñanza de la
evaluación a través de metáforas es Patton (2002: 95), que escribe en una
brevedad su estrategia didáctica: Hallo que uso muy a menudo metáforas en
evaluación para ayudar a las personas a establecer conexiones entre lo que
conocen (como pescar) y cosas menos familiares (como evaluación).
Una
de las primeras creaciones metafóricas se debe a Fleischer (1983) que reserva para el evaluador la
posición de asesor de programas, en el que acumula tres dominios específicos:
desarrollo de programas, cambio planificado y tecnología educativa. Un
evaluador interno de un programa formativo es un relator de las vicisitudes de
una institución que se ejercita en el aprendizaje. Pero en la aventura del
aprendizaje de una organización universitaria hay mucho más que eso. Las
conversaciones de los estudiantes, entre la lucidez y un cierto “sinsentido” o un
no reivindicativo, el mundo de las convenciones de los adultos, las ideas y
prejuicios de los profesores son asuntos que requieren destreza para escribir de
manera inteligible sobre la calidad. Por ello, Torres (1991) urde unas
habilidades profesionales volcadas al mundo interior de la persona para que no
interfieran con sus experiencias vividas, que dispone como sigue: comprender
las influencias contextuales, identificar y comprender las perspectivas de los
beneficiarios, maximizar la credibilidad y la confianza, alinear la metodología
a las orientaciones epistemológicas de la audiencia de la evaluación, poner
sobre la mesa y representar los asuntos que preocupan a la autoridad, prepararse
para hacer una gestión siguiendo múltiples perspectivas, y ser tolerante ante
la ambigüedad y el desarrollo del cambio.
Las vetas literarias para
estudiar las funciones de un evaluador han procedido de los análisis de otras
profesiones. Hendricks (1993) halla acomodo en el deporte para explicar, detrás
de una fachada turbulenta, los comportamientos de los jueces y de un preparador
en patinaje artístico por parejas. En este díptico, los jueces representan al
público y notifican sus discrepancias en las puntuaciones, mientras que un
preparador es narrativo (cuenta y refiere lo sucedido en la actuación del
deportista con la intención de mejorar) y ensayístico (prepara una estrategia
de movimiento deportivo con conocimiento y brinda algo riguroso antes de
ofrecerlo al público). Ambos profesionales constatan el mérito objetivo de una
representación deportiva o de una actuación
profesional.
Se puede disfrutar mucho del
tema literario de la evaluación sugerido por MacNeil (2002) que entiende a un evaluador
como si fuera el sobrecargo de un avión, que es símbolo de compromiso y de bienestar
con el público en un viaje, una persona que cuida un viaje al que debe
responsabilidad y conciencia de riesgo. Los episodios evaluativos que cuenta este
autor tienen el marchamo de un contexto determinado, de una escenografía cultural
tácita para la que crea la figura de evaluador como si fuera un asesor que pone
en el tapete disonancias cognoscitivas para guiar al público en su zona
cultural más próxima. Sin olvidarse de otras funciones asesoras existentes en
el mundo social y educativo, como la figura de preparador, el autor transpone
al evaluador poniéndolo más allá de su función deliberativa de ciudadanos.
La galaxia de figuraciones
evaluativas se incrementa con Morabito (2002) a cada una de las cuales otorga
entidad propia: un evaluador es como un educador, un consultor, un facilitador o
un orientador. En todas estas identidades hay rastros de profesionales que
tienen su mirada puesta en un destinatario para el que crea un ámbito de mito,
de protagonismo absoluto. La realidad de un evaluador se condensa así en la
metrópoli de la discusión focalizada de las
acciones contenidas en las tareas. Por supuesto que la acción profesional
de un evaluador se ha emparejado con las prácticas que en algunos sectores
profesionales realiza un auditor, ese personaje que tiene una vida emocionante
de empeños contables y de observaciones itinerantes de contextos. Cuando el
evaluador es auditor; cuando la evaluación se instituye como un órgano de la
administración, como relatan Gunvaldsen y Karlsen (1999) en la sociedad
noruega, entonces, los modelos, guías y “herramientas” evaluativos otorgados a
una institución pueden comunicar entusiasmo y temor al mismo tiempo.
Posiblemente uno
de los mejores escritores sobre evaluación, que acumula ingentes dosis de
talento en cada uno de sus artículos, es Stufflebeam (2001a). Su valor
pedagógico está más allá de los modelos que sintetiza. Nos ubica en su propio arquetipo
al que nos hace partícipe como un territorio en cuyo trazado no evita ninguno
de los tópicos habituales del género evaluativo, desde los insumos, los
procesos a los resultados. Para cada una de las veintidós aproximaciones
evaluativas acotadas en su artículo podría modular metáforas evaluativas sin
huir de la realidad. Así, en los modelos evaluativos inspirados en las
relaciones públicas, en los estudios controlados políticamente, en la prosa de
los estudios apoyados en objetivos, en la acumulación persistente de resultados
de las aproximaciones orientadas a la responsabilidad, o en la evaluación
basada en la teoría de programas, un evaluador sería una persona de una
convención, un comisionado, un programador, un responsable de pagos, un
psicómetra, respectivamente.
En fin, por debajo
de todas las aproximaciones evaluativas hay posiciones epistemológicas. En cada
una existe la idea de que detrás de una
evaluación educativa subyace la solidez del conocimiento, y de que después de una
práctica insistente en un proceso evaluativo habita la fe en el conocimiento
acumulado, un conocimiento que no es neutral, sino que está más bien influido
por intereses humanos que reflejan poder y sesgo en las relaciones sociales de
una sociedad (Mertens, 1999). En este sentido, algunas pseudoevaluaciones
tienen como finalidad soportar posiciones ideológicas que son injustas, bajo
una apariencia de objetividad.
El desarrollo social y tecnológico ha definido
nuevos parámetros de la realidad que inciden en la construcción de conocimientos
de una organización. En efecto, las diferentes dimensiones organizativas
de una institución pueden sufrir transformaciones a partir de las evaluaciones.
Por ello, Poulin, Harris y Jones (2000) reclaman que un evaluador se erija como
un agente que maneja el presente de los objetivos en un contexto organizativo,
y que está capacitado para hacer que una institución reaccione, absorba y
traduzca los indicadores de éxito y de desarrollo que se producen en los
territorios más avanzados de la investigación científica y tecnológica.
Hasta no hace
mucho tiempo, el icono de la evaluación del estudiante era la evaluación
personalizada. Desde hace pocos unos años, la idea de la evaluación de la
actividad, de la singularidad y de la pluralidad social de un programa se alza con
impulso rápido como una evaluación responsiva, que gira en torno a la calidad
genuina de las respuestas de estudiantes individuales. Mabry (2001), en un estilo dialógico y con una escritura
vigorosa, propone una imaginería tributaria de la analogía y la discusión,
tejiendo una historia con la urdimbre de los dos enfoques evaluativos en la que
se entremezclan la evaluación personalizada y la evaluación responsiva de
programas.
El desafío de una evaluación es dejar de ser una tabla de sólo resultados
para devenir en conocimientos de y sobre la evaluación, como apostilla Turnbull (2002), que retrotrae la evaluación a la
epistemología, hasta convertirla en una encrucijada textual de conocimientos. Según
este autor, el hecho de contar las tramas y la ligazón de los datos en una
evaluación no resulta contiguo de la derivación y comprensión de conocimientos.
Su mensaje no es otro que la proclamación de la acción de un evaluador como
aledaña a la de un urdidor de conocimientos fundados.
Más vale a la
evaluación trocar hallazgos por recomendaciones que estar sin decisiones,
parecieron concluir Iriti, Bickel y Nelson
(2005) tras revisar teorías evaluativas, informes de evaluación y
presentaciones congresuales. Sus conclusiones se circunscriben a un haiku: “Los
barcos en el agua /dejan solo una estela./ Nosotros ¿qué dejamos?”. Los indicios
de una evaluación son rastros que se acumulan como promontorios desde los
cuales se posicionan futuras comparecencias. No es utopía, sino sana sentencia,
que una evaluación eficaz culmina con un superpensamiento comprimido sobre el
valor y mérito de algo.
El viento de una evaluación es la enseñanza. Cuando un evaluador
interacciona con un participante o beneficiario se produce un movimiento de
sístole y diástole en la que siempre está volviendo algo a la mente del
beneficiario como una oportunidad de aprendizaje, una forma de conocimiento
relampagueante por la intensidad de su breve y concentrado resplandor. Monroe,
Fleming, Bowman, Zimmer, Marcinkowski, Washburn y Mitchell (2005) hacen una
lectura parcial de Patton (2002) y narran su propia epopeya de enseñar a articular la teoría
que mueve un programa y la capacidad evaluativa dentro de una organización. La
enseñanza de una evaluación requiere morosidad en el hilado de las
observaciones, apuntes que iluminan puntos cruciales de una interacción, descripciones
hechas con rigor y exactitud de la experiencia de la vida real, estampas
comprensibles de aulas y reuniones que tengan una dicción clara como un mercado
es un espejo de la realidad social de una comunidad.
La sociedad exige una mayor responsabilidad y eficacia en la realización de
programas educativos y sociales. Una mirada cuidada, reflexiva y técnica a la
evaluación es como una contemplación ensimismada de un cuadro hasta comprender
el tema abordado y su precisión técnica, como si la perfección pictórica fuera
el correlato de la objetividad y de la verosimilitud, entendida como eficacia (Villar y Alegre, 2003). La mirada al arte tiene muchas incomodidades por los
géneros que aborda (político, activista, conceptual, etcétera) y las técnicas
usadas con el fin de abstraer conceptos o dotar de verosimilitud y expresividad
las figuraciones. En particular, la música y la pintura toman asuntos tratados
según distintas modas y vanguardias (expresionista, cubista, futurista,
etcétera) para hacer variaciones y alteraciones que muestran la genuina
dislocación o creativa improvisación del artista. Análogamente, Christie y
Azzam (2005) estudian un caso que someten al escrutinio de cuatro
aproximaciones evaluativas para comprobar el carácter objetual y las distorsiones
que se producen cuando los evaluadores dan pinceladas precisas que perforan con
valores propios los contextos culturales; en pocas palabras, las desviaciones en
las inter e intra percepciones de los evaluadores aluden a la dificultad metodológica
existente para homogeneizar juicios de valor sobre las personas o cosas.
Uno de los rasgos más destacados del aseguramiento de la calidad
universitaria y de la visión institucional de los últimos años es la presencia
del modelo de la Fundación Europea para la Gestión de
la Calidad (en inglés, abreviado, EFQM) para la evaluación de titulaciones. En este modelo no normativo basado en nueve criterios de
facilitadores y resultados se reconoce la existencia de muchas aproximaciones
para conseguir la excelencia combinando acciones de facilitación y de resultados
(Jackson, 2001). Entre los postulados de EFQM existe uno que es el carácter binomial de los
evaluadores. En realidad, un par de equipos de analistas (uno para el
autoestudio y otro para la evaluación externa) que construyen el cuadro de una
situación o titulación en la que la reflexión sobre el contexto cultural ocupa
un lugar destacado. En un informe evaluativo de este género se evitan los
adornos del ensayismo académico y con un estilo aligerado de citas se refleja el
ambiente genuino de las aportaciones y de la participación de los miembros de una
comunidad u organización. De esta manera, la figura del evaluador externo se
convierte en una compensación al observar de modo distinto los procesos y
resultados internos de un programa, como ocurre con el Programa de Iniciación
Temprana (Early Head Start – EHS) (Mann, Boss y Randolph, 2007). En definitiva, su rol
profesa como la contraparte argumentativa de un informe.
Real y verdaderamente, la confrontación de opiniones en un proceso evaluativo
es un diálogo de evaluadores y beneficiarios que se inicia con una descripción
de los datos hasta convertirlos en una hipervisualización de los fenómenos. Las
diferencias en las imágenes de los equipos de una evaluación pueden crear
desencuentros y crispaciones, como en la confrontación metafórica sobre ideas y
principios de los partidos políticos (unidad vs. desmembración; conflicto vs.
tranquilidad). A pesar de ello, la actitud persuasiva en la evaluación se
conforma como la buena brújula que orienta la mejora de las necesidades de los
beneficiarios. En fin, el relato de Ray (2006) cobra fuerza por estos dos argumentos
relacionados: la aparente seguridad y confianza en una compañía de evaluación
externa al programa evaluado, al tiempo que el cuestionamiento de la autonomía e
independencia evaluativas de la misma compañía por su proximidad institucional
al programa analizado.
Cuando un evaluador se zambulle en las páginas de una evaluación con el
mismo denuedo que un padre en un programa extraescolar, se concitan muchos de
los arquetipos de una evaluación democrática y participativa y de las tensiones
que afloran entre ambos roles. La lectura de la recreación ficticia de Mathison (2001) es un digesto
de motivos habituales (democracia, comunidad y justicia) entre los partidarios de una evaluación participativa y
poderosamente enriquecida a considerar en el momento presente para la
elucubración y posterior generación de competencias evaluativas.
Las metáforas han permitido crear imágenes sobre las competencias de un
evaluador con estas voces: un ingeniero
social que comprueba la consecución de objetivos, un promotor de programas que actúa como consejero de una comunidad o
un intérprete crítico que interviene
socialmente en procesos de inventariado, clasificación y síntesis de
información, en los que muestra actitudes neutrales, diría escépticas, o con
obligación de extractar hasta el final las esencias de las hechuras y el
espíritu de los contenidos. La metáfora del evaluador como intérprete crítico de Määttä y Rantala (2007) adopta un estilo de
lenguaje en el que la reflexión crítica (responsabilidad) y el grosor
conceptual (intervención comunitaria) aluden al diálogo entre los universos
canónicos de la pintura como lienzo estático y la imagen en movimiento de las
páginas web en sistema flash. El universo azaroso de cualquier
escenario social y educativo advierte de una sintomática preocupación por la
interactividad y de la necesidad de establecer conexiones que representan el
culto a la confrontación, a posicionar a las personas una frente a otra para que
sostengan sus respectivas afirmaciones.
DOS: La
evaluación como proceso y uso.
Una evaluación es un proceso de desciframiento de caracteres ocultos, de
penetración en los enigmas y de desvelamiento de los atributos que guarda la
intimidad de una persona, un objeto o una acción programática. No es casual que
muchos evaluadores aludan a paradigmas, aproximaciones o métodos para hacer una
evaluación. Si anteriormente subrayé las aproximaciones de Stufflebeam (2001a), ahora acoto los modos de
indagación de Mark, Henry y Julnes
(1999), que encierran en cuatro procesos las voluntades de un educador o de un
etnógrafo social: descripción, clasificación, análisis causal e indagación de valores. Esta
exposición de modos conjuntados con los propósitos representa una matriz bajo
la cual se avienen estos autores a lo primigenista, a lo que es originario de
una evaluación: desde la cota de la descripción a la elevada cima de los
valores.
En un escenario social o educativo, un evaluador se pone los trajes de
actor y director de escena, y un beneficiario usa los uniformes de espectador y
actor, con todos los estadios y matizaciones de transición que puedan
recrearse, a la manera de una performance, en la que se mezclan elementos
evaluativos y acciones diversas. Morris
y Jacobs (2000) proponen tres escenarios – consentimiento informado, informe
imparcial y beneficiario implicado - para provocar reacciones entre evaluadores,
ante los cuales respondieron de manera desigual. Los desplazamientos de conducta
ética de los evaluadores en los juegos de rol creados para las tres perspectivas
son significativos. Si las tensiones afloran entre las percepciones éticas de
los evaluadores, se impone, como indicaron estos autores, un diálogo formativo
en la capacidad evaluativa.
La enunciación de esa capacidad de uso ya había
sido manifestada y demandada por Patton (2007) para los cambios en
el aprendizaje y en una organización. La capacidad de uso encierra el aedo de la cultura evaluativa: un canto al
valor del uso, más allá del diseño evaluativo y de la consecución de resultados.
Apoyando esta idea, Harnar y Preskill (2007) subrayan que la capacidad de uso
refuerza las comprensiones compartidas, interviene más profundamente en un
programa, aumenta el compromiso, y desarrolla un programa y la organización. Comprender
las consecuencias de la evaluación, o el uso y utilización de la evaluación
significa, pues, despejar un laberinto evaluativo, cual es el efecto de los
hallazgos o de las consecuencias de una evaluación. Basta con la nómina de
autores aportados por Amo y Cousins (2007) para advertir que los hallazgos de una evaluación
se deben por derecho propio al proceso, como la categoría más influyente
de una evaluación por el conjunto de acciones sucesivas ocurridas en el tiempo que
culminan en un juicio, sentencia o informe.
Con un gran alarde
estilístico en la justificación y revisión de fuentes literarias, Myford y Cline (2001) entreveran la evaluación del
rendimiento de los estudiantes por medio de pruebas con el impacto de las
intervenciones educativas en el aprendizaje estudiantil, que ejemplifican en la
capacidad de uso evaluativo. De esta manera, parece estar en alza la
utilización activa de sistemas de valoración de la actuación de los estudiantes que usan su conocimiento para la
resolución valiosa de problemas de una forma creativa, triunfando el periplo evaluativo
o trayectoria reflexiva hacia el interior y exterior de los sujetos y de la
organización escolar (Tal, Dori y Lazarowitz, 2000).
Las evaluaciones
no permanecen solo en el plano de las ideas, se mezclan con las realidades más
cotidianas y compiten con incidencias y dilemas. El repaso evaluativo que
llevan a cabo King, Nielsen y Colby (2004) resulta
clarificador para comprender las destilaciones de una evaluación vivida con
objeto de conformar una masa de ideas teóricas y la práctica evaluativa de
programas. Como respuesta a un estudio de caso evaluativo, King (2005) escribe
un artículo que cumple con dos de las corrientes dominantes en la literatura evaluativa:
la del gesto personal ante una situación problemática enmarcada a su vez en una
seña culturalista aliada con un proceso histórico. En fin, la trama de una
evaluación es variada y puede servir para múltiples usos como reconoce el
propio Patton (2005), que los sintetiza en
dos aplicaciones: la enseñanza y el entrenamiento.
Las ideas evaluativas de Mertens y Hopson (2006) hay que circunscribirlas en
el pluralismo cultural o en la relativa participación de las minorías en la
evaluación de programas curriculares apoyada institucionalmente. Una
relatividad moral causada porque las minorías no deciden en los nudos humanos,
que son absorbidos por distintos tipos de explotaciones, y que anhelan su
participación en los proyectos evaluativos como una ocasión para sacudir sus
deficiencias (Madison, 2007). No hay invención de argumentos evaluativos en aquellos
autores, pero el desarrollo literario que hacen de la evaluación es importante:
una evaluación que suene con ciencia y armonía se convierte en la masa de aire
que rodea un programa.
La precisión y la maestría de un evaluador están de nuevo dibujados en otro
artículo de King (2007), en el que alude a otra nueva metáfora para retratarse
como un personaje en el restaurante de una novela evaluativa en el que lo
“bueno, barato y rápido” son las premisas de calidad del establecimiento de
restauración, y de su evaluación. Sin ser consciente de ello, este autor ha
aplicado técnicas evaluativas para dar respuesta a personas, ha situado los
asuntos en los ambientes correspondientes y ha inventado argumentos para
mostrar los entresijos de los objetos, programas y personas, encubriendo los
datos con ideas y descubriendo el envés de las tramas que perfilan y potencian
la figuración o la expresión en un cuadro.
Por supuesto, la capacidad específica de uso de una evaluación es valiosa
en sí misma. Aunque algunas personas lo puedan confundir con el genérico proceso
de una evaluación, es cierto que los evaluadores que emplean aproximaciones
participativas, centradas en el usuario, orientadas a promover capacidades y
que dan significado a las acciones porque pretenden aprender de una evaluación,
buscan en los estratos y operaciones de los procesos evaluativos las
identidades de las personas y las asociaciones de elementos que las acotan (Patton, 2007). La confianza como
valor se basa en la credibilidad de un evaluador y de la misma evaluación; un
asenso que se funda en principios morales y en normas de actuación, desde la
recogida de información, el seguimiento de la misma, hasta
el apoyo para su desarrollo y uso futuros (Rallis, Rossman
y Gajda, 2007).
En pocas palabras, el uso de un
proceso evaluativo mantiene el equilibro entre la percepción del instante y la
tensión del tiempo cuyo protagonista es la conciencia; en resumidas cuentas, un
evaluador extrae conocimiento que revisita para interpretar la práctica con su
capacidad de uso.
TRES: A la
búsqueda de competencias de un evaluador.
El credencialismo por
medio de competencias es el triunfo de la forma como sistema evaluativo.
Fascinadas las agencias de evaluación internacionales y nacionales por la
evaluación de personal y de programas a través de listas de control o baremos
de evidencias sometidas a control para la adopción de decisiones sobre la selección,
aprobación o rechazo de candidatos, este procedimiento evaluativo sumativo
representa un punto de inflexión a la hora de juzgar el mérito de personal o de
programas (Altschuld, 1999). Las guías de
evaluación, publicadas, son el contrapunto a la improvisación evaluativa,
también al diálogo con el beneficiario, cuya lucidez y atributos están
registrados en un dossier o carpeta (portfolio)
que alumbran el fondo y la forma de una persona o programa.
La actualidad evaluativa tiene por motivo el uso de competencias, aventadas
desde diversos países y para distintos niveles del sistema educativo. Las
competencias evaluativas son multiformes, y están salpicadas de conocimientos y
actitudes: Las competencias, referidas como el sine qua non de
la actuación de un evaluador de programas (Worthen, 1999), son el conocimiento,
las habilidades, y las disposiciones que los evaluadores necesitan para dirigir
eficazmente las evaluaciones de programas (Ghere, King, Stevahn y Minnema, 2006: 109).
El entrenamiento
en competencias evaluativas insinuado anteriormente ha ratificado el vigor del
concepto, hermético y licuable, de una competencia evaluativa. Las claves del
proceso caótico de la evaluación hay que buscarlas en las aproximaciones o
modelos que vertebran su esqueleto conceptual: la aproximación, cifrable en los
criterios, y las herramientas, resumidas, que muestran la métrica o sistema de
captación de las evidencias. En un universo evaluativo desmitologizado, y
apelando a un entrenamiento ético, Darabi (2002) menciona la
aproximación basada en sistemas para la enseñanza de la evaluación, desde la
cual el autor muestra a estudiantes de grado con la ataraxia de un avezado
profesor una metodología secuenciada para el seguimiento y retroacción de las actividades
estudiantiles.
En otro marco
cultural, los holandeses Edelenbos y Van Buuren (2004) tienen una alta
consideración de la evaluación y de los evaluadores. Citan muchas autoridades en
su artículo, pero, seleccionan una idea – evaluación
de aprendizaje - para expresar una hegemonía discursiva desmitificadora de
la evaluación que, retomando el pulso a los autores de la cuarta generación de
evaluación (Guba y Lincoln, 1989), representa un cambio en los papeles del
evaluador. Es como si autor y lector se pusieran de acuerdo para escribir y
reescribir una novela, o ir pasando el espejo por los acontecimientos parándose
cuando conviene para sintetizarlos. Es un credo evaluativo sencillo que
sostiene el diálogo entre agentes, una conciencia aguda de las personas en
cuyos procesos ven reflejos de la noción positiva y progresista de la
naturaleza humana: La evaluación es
entonces un proceso de ensayo y adaptación, de actuación e interpretación, de
aprendizaje en el trabajo, y de aprender haciendo (Edelenbos y Van Buuren,
2004: 605-606).
La capacidad de
elegir un modelo, aproximación o enfoque evaluativo está presente, también, en
la creencia de Hood (2004), que percibe en
la cultura un símbolo y una señal, además de una actitud de veneración. Es un
predicador de ideas y de textos que son muy importantes y que traslada de su país
(Estados Unidos) a un continente culturalmente distinto (África). Su reconocimiento
evaluativo es acusadamente racional defendiendo la idea de atestiguar la
respuesta ética a los beneficiarios como una idea central de una “buena”
evaluación, por su conciencia moral de respeto a las minorías culturales. Su
deseo es promover una sociedad donde las personas sepan oírse a sí mismas.
Muchos evaluadores han
contado sus vivencias e historias que son como cruces de caminos. La relectura
de la vida evaluativa pasada de Symonette (2004) es una nueva recitación. Como si fuera
en busca de su tiempo pasado, medita sobre los diferentes roles evaluativos que
ha desempeñado, aunque refiera expresamente el de facilitador y consultor de
planificación y evaluación: Construyo la capacidad
cultivando la voluntad así como las habilidades para implicarme en una
evaluación críticamente reflexiva y en actividades de desarrollo de programas a
través de la iluminación de las mismas (Symonette, 2004: 101). En su
autorreflexión relata su peripecia en el camino de aprendizaje del argumento
evaluativo: echándose al coleto evaluaciones de las que no tiene formado un
claro modelo racional, sino una actitud de respeto por la inclusión auténtica y
de compromiso con la respuesta. Su confesión evaluativa sincera saca al autor,
así, del lazareto de los evaluadores sospechosos de parcialidad.
Con el concepto de competencia se ha abierto un nuevo espacio al
conocimiento de las profesiones, a la selección de personal, a la gestión
organizativa, o a la planificación de las titulaciones universitarias (Villa y
Poblete, 2007). La polisemia del término competencia ha creado nuevos asuntos
evaluativos, nuevos interrogantes formativos, inciertas aventuras sobre las
prácticas hasta este momento inexploradas. Un sistema evaluativo basado en
competencias presupone la identificación y aislamiento de los factores que
contribuyen a diferenciar unas competencias exitosas de otras que no lo son. El
deslumbramiento contagioso de las competencias en todos los niveles del sistema
educativo está perturbando el conocimiento disciplinar con variopintas
publicaciones, surgidas al albur de anhelos de eficacia personal u organizativa.
Las competencias son un rito a la
actuación, al paso, a la puerta que muestra el mapa de conocimiento trazado
previamente, como una orografía de relieves desvelados. En un estudio, Levenson,
Van der Stede y Cohen (2006) hallan que las competencias se relacionan positivamente
con la actuación individual y que el asesoramiento o mentoría ayuda a aumentarlas.
De nuevo, además de evaluador, un profesional debe ser mentor.
CUATRO: Discusión
y análisis de las dimensiones y competencias evaluativas.
Una lista de
control es una herramienta que se utiliza para comprobar un asunto. Las listas
de control son el esqueleto de un modelo o sistema evaluativo. La conciencia de
la aproximación evaluativa se mantiene suspendida en las declaraciones de una
lista de control. Con ella me imagino una acción, una persona, una situación.
El localizador [http://www.wmich.edu/evalctr/checklists/] ofrece una antología
de listas de control fundamentales. Es un sitio web imprescindible para el evaluador, porque contiene una profunda
síntesis de los sistemas evaluativos más famosos, desde la Lista Clave para la Evaluación de Scriven, la Lista de Control de Evaluación Cualitativa de Patton, la Lista de Control de Evaluación Democrática
Deliberativa de House y Howe, la Lista
de Control de Evaluación Constructivista de Guba y Lincoln o la lista de
control sobre el modelo CIPP (Contexto, Insumo, Proceso y Producto) de
Stufflebeam (2001b).
Las listas de
control evaluativas son esquemáticas. El ideal de cada pregunta de una lista
de control se refiere a un problema de importancia y con ella propone una buena
práctica. Cuida de la representación de acciones, que sintetiza en tablas, capaces
de crear el ámbito de la naturaleza que representa. Cada una de las listas de
control, como espacio evaluativo cercado, supone entrar en el tiempo de los
criterios y actividades con las que limita un evaluador antes de juzgar el mérito
de un objeto, de individuos o grupos de personas, incluida la evaluación como
un objeto en sí misma considerada. La construcción de la capacidad evaluativa
es la razón de ser de otras listas de control, como la propuesta por Volkov y
King para la evaluación de organizaciones, que contiene ocho capacidades que
son garantías de calidad (King, 2007). De otra parte, la American
Evaluation Association (AEA) ha refrendado
y editado los principios orientativos de una evaluación que son patrones para
vestir a un evaluador con un traje ajustado al talle de la práctica
profesional. La Tabla 1 sintetiza los cinco principios orientadores para los
evaluadores, desarrollados en 25 declaraciones que proyectan las capacidades o
sutilezas de la realidad evaluativa de la AEA.
A. Indagación
sistemática. Los
evaluadores dirigen indagaciones sistemáticas, basadas en datos.
B. Competencia. Los evaluadores ofrecen una
actuación competente a los beneficiarios.
C. Integridad / honradez. Los evaluadores despliegan
honradez e integridad en su propia conducta, e intentan asegurar la honradez
e integridad del proceso completo de evaluación.
D. Respeto
a las personas. Los evaluadores respetan la seguridad, dignidad y
autovalor de los respondientes, participantes del programa, clientes, y otros
beneficiarios.
E. Responsabilidades
para el Bienestar General y Público. Los evaluadores articulan y consideran la diversidad de
intereses y valores generales y públicos que se pueden relacionar con la
evaluación.
|
En un tono
distinto, King, Stevahn, Ghere y Minnema
(2001) discuten los hallazgos obtenidos en un estudio exploratorio para conocer
cuáles son las competencias de profesionales de evaluación en función de distintas
características demográficas y atributos culturales. En aras de la realidad, y
siguiendo procedimientos estadísticos de reducción de la información de 31
profesionales del campo de la evaluación de programas, estos autores proponen
una taxonomía de competencias esenciales de un evaluador, ajustada y reducida
en la Tabla 2, que no es más que el deseo de buscar un compendio en el que
encerrar la realidad objetiva de un profesional de la evaluación.
Tabla 2. Competencias esenciales de un evaluador
I. Indagación
sistémica
|
IA1. Enmarcar
preguntas de investigación
IA2. Diseño
de investigación
IA3. Medición
IA4. Métodos
de investigación (cuantitativos, cualitativos, y mixtos)
IB. Capaz
de hacer las actividades orientadas a la evaluación
IB1. Teoría de la evaluación, modelos, y supuestos
filosóficos subyacentes
IB2. Evaluación
de necesidades
IB3. Enmarcar
preguntas de evaluación
IB4. Diseño
de evaluación
IB5. Procesos
de evaluación
|
II. Práctica evaluativa competente
|
IIA. Capaz
de servir las necesidades de información de usuarios intencionales
IIB. Capaz
de hacer análisis situacionales
IIB1. Conocer
el desarrollo organizativo, el cambio y la política
IIB2. Capaz
de analizar el contexto político de una organización
IIB3. Respetar
la singularidad del sitio de evaluación y del cliente
IIB4. Abierto
a las aportaciones de los demás
IIB5. Capaz
de adaptarse / cambiar un estudio cuando sea necesario
IIC. Capaz
de organizar y manejar proyectos de la evaluación
IIC1. Capaz
de responder a la demanda de una propuesta
IIC2. Capaz
de escribir acuerdos formales
IIC3. Capaz
de presupuestar una evaluación
IIC4. Capaz
de acceder a los recursos necesitados (ej., información, personal,
instrumentos)
IIC5. Capaz
de supervisar a los demás
IIC6. Capaz
de entrenar a otros
IIC8. Capaz
de completar el trabajo de una manera oportuna
|
III. Destrezas generales para la práctica evaluativa
|
IIIA. Habilidades
lógicas y críticas de pensamiento
IIIB. Habilidades
de comunicación escrita
IIIC. Habilidades
verbales de comunicación
IIID. Competencia
interpersonal
IIID1. Habilidades
de negociación
IIID3. Habilidades
de facilitación de grupo
IIID4. Habilidades
de proceso de grupo
IIID5. Habilidades
de trabajo en grupo / colaboración
|
IV. Profesionalismo evaluativo
|
IVB. Conducta
ética
IVB1. Asegurar
la honradez e integridad de la evaluación
IVB2. Capaz de llevar su aproximación evaluativa y
habilidades a clientes potenciales
IVB3. Respetar la seguridad, dignidad, y autovalor
de los respondientes, programa, participantes, clientes, y otros
beneficiarios
IVC. Conocer normas profesionales (ej., Normas del
Comité Conjunto y Principios Orientadores de la AEA)
IVD. Aplicar
normas profesionales
IVE. Conocer
el desarrollo profesional
IVE1. Ser
consciente de las necesidades de desarrollo profesional
IVE4. Actualizar el conocimiento personal en el
campo de la evaluación (ej., talleres, conferencias, revistas)
|
Stevahn, King, Ghere y Minnema (2005: 52) revisan posteriormente la propuesta de competencias en una nueva tabla compuesta por seis categorías: (a) práctica profesional,
(b) indagación sistemática, (c) análisis situacional, (d) gestión de proyectos,
(e) práctica reflexiva, y (f) competencia interpersonal. Las nuevas paletadas
de competencias evaluativas clasificadas representan una percepción taladrante
de la investigación y de la propia formación evaluativa. Así, con la dimensión
práctica reflexiva dan alas al autoconocimiento
del evaluador, la valoración de las necesidades personales para mejorar la
práctica y la implicación en el desarrollo profesional hacia esa meta.
Hay evaluadores
que encarnan el espíritu viajero. Para algunos profesionales, la realización de
una evaluación es la doble consecuencia de tener vocación y de sentir una necesidad.
Habiendo recorrido muchos proyectos de evaluación de programas; habiendo
percibido que los distintos momentos de un proceso remueven el pensamiento,
como a un músico las notas de un pentagrama lo sacuden con sensaciones fuertes,
King (2005: 96) se centra en la descripción
del conocimiento de contenido de un programa y en el conocimiento evaluativo
del contenido de un programa: En lugar de
desarrollar un plan de evaluación en un sentido tradicional, he presentado una
lista de actividades en esta sección que fomenta una cultura evaluativa:
creando un grupo de asesoramiento evaluativo, empezando a construir una infraestructura
evaluativa formal, justificando las puntuaciones de pruebas, dirigiendo una investigación
participativa muy visible, e instituyendo actividades de investigación acción.
La visión nítida y detallada de King (2007) sobre la construcción de
la capacidad evaluativa (en inglés, ECB) es como un susurro que templa el
conocimiento y las destrezas evaluativas como una estrategia de mejora de la
representación, un metaconcepto que en su áspero y grave momento, se hace
uso, roce, un acto de entrega creándolo. Sus sugerencias sobre la viabilidad de
la ECB para evaluar una acción, aluden igualmente al rol y a las actividades de
un evaluador para facilitar el uso de un proceso. La identificación de las
variables que afectan el uso evaluativo es como para un músico sumergirse en
temas operísticos, desgranarlos, hacer variaciones virtuosísticas con ellos y
recrearse en ellos. Las variables a considerar en la ECB dependen del modelo
evaluativo. En el caso del modelo CIPP de Stufflebeam (2001b) es una
madeja donde el evaluador cobra su ser en el pretil del Contexto, por ejemplo,
observando cómo uno se compromete con la generación de nueva información y allí
uno sale renovado de las bases de datos que por oleadas hacen la información
imperecedera.
Saunders y Heflinger (2004) refieren que las consultas y la integración informativa
de bases de datos son un síntoma de objetividad evaluativa. Si la búsqueda de
la infraestructura que apoya un proceso evaluativo es una actividad del
componente Entradas del modelo CIPP,
la identificación de esa potencialidad no le es ajena a un evaluador, en un presente
donde la población o los grupos de beneficiarios entretejen distancias y
parecen inalcanzables. Internet desborda el horizonte y va abriendo como la luz
nuevas fronteras. La documentación de los recursos evaluativos existentes es otra posible
actividad a considerar para desarrollar la ECB en el componente Proceso del
modelo CIPP. La evaluación del
aprendizaje de los estudiantes a través de herramientas de Internet está sembrando
incertidumbres y sospechas porque las nuevas experiencias hacen conmover los
principios de la comunicación continua. Rocco (2007) sintetiza
procedimientos evaluativos para la evaluación de los estudiantes a través de
Internet. Los consejos de este autor para generar instrucciones impresas en un
examen (rubrics) son breves, lejos de torrentes que hacen mover ruedas
de molino, porque desgrana las herramientas en Internet en un reposo viviente.
El secreto de la tersura de
la evaluación en línea hay que buscarlo en la limpidez del recuerdo. Los
cuestionarios en línea ofrecen oportunidades – procesamiento de la información
archivada - para los evaluadores, al tiempo que limitaciones – fenomenografía o
variaciones formales en los aprendizajes que experimentan las personas en los
distintos contextos -. Respecto a los sondeos de opinión en línea, Ritter y Sue
(2007a,b,c,d,e,f,g,h) compendian en un volumen de la revista New Directions for Evaluation cómo se
planifica un cuestionario web, se seleccionan
estrategias de muestreo, se recopila la información por medio de preguntas
hábilmente formuladas y de representaciones gráficas que posibilitan la
accesibilidad y usabilidad de los cuestionarios, se reclutan destinatarios valiéndose
de correos electrónicos, se analiza la información expresando estadísticas que
se exportan a otras aplicaciones informáticas para la transformación de datos, se
informa y se aplica la herramienta. La evaluación en línea no vela una destreza
evaluativa sino que desvela una amplia y prosaica competencia evaluativa al
convertir a Internet en un elemento referente poco tenido en cuenta por la
complejidad del lenguaje tecnológico para hipercodificar una evaluación.
CINCO: Competencias
de un evaluador y su desarrollo profesional.
Como ha llegado la
novela celular a la vida cotidiana, la evaluación de programas, centros y
profesores y su metodología ha entrado en los planes de estudio de las
titulaciones de formación de profesionales de la educación. La evaluación de
programas y la autoevaluación personal por los efectos del credencialismo,
también, ha dado auge a examinar la calidad de los programas formativos
universitarios y de la formación permanente del profesorado universitario. Con
una inagotable capacidad de abducir funciones de evaluaciones de otros
servicios, Stiggins (1999) no solo sondea qué estados de Norteamérica utilizan
competencias evaluativas en la formación inicial del profesorado, que suma en
un listado de 15 estados; además, sintetiza en breve prosa las siete
competencias que representan un compendio del buen hacer de un evaluador: (1) conectar las evaluaciones con propósitos
claros; (2) clarificar las expectativas de rendimiento; (3) aplicar métodos apropiados
de evaluación; (4) desarrollar ejercicios y puntuaciones evaluativas de
calidad, criterios y muestreos apropiados; (5) evitar el sesgo en la
evaluación; (6) comunicar eficazmente el rendimiento del estudiante, y (7) utilizar
la evaluación como una intervención instructiva.
La llegada de la era electrónica significa el entrenamiento de los
usuarios en la decodificación de los nuevos mensajes. La nueva forma de
entender las materias de las titulaciones basadas en conocimientos y
competencias (CyC) entiende la epistolaridad de las guías de titulación bajo la
apariencia de perfiles inscritos en módulos de contenidos programáticos con un
sistema de créditos que tiene como ejes: tiempo de esfuerzo estudiantil y
espacio de presencialidad o virtualidad. Villar, De
Vicente y Alegre (2005) escriben competencias para la mutante titulación de
Pedagogía, adaptando a materias la mímesis de competencias básicas del Proyecto
Tuning que es signo de esta época. Dentro de las materias del plan de estudios,
vinculan la asignatura titulada Evaluación
de programas de formación permanente a la tendencia de la programación
mediante competencias: por un lado, adaptan algunas competencias genéricas de titulación,
y por el otro, se apropian de competencias evaluativas que son la textura de algunos
modelos evaluativos citados anteriormente (Stufflebeam, 2001b).
Recuérdese que
tras las recomendaciones formativas se encuentra una especie de poética
evaluativa postmoderna de hipertexto, en la que se ofrecen deconstrucciones de
aproximaciones evaluativas y la creación de herramientas que por las nuevas
tecnologías llegan incluso a las pantallas de videoconsolas o móviles de
usuarios. Las organizaciones que prestan variados servicios a los clientes
demandan agilidad en la gestión e incremento en la participación de los
beneficiarios para dar una retroacción formativa. En una síntesis, Barnette y Wallis (2003: 60) combinan la inclusión educativa como
apuesta científica con la evaluación de programas, urgiendo a los administradores
de las titulaciones universitarias a seleccionar pertinentemente a los
evaluadores: Hay una necesidad de identificar
los atributos y características de los evaluadores que pueden ser participantes
significativos en la evaluación de la inclusión, y se les debe utilizar para la
admisión de estudiantes universitarios en programas de evaluación formal.
Las competencias
de una materia o titulación no deben ser el frío de las entrañas de una
programación. Son las pavesas que combustionan durante el periodo de formación
inicial para dar calor y músculo a un programa formativo. Ghere, King, Stevahn y Minnema (2006) describen
una unidad de formación permanente que actualiza a los docentes en competencias
esenciales de evaluadores de programas, y que las utilizan para reflexionar
sobre su propia práctica. Los autores resumen en sus conclusiones los asuntos
que galvanizan un buen programa de desarrollo profesional, enardeciendo a los
educadores a que adapten los procesos evaluativos a cursos de grado en la enseñanza
universitaria o de desarrollo profesional docente.
PARTE DOS: VALIDACIÓN DE COMPETENCIAS DE EVALUACIÓN DE TITULACIONES
UNIVERSITARIAS
SEIS: Investigación evaluativa
fundamentante.
Villar y Alegre (2004) dan fuerza
o firmeza a competencias evaluativas de titulaciones para profesores
universitarios con objeto de hacerlas válidas. Es un manual planteado en nueve
capítulos en el que señalan qué es y cómo se evalúa un programa formativo y
cómo se hace experto un profesor universitario a través de 24 competencias
entendidas como indicadores de calidad, que revisados posteriormente reducen a 12
competencias (Villar y Alegre, 2006a). Las obras presentan las competencias
evaluativas básicas como el punto de arranque para forjar un profesor evaluador
que desempeñe a voluntad y en el sistema universitario los papeles de evaluador
interno o externo (Tabla 3).
Ambos libros se asientan en el
terreno de la teoría y constituyen la base formativa para indicar el
funcionamiento de las competencias evaluativas propuestas por dichos autores en
escenarios formativos.
Tabla 3. Competencias evaluativas en libros
formativos
Villar, L. M. y Alegre, O. Mª (2004). Manual para la excelencia en la enseñanza superior. Madrid:
McGraw-Hill.
|
Villar, L. M. y
Alegre, O. Mª (2006a). Competencias
para la formación de evaluadores. Málaga: Aljibe.
|
1. ¿Cómo se redactan los objetivos de un programa
formativo?
2. ¿Cómo se implanta la coherencia con los objetivos de
un programa formativo?
3. ¿Cómo se establece la flexibilidad curricular con
los objetivos de un programa formativo?
4. ¿Cómo se hace factible y se instituye la
actualización curricular de un plan de estudios en un programa formativo?
5. ¿Cómo se planifica la mejora continua?
6. ¿Cómo se redactan los principios y políticas para la
gestión de la enseñanza?
7. ¿Cómo se establece una comunicación eficaz?
8. ¿Cómo se organiza y revisa la enseñanza?
9. ¿Cómo se forma pedagógicamente al personal
académico?
10. ¿Cómo se implica al personal académico en
actividades de investigación, desarrollo e innovación?
11. ¿Cómo se valora la docencia del personal académico?
12. ¿Cómo se involucra al personal auxiliar y de
servicios en un programa formativo?
13. ¿Cómo se adecuan las instalaciones e
infraestructuras al proceso formativo?
14. ¿Cómo se acomodan la Biblioteca y los fondos
documentales al proceso formativo?
15. ¿Cómo se adaptan los medios y recursos a un
programa formativo?
16. ¿Cómo se usa Internet en un programa formativo?
17. ¿Cómo se fomentan competencias estudiantiles en el
proceso de enseñanza-aprendizaje?
18. ¿Cómo es la metodología de enseñanza-aprendizaje?
19. ¿Cómo es la metodología de evaluación?
20. ¿Cómo se supervisan las prácticas externas del
proceso formativo?
21. ¿Cómo se orienta y motiva al estudiante en una
tutoría del proceso formativo?
22. ¿Cómo se mide la satisfacción del alumno en un
proceso formativo?
23. ¿Cómo se hace el seguimiento de la inserción laboral
de un alumno egresado?
24. ¿Cómo se determina la satisfacción de los
empleadores y demás grupos sociales de un proceso formativo?
|
1. Analizar los objetivos de un programa
formativo.
2. Estimar la flexibilidad curricular de
un programa formativo.
3. Apreciar la planificación de la mejora
continua de un programa formativo.
4. Juzgar la comunicación de un programa
formativo.
5. Reconocer el valor de la investigación,
desarrollo e innovación del personal académico.
6. Valorar el personal académico.
7. Computar las instalaciones e
infraestructuras de bibliotecas y fondos documentales.
8. Medir los recursos curriculares y
equipamientos de un programa formativo.
9. Examinar las competencias para la
formación integral del alumno.
10. Comparar las metodologías de
enseñanza-aprendizaje.
11. Comprobar el mérito de programas de
apoyo y orientación al alumno.
12. Calcular el valor de la satisfacción
del alumno.
|
La sinopsis de las competencias
evaluativas de ambos libros, inspirada en el modelo EFQM, como la guía de
evaluación de la ANECA, está aderezada por el ensayismo y la experiencia. Las obras
mueven el concepto de evaluación en la dirección de la docencia como pieza
básica para comprender el trabajo académico del profesor, sin omitir otros
empeños de creación intelectual donde el docente realiza investigación o
innovación, y donde la invención, el descubrimiento, la percepción y la
perspicacia son experiencias profesionales que denotan un pensamiento apasionado.
En
otro libro, Alegre y Villar (2006), y en distintos artículos (por ejemplo, Alegre y
Villar (2007a, b) y Villar y Alegre (2006b,
2007), los autores hacen un recorrido bilingüe de ejemplos evaluativos propios. Sustentan con esas publicaciones una línea de investigación que
resume prolijos informes o memorias de programas de desarrollo profesional
docente entregados a universidades e instituciones que los han sustentado: Dirección General de
Universidades e Investigación y Agencia Canaria de Evaluación y Acreditación de
la Calidad Universitaria del Gobierno de Canarias, Universidades de La Laguna,
Las Palmas de Gran Canaria, Sevilla, Jaén, Alicante y Burgos.
Estas fuentes constituyen el terreno observacional. Son
el escenario al que traslado ideas, programas, tratamientos, medidas y
observaciones.
SIETE: Validación
de la investigación de aprendizaje de competencias evaluativas.
Si se extiende hasta sus límites, cabe conjeturar
que la investigación evaluativa sobre competencias tiene una apariencia de tránsito
hacia la validez. El artículo de Brandon (1998: 326) ancla la validez de la evaluación en el establecimiento de
inferencias apropiadas afirmadas a partir de los datos recogidos e informados
en las evaluaciones. Discierne Scriven (1991: 372-373) en su diccionario
la validez con cierta retórica: Son evaluaciones
válidas aquellas que consideran todos los factores relevantes, dado el contexto
global de la evaluación (que incluye particularmente las necesidades de los
clientes) y determinan apropiadamente su peso en el proceso de síntesis. De
esa estampa teórica selecciono los sucesos de la detección de las necesidades,
porque ritman con la vida de los protagonistas evaluados. La andadura intelectual de Ryan (2002) ayuda, asimismo, a organizar la aproximación procesual a
la indagación sobre la validez evaluativa. Los resortes de su modelo de validez tienen tres vértices: seis criterios
de validez (aspectos de contenidos, aspectos sustantivos, aspectos estructurales,
aspectos externos, aspectos de generabilidad, y aspectos de consecuencias);
cuatro estadios de madurez evaluativa (conceptualización, diseño, implantación
y operativo), y cinco grupos de beneficiarios (profesores, padres y
estudiantes, equipos directivos, administradores, e iluminadores). Con este
telón de fondo irradia su pensamiento, y en su decurso ayuda a descifrar la
firma de una evaluación. En otro artículo sobre formación en línea, Connolly, Jones y O’shea (2005:
65) anuncian los episodios de validez por los que pasa su estudio para asegurar
la calidad: coherencia en la estructura del curso, calidad de los materiales
subidos a la red, evaluación de los materiales subidos a la red por los estudiantes,
y hacer ajustes cuando sea necesario. Estas
notas sobre la calidad han tenido su presencia en los cursos en línea sobre desarrollo
profesional docente en competencias evaluativas que reseño más adelante
revelándose igualmente la fidelidad de las acciones formativas con el principio
de validez lógica.
Uno: Beneficiarios. La Agencia Canaria de
Evaluación de la Calidad y Acreditación Universitaria (ACECAU) está formalmente reconocida con
responsabilidades para el aseguramiento de la calidad externa de las dos
universidades canarias: La Laguna y Las Palmas de Gran Canaria. Argumento que
los beneficiarios – personal universitario y miembros de la administración
educativa - tienen un papel activo en los procesos de aseguramiento de la
calidad, y deben participar en procesos evaluativos: desde el diseño de
indicadores de calidad o competencias, a la interpretación de datos evaluativos
y su posterior utilización de la información evaluativa. Marcadamente
evaluativa es también la atmósfera que se respira en la institución
universitaria. La intensidad climática se desprende de la evaluación de
titulaciones. De ese tronco evaluativo se derivan dos esquejes que pesan en la
realidad de la reforma universitaria: la eclosión de comités de autoestudio
compuestos por miembros representativos de la comunidad universitaria, y la
fuerza aparente de comités de evaluación externa, sobre todo por los informes
evaluativos emitidos. El entrenamiento en competencias evaluativas de este
fresco social es una necesidad. Como dice Holroyd (2000: 42): Si el nuevo profesionalismo de los
académicos se debe centrar en su rol como educadores, entonces ese rol tiene
que retener como un punto central la evaluación.
El primer estudio realizado en
formación de competencias, que marca una línea de indagación, y que asegura una
cala en el modelo EFQM, consta de una muestra de 21 miembros funcionarios y
contratados. Todos son voluntarios y reúnen los siguientes criterios: (a)
campus universitario o ACECAU, (b) campo científico, y (c) méritos
profesionales. De los 21 participantes, 7 (33.3%) son hombres y 14 (66.7%)
mujeres. Cuatro participantes son menores de 24 años (19%). Tres participantes tienen entre 25 y 29 años (14.3%). Las
edades de seis participantes oscilan entre 30 y 34 años (28.6%). La horquilla
de cuatro participantes (19%)
entre 35 y 39 años, y en dos casos, entre las edades de 45 y 49 años (9.5%)
(Alegre y Villar, 2007a).
Dos: Necesidades evaluativas de los profesores. Si comienzo este apartado con el testimonio elocuente de Pololi, Dennis, Winn y Mitchell (2003: 22) - Las evaluaciones de necesidades adoptan a menudo la forma de
cuestionarios - es por refrendar el sentido ético
de responsabilidad del Modelo de Excelencia de Programas Formativos en Línea (MEPFEL) (Alegre y Villar,
2007a). En efecto, todos los participantes consideran muy necesario el
desarrollo profesional en competencias evaluativas. El porcentaje más alto
(90.5%) indica que los participantes piensan que la competencia ¿Cómo se valora la docencia del personal
académico? es muy relevante para
sus intereses y necesidades. Los participantes igualmente reflexionan como muy
importantes otras competencias. No obstante, perciben solo la competencia 12: ¿Cómo se mide la satisfacción del alumno en
un proceso formativo? de alguna necesidad para su formación. Nueve
participantes (42.9%) indican
que la preparación en un programa de evaluación de programas es baja (Figura 1).
Tres: Conceptualización. Cada competencia es una lección de MEPFEL, concebida bajo una
aproximación constructivista de cuatro fases - análisis funcional, aprendizaje
experiencial, reflexión como meditación, y construcción de compromiso - inspirada
en el aprendizaje experiencial de Kolb (1984) y en cuantos autores han seguido
modelos cíclicos de reflexión (Schön y Smyth, entre otros, citados en Villar,
1995) (Figura 2).
Figura
2. Ciclo de aprendizaje de una competencia en MEPFEL
Cada competencia tiene la misma modulación intratextual: en ella
se ofrecen teorías pedagógicas, estudios de caso, propuestas de tareas, y un
abanico de recursos para que un participante retorne a su conciencia y construya
su propio continuo evaluativo. Cada competencia evaluativa deambula por su
modelo correspondiente, con más o menos grosor conceptual y la redentora
curiosidad de resolver el misterio de la acción, como esa obra teatral que
contiene tempos del adentro y del afuera en una visión unitaria del destino.
Cuatro:
Aspectos Sustantivos. Implica la evidencia que
apoya los análisis teóricos y empíricos de los procesos, estrategias, y
conocimientos propuestos para responder a la representación de la evaluación. El prototipo MEPFL es una adaptación del modelo EFQM, una raíz de
la que provienen los criterios evaluativos. Dicen Modarresi, Newman y Abolafia
(2001: 10): Hay una obvia necesidad de
fundamentos teóricos cuando se estudia la profesión de evaluación de programas.
Este estudio usa modelos teóricos de las profesiones para guiar el desarrollo de
medidas. MEPFL pone su énfasis en cómo profesores y otros participantes aprenden
y practican competencias evaluativas de una titulación o programa formativo. La meta específica de MEPFL se
declara en los siguientes términos: evaluar si los profesores y participantes
implicados en MEPFL aprenden las competencias evaluativos a aplicar en un
programa formativo.
Cinco: Aspectos de
Contenidos. MEPFL incluye como evidencia de validez la relevancia de sus contenidos y de su
representatividad del modelo EFQM (Tabla 4).
Tabla 4. Criterios y competencias
de MEPFL
Criterio I. Programa formativo
·
Competencia
1: ¿Cómo se redactan los objetivos de un programa formativo?
·
Competencia
2: ¿Cómo se establecer la flexibilidad
curricular con los objetivos del programa formativo?
Criterio II. Organización de la Enseñanza
·
Competencia
3: ¿Cómo se planifica la mejora
continua?
·
Competencia
4: ¿Cómo se establece una comunicación
eficaz?
Criterio III. Recursos Humanos
·
Competencia
5: ¿Cómo se implica al personal
académico en actividades de investigación, desarrollo e innovación?
·
Competencia
6: ¿Cómo se valora la docencia del personal académico?
Criterio IV. Recursos
Materiales
·
Competencia
7: ¿Cómo se acomodan la Biblioteca y
los fondos documentales al proceso formativo?
·
Competencia
8: ¿Cómo se adaptan los medios y
recursos al programa formativo?
Criterio V. Proceso
Formativo
·
Competencia
9: ¿Cómo se fomentan competencias
estudiantiles en el proceso de enseñanza-aprendizaje?
·
Competencia
10: ¿Cómo es la metodología de
enseñanza-aprendizaje?
·
Competencia
11: ¿Cómo se orienta y motiva al estudiante en una tutoría del proceso formativo?
Criterio VI. Resultados
·
Competencia
12. ¿Cómo se mide la satisfacción del
alumno en un proceso formativo?
También son seis las categorías principales de las cuales penden las
competencias esenciales de un evaluador para Ghere, King, Stevahn y Minnema
(2006: 110): práctica profesional, indagación sistemática, análisis
situacional, gestión de proyectos, práctica reflexiva y competencia
interpersonal, manteniendo la congruencia con las registradas en un artículo
anterior, referido previamente (Stevahn, King, Ghere y Minnema (2005: 52). La
novedad de la propuesta de aquellos autores es que someten a entrenamiento la reflexión
sobre la práctica evaluativa en un seminario de dos horas, compuesto por las
siguientes fases: (a) bienvenida, (b) apreciación global de las
competencias,
(c) aplicación
de las competencias a un estudio de caso, (d) mapa conceptual de competencias, (e) autoevaluación y planificación del desarrollo
profesional, y (f) conclusión (Ghere, King, Stevahn y Minnema, 2006: 112). Es una
propuesta de entrenamiento de fragmentación irregular, un tanto heterogénea,
que evade la práctica de la evaluación como un aprendizaje de lenta absorción.
Seis: Aspectos Estructurales. MEPFL tiene piezas inquietantes para los participantes – tests de conocimientos
sobre las capacidades – que reflejan el atributo de la validez al mostrar cómo estos
y otras estructuras evaluativas se alinean con el dominio de las competencias. Los
eslabones evaluativos se desgranan en tres direcciones: (a) desenredado las necesidades de evaluación de los
docentes por medio de un cuestionario, a la manera en que Ballantyne, Borthwick y Packer (2000)
diseñaron herramientas evaluativas para medir las percepciones de profesores y
estudiantes acerca de la necesidad de desarrollo profesional y de mejora de un
curso; (b)
estrujando la estructura formal de la formación en línea por medio del
cuestionario Calidad de MEPFEL, aplicado a cada competencia; por tanto, empleando doce cuestionarios de opiniones sobre
capacidades para capturar el cambio potencial en las actitudes de los
participantes (por ejemplo, ‘El
Indicador es relevante para la formación de un Evaluador’), y (c)
apretando el aprendizaje del participante con un cuestionario de Autoevaluación de las competencias, a
través de doce pruebas de respuesta
múltiple, hechas por los investigadores.
Siete:
Implantación. Las competencias evaluativas de MEPFL
localizadas en la plataforma moodle de enseñanza en línea – [http://gid.us.es:8083] – contiene una ficción
verdadera por verosímil de una evaluación de un
programa formativo a la manera de un aprendizaje en línea apodíctico: caracterización
de los participantes como aprendices adultos, resultados de aprendizaje con
retroacción formativa inmediata, ambiente dialógico, y factores institucionales
de apoyo (Tallent-Runnels et al.,
2006).
La formación evaluativa en línea del
personal universitario y de las agencias implica la ejecución de elocuentes simulaciones
evaluativas o la representación de acciones en el mundo real para transmitir certezas
sobre los criterios que son el vector esencial de la cosmovisión de un programa
formativo; una visión genuina de la misma que tienen los docentes, cuyas
interpretaciones se declaran y adhieren en dos foros asíncronos titulados: Evaluación institucional de titulaciones o
servicios y Autoevaluación de un
programa formativo. Las competencias se aprenden por medio de la retroacción
formativa, cuyo fin es el incremento del
conocimiento, las destrezas y la comprensión de cualquier área de contenido
(Shute, 2008: 156). La verificación de las respuestas de las pruebas de elección
múltiple se hace automáticamente. Los mensajes de respuesta a las 1.654
actividades (Tabla 3) fueron específicos y dados en tiempo (la inmediatez fue
la característica principal del tiempo en la retroacción).
Tabla 3.
Frecuencia de actividades de aprendizaje de MEPFEL
_____________________________________________________________________________________
A1
|
A2
|
A3
|
A4
|
A5
|
A6
|
T/P/E
|
TOTAL
|
|
Competencia 1
|
22
|
21
|
6
|
19
|
7
|
7
|
20
|
162
|
Competencia 2
|
20
|
19
|
20
|
6
|
7
|
7
|
17
|
156
|
Competencia 3
|
20
|
18
|
15
|
7
|
5
|
8
|
17
|
147
|
Competencia 4
|
6
|
6
|
16
|
6
|
19
|
18
|
15
|
143
|
Competencia 5
|
17
|
6
|
7
|
17
|
15
|
7
|
14
|
135
|
Competencia 6
|
8
|
15
|
6
|
6
|
17
|
16
|
15
|
130
|
Competencia 7
|
17
|
14
|
17
|
7
|
6
|
6
|
17
|
135
|
Competencia 8
|
17
|
17
|
17
|
5
|
5
|
6
|
17
|
136
|
Competencia 9
|
12
|
15
|
6
|
15
|
6
|
7
|
11
|
124
|
Competencia 10
|
17
|
6
|
16
|
5
|
5
|
16
|
16
|
132
|
Competencia 11
|
17
|
17
|
17
|
6
|
6
|
5
|
17
|
136
|
Competencia 12
|
16
|
6
|
16
|
7
|
4
|
14
|
15
|
127
|
TOTAL
|
1.654
|
|||||||
Ocho: Aspectos de consecuencias. La verosimilitud en la
validez de las competencias evaluativas de MEPFEL alude a las consecuencias intencionales e
imprevistas del uso de la evaluación. Los informes personalizados a los
profesores adoptan el protocolo de suplementos de titulación y los informes
evaluativos presentados ante los beneficiarios de la administración
universitaria o política acogen consideraciones y juicios rigurosos. La salud
del programa de competencias evaluativas de MEPFEL es correcta, dando satisfacción a otros beneficiarios. Las dos
ediciones del título de Experto Universitario en Evaluación de la Calidad en la Enseñanza
Superior desarrolladas en la Universidad de Las Palmas de Gran Canaria mantienen
esencialmente las competencias evaluativas con una extensión de 20 créditos
ECTS para una población de 40 profesores. La evaluación de necesidades de
aprendizaje de las competencias muestra que un docente no puede sustraerse a
ellas, y que esa necesidad se incrementa después de realizar el curso, es
decir, cuando el profesorado especula sobre ellas y las comprende (Alegre y Villar, 2007c).
No es vano declarar a este MEPFEL como un curso de competencias evaluativas que no pasa en
silencio.
Reconocimientos
Gracias
a Olga Mª Alegre de la Rosa por sus contribuciones reflexivas en las
deliberaciones mantenidas sobre las ideas y las experiencias formativas
contenidas en esta ponencia.
Referencias
Alegre, O. M.
y Villar, L. M. (2006). Evaluación de
la formación en línea del profesorado universitario. Evaluation of online faculty development. Madrid: Visión libros.
Alegre, O. M. y Villar, L. M. (2007a). Modelo de
Excelencia de Programas Formativos en Línea (MEPFL). Revista Iberoamericana de Educación, 42 (5), 1-14.
Alegre, O. M. y Villar, L. M. (2007b). Sistema de
desarrollo y evaluación en línea del profesorado universitario (SDELPU): Un
estudio de aprendizaje académico. Bordón,
59 (2-3), 401-415.
Alegre, O. M. y Villar, L. M. (2007c). Experto
Universitario en Evaluación de la Calidad en la Enseñanza Superior.
Segunda Edición. Título Propio de la Universidad de Las Palmas de Gran Canaria.
Aprobado en sesión del Consejo de Gobierno del día 21 de abril de 2006.
[http//www.ulpgc.es].
Altschuld,
J. W. (1999). The Case for a Voluntary System for Credentialing Evaluators. American
Journal of Evaluation, 20 (3), 507–517.
Amo, C. y Cousins, J. B. (2007). Going Through the Process: An Examination of
the Operationalization of Process Use in Empirical Research on Evaluation. New Directions for Evaluation, 116, 5-26.
Ballantyne, R., Borthwick, J. y Packer, J. (2000). Beyond
Student Evaluation of Teaching: identifying and addressing academic staff
development needs. Assessment & Evaluation in Higher Education, 25 (3),
221-236.
Barnette, J. J. y
Wallis, A. B. (2003). Helping
Evaluators Swim with the Current: Training Evaluators to Support Mainstreaming.
New Directions for Evaluation, 99,
51-61.
Brandon, P. R. (1998). Stakeholder participation for the
purpose of helping ensure evaluation validity: bridging the gap between
collaborative and non- collaborative evaluation. American Journal of Evaluation,
19 (3), 325-337.
Connolly, M., Jones, N. y O’shea,
J. (2005). Quality Assurance and E-learning:
reflections from the front line. Quality in Higher Education, 11 (1), 59-67.
Christie,
Ch. A. y Azzam, T. (2005). What theorists say they do: A brief description of
theorists' approaches. New Directions for Evaluation, 106, 15-26.
Darabi, A. (2002). Teaching Program Evaluation: Using a Systems
Approach. American Journal of Evaluation,
23 (2), 219-228.
Edelenbos, J. y Van Buuren, A. (2004). The
Learning Evaluation. A Theoretical and Empirical Exploration. Evaluation Review, 29 (6), 591-612.
Fleischer,
M. (1983). The evaluator as program consultant. Evaluation and Program Planning, 6 (1), 69-76.
Ghere,
G., King, J. A., Stevahn, L. y Minnema, J. (2006). A Professional Development
Unit for Reflecting on Program Evaluator Competencies. American Journal of Evaluation, 27 (1), 108-123.
Guba, E., y
Y. Lincoln (1989). Fourth
generation evaluation. Newbury Park, CA: Sage.
Gunvaldsen, J. A. y
Karlsen, R. (1999). The Auditor as an Evaluator: How to Remain an
Influential Force in the Political Landscape. Evaluation, 5, 458-467.
Harnar, M. A. y
Preskill, H. (2007). Evaluators' descriptions of process use: An
exploratory study. New Directions for Evaluation, 116, 27-44.
Hendricks,
M. (1993). The evaluator as “personal coach”. Evaluation Practice, 14 (1), 49-55.
Holroyd, C. (2000). Are assessors professional? Student assessment and the professionalism
of academics. Active learning
in higher education, 1 (1), 28-44.
Hood,
S. (2004). A Journey to Understand the Role of Culture in Program Evaluation:
Snapshots and Personal Reflections of One African American Evaluator. New Directions for Evaluation, 102, 21-37.
Iriti, J. E., Bickel,
W. E. y Nelson, C. A. (2005). Using Recommendations in Evaluation: A Decision-Making Framework
for Evaluators. American Journal of Evaluation, 26 (4), 464-479.
Jackson, S. (2001). Exploring the Suitability of the European
Foundation for Quality Management (EFQM) Excellence Model as a Framework for
Delivering Clinical Governance in the UK National Health Service. Quality
Assurance Journal, 5, 19-31.
King,
J. A. (2005). A Proposal to Build Evaluation Capacity at the Bunche–Da
Vinci Learning Partnership Academy. New Directions for Evaluation, 106, 85-87.
King,
J. A. (2007). Developing evaluation capacity through process
use. New Directions
for Evaluation, 116, 45-59.
King,
J. A., Nielsen, J. E. y Colby, J. (2004). Lessons for Culturally Competent Evaluation from the Study of a
Multicultural Initiative. New Directions for Evaluation, 102, 67-80.
King,
J. A., Stevahn, L., Ghere, G. y Minnema, J. (2001). Toward a Taxonomy of
Essential Evaluator Competencies. American Journal of Evaluation, 22
(2), 229-247.
Kolb, D. A. (1984). Experimental learning: experience as the
source of learning and development. Englewood Cliffs, N.J.: Prentice Hall.
Levenson, A. R., Van der Stede, W. A. y Cohen, S. G. (2006). Measuring the Relationship Between Managerial
Competencies and Performance. Journal of
Management, 32 (3), 360-380.
Määttä, M. y Rantala,
K. (2007). The Evaluator as a Critical Interpreter: Comparing Evaluations of
Multi-Actor Drug Prevention Policy. Evaluation,
13, 457 - 476.
Mabry, L.
(2001). Responsive Evaluation Is to Personalized Assessment. New Directions for Evaluation, 92,
89-102.
MacNeil,
Ch. (2002). Evaluator as Steward of Citizen Deliberation. American Journal of Evaluation, 23 (1), 45–54.
Madison,
A. (2007). New Directions for Evaluation Coverage of Cultural
Issues and Issues of Significance to Underrepresented Groups. New Directions for Evaluation, 114, 107-114.
Mann, T. L., Boss, J. y
Randolph, S. (2007). Pathways to Prevention: A Training and Technical Assistance
Initiative to Increase Program Capacity to Address Infant Mental Health Issues
in Early Head Start. Infant Mental Health
Journal, 28 (2), 106–129.
Mark, M. M., Henry,
G. T. y Julnes, G. (1999). Toward an
Integrative Framework for Evaluation Practice. American Journal of Evaluation, 20
(2), 177-198.
Mathison, S. (2001).
What’s It Like When the Participatory Evaluator is a “Genuine” Stakeholder? American Journal of Evaluation, 22 (1),
29–35.
Mertens, D. M. (1999). Inclusive evaluation: Implications of transformative Theory for
evaluation. American Journal of Evaluation, 20
(1), 1-14.
Mertens, D. M. y Hopson, R. K. (2006). Advancing Evaluation of STEM Efforts Through
Attention to Diversity and Culture. New Directions for Evaluation, 109, 35-51.
Modarresi,
S., Newman, D. L. y Abolafia, M. Y. (2001). Academic evaluators versus practitioners:
alternative experiences of professionalism. Evaluation and Program Planning, 24, 1-11.
Monroe,
M. C., Fleming, M. L., Bowman, R. A., Zimmer, J, F., Marcinkowski, T.,
Washburn, J., Mitchell, N. J. (2005). Evaluators as educators: Articulating
program theory and building evaluation capacity. New Directions for Evaluation, 108, 57-71.
Morabito, S. M. (2002).
Evaluator Roles and Strategies for Expanding Evaluation Process Influence. American
Journal of Evaluation, 23 (3), 321-330.
Morris, M. y Jacobs, L. R. (2000). You Got A Problem With That? Exploring
Evaluators’ Disagreements About Ethics. Evaluation Review, 24 (4), 384-406.
Myford, C. M. y
Cline, F. A. (2001). Designing Assessment Instruments to Measure the Impact of
Participation in Short-Term Educational Programs. Studies in Educational Evaluation, 27, 107-131.
Patton, M. Q. (2002). Teaching and Training with Metaphors. American
Journal of Evaluation, 23 (1), 93-98.
Patton, M. Q. (2005). Diverse
and Creative Uses of Cases for Teaching. New Directions for Evaluation, 105, 91-100.
Pololi, L. H.,
Dennis, K., Winn, G. M. y Mitchell, J. (2003). A Needs Assessment of Medical School Faculty: Caring for the Caretakers. The
Journal of Continuing Education in the Health Professions, 23,
21-29.
Poulin, M. E.,
Harris, P. W. y Jones, P. R. (2000). The significance of definitions of success
in program evaluation. Evaluation Review, 24 (5), 516-535.
Rallis, S. F.,
Rossman, G. B. y Gajda, R. (2007). Trustworthiness in evaluation practice: An
emphasis on the relational. Evaluation
and Program Planning, 30, 404-409.
Ray,
M. (2006). Choosing a Truly External Evaluator. American Journal of Evaluation, 27 (3), 372-377.
Ritter,
L. A. y Sue, V. M. (2007a). Introduction to using online surveys. New Directions for Evaluation, 115,
5-14.
Ritter,
L. A. y Sue, V. M. (2007b). Systematic planning for using an online survey. New Directions for Evaluation, 115,
15-22.
Ritter,
L. A. y Sue, V. M. (2007c). Selecting a sample. New Directions for Evaluation, 115, 23-28.
Ritter,
L. A. y Sue, V. M. (2007d). Questions for online surveys. New Directions for Evaluation, 115, 29-36.
Ritter, L. A.
y Sue, V. M. (2007e). The survey questionnaire. New Directions for Evaluation, 115, 37-45.
Ritter,
L. A. y Sue, V. M. (2007f). Conducting the survey. New Directions for Evaluation, 115, 47-50.
Ritter,
L. A. y Sue, V. M. (2007g). Managing online survey data. New Directions for Evaluation, 115, 51-55.
Ritter,
L. A. y Sue, V. M. (2007h). Case studies. New
Directions for Evaluation, 115, 57-64.
Ryan, K. (2002).
Assessment Validation in the Context of High-Stakes Assessment. Educational Measurement: Issues and
Practice, 21 (1), 7-15.
Saunders,
R. C. y Heflinger, C. A. (2004). Integrating Data from Multiple Public Sources:
Opportunities and Challenges for Evaluators. Evaluation, 10, 349 - 365.
Scriven, M. (1991). Evaluation Thesaurus. Fourth Edition. Newbury
Park: SAGE.
Shute, V. J. (2008).
Focus on Formative Feedback. Review of
Educational Research, 78 (1), 153-189.
Stiggins, R. J.
(1999). Evaluating Classroom Assessment Training in Teacher Education Programs.
Educational Measurement: Issues and
Practice, 18 (1), 23-27.
Stufflebeam, D. L. (2001a). Evaluation Models. New Directions for Evaluation, 2001 (89),
7-98.
Stufflebeam, D. L. (2001b). Evaluation Checklists:
Practical Tools for Guiding and Judging Evaluations. American Journal of Evaluation, 22 (1), 71-79.
Stevahn,
L., King, J. A., Ghere, G. y Minnema, J. (2005). Establishing Essential Competencies
for Program Evaluators. American Journal of Evaluation, 26 (1), 43-59.
Symonette,
H. (2004). Walking pathways toward becoming a culturally competent evaluator:
Boundaries, borderlands, and border crossings. New Directions for Evaluation, 102, 95-109.
Tal, R. T., Dori, Y. J. y Lazarowitz, R. (2000). A project-based alternative
assessment system. Studies in Educational
Evaluation, 26, 171-191.
Tallent-Runnels, M.
K., Thomas, J. A., Lan, W. Y., Cooper, S., Ahern, T. C., Shaw, S. M. and Liu,
X. (2006). Teaching Courses Online: A Review of the Research. Review of Educational Research, 76 (1),
93-135.
Torres,
R. T. (1991). Improving The Quality Of Internal Evaluation: The Evaluator As
Consultant-Mediator. Evaluation and Program
Planning, 14, 189-198.
Turnbull, B. (2002).
Program Theory Building: A Strategy for
Deriving Cumulative Evaluation Knowledge. American
Journal of Evaluation, 23
(3), 275-290.
Villa,
A. y Poblete, M. (Dirs.) (2007). Aprendizaje basado en competencias. Una
propuesta para la evaluación de las competencias genéricas. Bilbao:
Mensajero.
Villar,
L. M. (Dir.) (1995). Un ciclo de enseñanza
reflexiva. Estrategia para el diseño curricular. Bilbao:
Mensajero.
Villar, L. M. y Alegre, O. M. (2003). El codiciado
carro de heno: metáforas de enseñanza universitaria. En Amigo, Mª L. (Ed.). Humanismo
para el siglo XXI. Propuestas para el Congreso Internacional. Bilbao: Universidad de Deusto, 303-312.
Villar, L. M. y Alegre, O. Mª (2004). Manual para la excelencia en la enseñanza
superior. Madrid: McGraw-Hill.
Villar, L. M. y Alegre, O. Mª (2006a). Competencias para la formación de
evaluadores. Málaga: Aljibe.
Villar, L. M. y Alegre, O. Mª (2006b). Online Faculty Development in the
Canary Islands: A Study of E-mentoring. Higher
Education in Europe, 31 (1),
65-81.
Villar, L. M. y Alegre, O. Mª (2007). Online Faculty Development and
Assessment System (OFDAS): A Study of Academic Learning. Journal of Personnel Evaluation in Education, 20 (1-2).
21-41.
Villar, L. M., De Vicente, P. S. y Alegre, O. M.
(2005). Conocimientos, capacidades y
destrezas estudiantiles. Madrid: Pirámide.
Worthen,
B. R. (1999). Critical Challenges Confronting Certification of Evaluators. American Journal of Evaluation, 20 (3), 533 - 555.
