Buscar este blog

MÁSTER UNIVERSITARIO EDUCAR EN LA DIVERSIDAD, por Olga M. Alegre de la Rosa

Máster internacional de diversidad educativa e inclusión social Promesas rectorales P or los campus de las universidades públi...

domingo, 1 de marzo de 2020



Máster internacional de diversidad educativa e inclusión social


Promesas rectorales

Por los campus de las universidades públicas en periodos electorales, los candidatos rectorales cantaban promesas sobre cambios de infraestructuras de facultades, institutos de investigación y centros de transferencia tecnológica. Se olvidaban de las estrecheces e inflexibilidades impuestas a los planes de estudio, que eran muros de pizarra, mientras crecían socialmente las conexiones de fibra óptica en los servidores empresariales. Parecía que los programas de referencia para absorber conocimientos de distintas fuentes sobrepasaban los límites de los cursos establecidos en las instituciones de educación superior.

Aprendizaje en línea

Los modelos activos de aprendizaje en línea transmitían datos informativos sin que hubiera interferencias electromagnéticas en la comunicación aumentando la cooperación, el desarrollo cognoscitivo, el respeto, la responsabilidad individual y la participación activa de los usuarios. Las nuevas conexiones de fibra transmitían la luz del conocimiento entre dos puntos distantes a una velocidad inconmensurable. Mientras, los cuadros docentes y los estudiantes rebatían la comunicación recluida en espacios cerrados de aulas y tiempos marcados por la sincronía de horarios concebidos a la luz de las organizaciones.

Rutas formativas

Las rutas formativas de las titulaciones, señaladas por balizas de módulos, ofertaban contenidos de aprendizaje desconociendo tasas de éxito validadas en estudios longitudinales. La armonización de los diplomas entre los campus universitarios dentro y fuera de las fronteras de un país chirriaba en las rutas formativas, porque se habían olvidado las titulaciones de algunos postulados de Bolonia. Mientras tanto, los profesores noveles y experimentados narraban cuanto veían en sus clases y los formadores de profesores confiaban en que los cambios se produjeran a lo largo de la vida académica de un docente. Simultáneamente, unos y otros envejecían y se distanciaban de las innovaciones de la era digital.

Plantillas docentes

El rejuvenecimiento de las plantillas de profesores era acuciante para conectar con estudiantes procedentes de entornos sociales cada vez más diferenciados. En efecto, algunas universidades denunciaban la existencia de plantillas de catedráticos de una media de edad cercana a los 60 años, que aparentemente restaba su capacidad de liderazgo en los más jóvenes limitando su satisfacción. Discurrían por las instituciones como nublados cargados de lluvia de ideas, listos para trasponer el desinterés que se cernía sobre aquellas titulaciones que se iban agostando por falta de demanda estudiantil.

Plataformas de teleformación

En la voz de multitud de jóvenes se hablaba de plataformas de teleformación de manera resonante. Como un manantial, las plataformas escondían todas las funcionalidades tecnológicas para nutrir el páramo de necesidades científicas, sociales y empresariales. Integraban cualquier contenido de las ciencias biomédicas, inteligencia artificial, robótica..., antaño en papel y ahora en internet, que aumentaba con la red de 5G multiplicando la densidad de la red en la transmisión y procesamiento de los datos, incluidos videos en vivo en 4k. Por encima de las plataformas se sugerían orientaciones didácticas para que el aprendizaje a distancia no fuera una pendiente pelada con fraudes epistemológicos y pedrizas tecnológicas. Era importante que donde nacían los ríos de conocimiento, los formadores supieran sortear los aludes para que llegaran remansadas las ideas a los estudiantes. Por eso era importante el sistema de información, la viabilidad de la navegación del sistema electrónico, el sistema de aprendizaje, el diseño visual, la evaluación instructiva y el sistema de interacción.

Recursos educativos abiertos

No se podían olvidar los recursos educativos abiertos en el mundo digital de cualquier grado. Donde terminaban los grados levantaba el testuz los postgrados que apostaban por la conectividad, las descargas de videos de modelos docentes impartiendo clases magistrales en alta definición almacenados en la nube sin que existiera latencia en la velocidad de transmisión. Las aulas de los másteres serían los nuevos mascarones de las titulaciones con tecnologías de realidad aumentada (RA), inteligencia artificial (IA) y realidad virtual (RV). Unas especializaciones de materias que representaban un escalón superior mirando al mediodía del empleo. Por cada dos másteres se ofrecían cinco titulaciones de grado hacia 2015-2016 a nivel mundial. Unas distinciones de conocimientos que se posaban recelosas en el ámbito internacional.

Internacionalización de másteres

Las futuras autoridades académicas miraban la internacionalización con ojos soñolientos. La participación de varios países en la misma titulación estaba en ciernes: era un concepto que miraba a un mediodía desconocido. No se había practicado fuerte y suficientemente el compromiso mutuo entre países. Tampoco la identificación de prioridades y estrategias. Ni quiera el reconocimiento de títulos o premios. Los nombres de los másteres internacionales estaban escritos en la solana de la montaña burocrática, pero se desconocían los acuerdos supranacionales y los principios europeos que se inscribían en la umbría de la misma montaña. Uno de los principios umbrosos era el desarrollo compartido de módulos para los másteres, porque allí se perdían los estudiantes si no tenían apoyos en la lengua vernácula. Otro era la financiación compartida por campus con distintos presupuestos, con precios netos que subían en las instituciones de educación superior.

Módulos de aprendizaje

Los módulos de aprendizaje basados en problemas no podían cortar la montaña del conocimiento a golpes de sierra. Debían extenderse ondulantes superando obstáculos y dificultades, evitando las desigualdades entre los beneficiarios. Los másteres internacionales encendían las luces de las instituciones superiores, inmensas, complejas y aparentemente cercanas por las plataformas tecnológicas como diciendo: “Aquí están las alertas del cambio”, abiertas al acceso de todos los estudiantes para evitar castas de alumnos económicamente solventes.

Evaluación

En todos los proyectos de másteres se oían los silbos y las campanillas de evaluación. Las tasas de éxito en los conocimientos, la satisfacción de los participantes, las actitudes hacia los ambientes de aprendizaje caminaban simultáneamente a la impartición de los programas. La usabilidad como la evaluabilidad de los másteres caminaban medrosas por los procesos formativos temiendo que las curvas de aprendizaje y de opinión de los estudiantes se echaran encima de los postgrados y aplastaran sus innovaciones.

Aseguramiento de la calidad

Detrás de un máster internacional de un sistema educativo moderno intervenía el aseguramiento de la calidad, el acuerdo y la responsabilidad social corporativa del socio nacional e internacional, la estrategia de explotación de resultados y la filantropía social. En definitiva, un análisis de la economía del conocimiento de las organizaciones de educación superior para inculcar conductas prosociales y ocupacionales en los beneficiarios. Otro análisis de los másteres aludía a la preparación de competencias profesionales para responsables que fueran a trabajar en comunidades escolares inclusivas y sostenibles. Sin menoscabo de otras, la plataforma de aprendizaje de código abierto Moodle era una opción flexible en el proceso de construcción de módulos y en el control de la implicación y rendimiento del aprendizaje de estudiantes.

Una iniciativa plausible

El proyecto Medusa dirigido por la Universidad de La Laguna en colaboración con la Universidad Lucian Blaga (Sibiu, Rumania), la Universidad Telemática Internacional Uninettuno (Italia), la Universidad Lodzki (Polonia) y el EVM Project Management Experts, SL (España) tiene como metas crear capacidad, establecer aprendizajes flexibles y actividades de movilidad para el diseño de un máster internacional sobre Diversity and Social Inclusion Education.

viernes, 10 de enero de 2020

Health-related quality of life in children who use cochlear implants or hearing aids



    Olga María Alegre de la Rosa y Luis Miguel Villar Angulo


    Abstract

    Objectives

    First, this study aimed at evaluating the health-related quality of life (HRQoL) and socio-demographic characteristics of children with cochlear implants (CIs) and hearing aids (HAs) from the 2 provinces of the Canary Islands (Spain) on the Kid-KINDLR_children_7–13. The second goal was to analyze parental background factors and the perspectives of their children with CIs and HAs on Kid_Kiddo-KINDLR_Parents_ 7–17. Finally, the third objective was to explore agreement between children's self-reports and their parents' reports concerning HRQoL.

    Design

    The data consisted of 89 children with CIs and 63 children with HAs and their 89 parents, respectively. The socio-demographic characteristics of children and parental background factors included demographic and audiological variables. Student's t-test, one-way ANOVA, post hoc analysis and 4 concordance correlation coefficients (CCC) were used to address the 3 aims.

    Results

    Children with CIs exhibited a perception of better HRQoL in comparison with children with HAs. Among other differences, children with CIs and HAs and their parents were significantly distinct in Setting (i.e., provinces of Tenerife and Gran Canaria) (t = 2.921, p < 0.010). Moreover, parents were significantly different in some background factors (i.e., age, socioeconomic status, and learning). While Cohen's Kappa values for most dimensions were too small, the ICC and Student's t-test expressed only concordance in the overall HRQoL and Physical well-being.

    Conclusions

    Children with CIs and their parents demostrated a perception of better HRQoL than children with HAs and their parents. Overall, children's self-ratings of HRQoL differed from their parents' reports.

    domingo, 17 de noviembre de 2019

    COMPETENCIA DE EVALUADORES









    COMPETENCIA PARA LA FORMACIÓN DE EVALUADORES
    Luis Miguel Villar Angulo
    Universidad de Sevilla

    ÍNDICE

    Resumen

    Esta ponencia alude al aprendizaje de la capacidad evaluativa como objeto de formación y actualización profesional del docente universitario. Las acciones formativas incluyen herramientas, libros, sitios Web y artículos evaluativos, que forman parte de cualquier ambiente académico y evaluativo y que se ponen en práctica interaccionando las personas. En esas acciones ejercidas recíprocamente se combinan creencias, actitudes y subjetividades impregnadas de valores que tienen memoria de experiencia profesional pasada. Esta ponencia no olvida tampoco al estudiante. Es el primer destinatario de la calidad de la docencia, el personaje que tiene que percibir el cambio docente, esa finísima personificación imaginaria de un profesor de materia que ha adoptado el simbolismo de la evaluación como representación espectral de la mejora.

    PARTE UNA: COMPETENCIAS DE UN EVALUADOR: DESARROLLO, APLICACIÓN E INTERPRETACIÓN

    Reconozco el inicio de la crisis de la cultura evaluativa de las universidades en la década de los noventa del siglo pasado. Entonces, la universidad asume la auscultación de la calidad con plena conciencia de que se produce una brecha irreparable con la tradición escolástica de pensar sobre el mundo exterior. El envite de la responsabilidad lo comprende y lo lleva a la piel de las titulaciones y de los servicios. Las universidades advierten que la autorreflexión sobre la docencia es el gran asunto a atender y de ahí su frenética actividad como evaluadora de la calidad de los programas formativos que suponen la emergencia histórica de una nueva organización social que alienta con transformar el trabajo académico del profesorado.

    El pensamiento intelectual de los docentes comienza igualmente a reflejar el nuevo discurso de la evaluación. Así, se introduce en ellos la nueva semántica evaluativa de estándares, acreditación o de evaluación formativa y se reconcilian con la nueva realidad universitaria afrontando el dilema del aseguramiento de la calidad de la docencia desde la perspectiva de su comprensión e incorporando la nueva imagen social del profesor como evaluador.

    La acción evaluativa que engendra el espacio público de la calidad universitaria se ha reservado para las agencias, y sobre todas ellas, la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) que dicta la política necesaria y urgente para comprender la acción previsible que brota de la pluralidad de universidades públicas y privadas y del concepto de autonomía universitaria. La ANECA relaciona el pensamiento de la calidad y la acción con cierto rigor lógico de forma que las universidades mueven la ficha de la autoevaluación de los programas formativos como primer documento que resume el complejísimo análisis de la calidad de la docencia. La novedad del modelo evaluativo de la ANECA es que comprende seis criterios bajo los cuales se calcula el valor de una titulación: programa formativo, organización de la enseñanza, recursos humanos, recursos materiales, proceso formativo y resultados. La aplicación de este modelo hace surgir a un personaje de la vida académica, que está como docente de materias de distintos campos científicos y que da vida a una creación nueva y original, el evaluador del universo universitario.

    UNO: La práctica de la evaluación como lenguaje metafórico. El evaluador como…

    La literatura educativa abunda en personajes de ficción que tratan de dar existencia real a lo que no se tiene, proclamando la libertad de los autores para recrear con libertad muestras fehacientes de posturas intelectuales en lo que atañe a la evaluación. Uno de los académicos más conspicuos en la enseñanza de la evaluación a través de metáforas es Patton (2002: 95), que escribe en una brevedad su estrategia didáctica: Hallo que uso muy a menudo metáforas en evaluación para ayudar a las personas a establecer conexiones entre lo que conocen (como pescar) y cosas menos familiares (como evaluación).

    Una de las primeras creaciones metafóricas se debe a Fleischer (1983) que reserva para el evaluador la posición de asesor de programas, en el que acumula tres dominios específicos: desarrollo de programas, cambio planificado y tecnología educativa. Un evaluador interno de un programa formativo es un relator de las vicisitudes de una institución que se ejercita en el aprendizaje. Pero en la aventura del aprendizaje de una organización universitaria hay mucho más que eso. Las conversaciones de los estudiantes, entre la lucidez y un cierto “sinsentido” o un no reivindicativo, el mundo de las convenciones de los adultos, las ideas y prejuicios de los profesores son asuntos que requieren destreza para escribir de manera inteligible sobre la calidad. Por ello, Torres (1991) urde unas habilidades profesionales volcadas al mundo interior de la persona para que no interfieran con sus experiencias vividas, que dispone como sigue: comprender las influencias contextuales, identificar y comprender las perspectivas de los beneficiarios, maximizar la credibilidad y la confianza, alinear la metodología a las orientaciones epistemológicas de la audiencia de la evaluación, poner sobre la mesa y representar los asuntos que preocupan a la autoridad, prepararse para hacer una gestión siguiendo múltiples perspectivas, y ser tolerante ante la ambigüedad y el desarrollo del cambio.

    Las vetas literarias para estudiar las funciones de un evaluador han procedido de los análisis de otras profesiones. Hendricks (1993) halla acomodo en el deporte para explicar, detrás de una fachada turbulenta, los comportamientos de los jueces y de un preparador en patinaje artístico por parejas. En este díptico, los jueces representan al público y notifican sus discrepancias en las puntuaciones, mientras que un preparador es narrativo (cuenta y refiere lo sucedido en la actuación del deportista con la intención de mejorar) y ensayístico (prepara una estrategia de movimiento deportivo con conocimiento y brinda algo riguroso antes de ofrecerlo al público). Ambos profesionales constatan el mérito objetivo de una representación deportiva o  de una actuación profesional.

    Se puede disfrutar mucho del tema literario de la evaluación sugerido por MacNeil (2002) que entiende a un evaluador como si fuera el sobrecargo de un avión, que es símbolo de compromiso y de bienestar con el público en un viaje, una persona que cuida un viaje al que debe responsabilidad y conciencia de riesgo. Los episodios evaluativos que cuenta este autor tienen el marchamo de un contexto determinado, de una escenografía cultural tácita para la que crea la figura de evaluador como si fuera un asesor que pone en el tapete disonancias cognoscitivas para guiar al público en su zona cultural más próxima. Sin olvidarse de otras funciones asesoras existentes en el mundo social y educativo, como la figura de preparador, el autor transpone al evaluador poniéndolo más allá de su función deliberativa de ciudadanos.

    La galaxia de figuraciones evaluativas se incrementa con Morabito (2002) a cada una de las cuales otorga entidad propia: un evaluador es como un educador, un consultor, un facilitador o un orientador. En todas estas identidades hay rastros de profesionales que tienen su mirada puesta en un destinatario para el que crea un ámbito de mito, de protagonismo absoluto. La realidad de un evaluador se condensa así en la metrópoli de la discusión focalizada de las acciones contenidas en las tareas. Por supuesto que la acción profesional de un evaluador se ha emparejado con las prácticas que en algunos sectores profesionales realiza un auditor, ese personaje que tiene una vida emocionante de empeños contables y de observaciones itinerantes de contextos. Cuando el evaluador es auditor; cuando la evaluación se instituye como un órgano de la administración, como relatan Gunvaldsen y Karlsen (1999) en la sociedad noruega, entonces, los modelos, guías y “herramientas” evaluativos otorgados a una institución pueden comunicar entusiasmo y temor al mismo tiempo.

    Posiblemente uno de los mejores escritores sobre evaluación, que acumula ingentes dosis de talento en cada uno de sus artículos, es Stufflebeam (2001a). Su valor pedagógico está más allá de los modelos que sintetiza. Nos ubica en su propio arquetipo al que nos hace partícipe como un territorio en cuyo trazado no evita ninguno de los tópicos habituales del género evaluativo, desde los insumos, los procesos a los resultados. Para cada una de las veintidós aproximaciones evaluativas acotadas en su artículo podría modular metáforas evaluativas sin huir de la realidad. Así, en los modelos evaluativos inspirados en las relaciones públicas, en los estudios controlados políticamente, en la prosa de los estudios apoyados en objetivos, en la acumulación persistente de resultados de las aproximaciones orientadas a la responsabilidad, o en la evaluación basada en la teoría de programas, un evaluador sería una persona de una convención, un comisionado, un programador, un responsable de pagos, un psicómetra, respectivamente.

    En fin, por debajo de todas las aproximaciones evaluativas hay posiciones epistemológicas. En cada una existe la idea de que detrás de una evaluación educativa subyace la solidez del conocimiento, y de que después de una práctica insistente en un proceso evaluativo habita la fe en el conocimiento acumulado, un conocimiento que no es neutral, sino que está más bien influido por intereses humanos que reflejan poder y sesgo en las relaciones sociales de una sociedad (Mertens, 1999). En este sentido, algunas pseudoevaluaciones tienen como finalidad soportar posiciones ideológicas que son injustas, bajo una apariencia de objetividad.

    El desarrollo social y tecnológico ha definido nuevos parámetros de la realidad que inciden en la construcción de conocimientos de una organización. En efecto, las diferentes dimensiones organizativas de una institución pueden sufrir transformaciones a partir de las evaluaciones. Por ello, Poulin, Harris y Jones (2000) reclaman que un evaluador se erija como un agente que maneja el presente de los objetivos en un contexto organizativo, y que está capacitado para hacer que una institución reaccione, absorba y traduzca los indicadores de éxito y de desarrollo que se producen en los territorios más avanzados de la investigación científica y tecnológica.

    Hasta no hace mucho tiempo, el icono de la evaluación del estudiante era la evaluación personalizada. Desde hace pocos unos años, la idea de la evaluación de la actividad, de la singularidad y de la pluralidad social de un programa se alza con impulso rápido como una evaluación responsiva, que gira en torno a la calidad genuina de las respuestas de estudiantes individuales. Mabry (2001), en un estilo dialógico y con una escritura vigorosa, propone una imaginería tributaria de la analogía y la discusión, tejiendo una historia con la urdimbre de los dos enfoques evaluativos en la que se entremezclan la evaluación personalizada y la evaluación responsiva de programas.

    El desafío de una evaluación es dejar de ser una tabla de sólo resultados para devenir en conocimientos de y sobre la evaluación, como apostilla Turnbull (2002), que retrotrae la evaluación a la epistemología, hasta convertirla en una encrucijada textual de conocimientos. Según este autor, el hecho de contar las tramas y la ligazón de los datos en una evaluación no resulta contiguo de la derivación y comprensión de conocimientos. Su mensaje no es otro que la proclamación de la acción de un evaluador como aledaña a la de un urdidor de conocimientos fundados.

    Más vale a la evaluación trocar hallazgos por recomendaciones que estar sin decisiones, parecieron concluir Iriti, Bickel y Nelson (2005) tras revisar teorías evaluativas, informes de evaluación y presentaciones congresuales. Sus conclusiones se circunscriben a un haiku: “Los barcos en el agua /dejan solo una estela./ Nosotros ¿qué dejamos?”. Los indicios de una evaluación son rastros que se acumulan como promontorios desde los cuales se posicionan futuras comparecencias. No es utopía, sino sana sentencia, que una evaluación eficaz culmina con un superpensamiento comprimido sobre el valor y mérito de algo.

    El viento de una evaluación es la enseñanza. Cuando un evaluador interacciona con un participante o beneficiario se produce un movimiento de sístole y diástole en la que siempre está volviendo algo a la mente del beneficiario como una oportunidad de aprendizaje, una forma de conocimiento relampagueante por la intensidad de su breve y concentrado resplandor. Monroe, Fleming, Bowman, Zimmer, Marcinkowski, Washburn y Mitchell (2005) hacen una lectura parcial de Patton (2002) y narran su propia epopeya de enseñar a articular la teoría que mueve un programa y la capacidad evaluativa dentro de una organización. La enseñanza de una evaluación requiere morosidad en el hilado de las observaciones, apuntes que iluminan puntos cruciales de una interacción, descripciones hechas con rigor y exactitud de la experiencia de la vida real, estampas comprensibles de aulas y reuniones que tengan una dicción clara como un mercado es un espejo de la realidad social de una comunidad.

    La sociedad exige una mayor responsabilidad y eficacia en la realización de programas educativos y sociales. Una mirada cuidada, reflexiva y técnica a la evaluación es como una contemplación ensimismada de un cuadro hasta comprender el tema abordado y su precisión técnica, como si la perfección pictórica fuera el correlato de la objetividad y de la verosimilitud, entendida como eficacia (Villar y Alegre, 2003). La mirada al arte tiene muchas incomodidades por los géneros que aborda (político, activista, conceptual, etcétera) y las técnicas usadas con el fin de abstraer conceptos o dotar de verosimilitud y expresividad las figuraciones. En particular, la música y la pintura toman asuntos tratados según distintas modas y vanguardias (expresionista, cubista, futurista, etcétera) para hacer variaciones y alteraciones que muestran la genuina dislocación o creativa improvisación del artista. Análogamente, Christie y Azzam (2005) estudian un caso que someten al escrutinio de cuatro aproximaciones evaluativas para comprobar el carácter objetual y las distorsiones que se producen cuando los evaluadores dan pinceladas precisas que perforan con valores propios los contextos culturales; en pocas palabras, las desviaciones en las inter e intra percepciones de los evaluadores aluden a la dificultad metodológica existente para homogeneizar juicios de valor sobre las personas o cosas.

    Uno de los rasgos más destacados del aseguramiento de la calidad universitaria y de la visión institucional de los últimos años es la presencia del modelo de la Fundación Europea para la Gestión de la Calidad (en inglés, abreviado, EFQM) para la evaluación de titulaciones. En este modelo no normativo basado en nueve criterios de facilitadores y resultados se reconoce la existencia de muchas aproximaciones para conseguir la excelencia combinando acciones de facilitación y de resultados (Jackson, 2001). Entre los postulados de EFQM existe uno que es el carácter binomial de los evaluadores. En realidad, un par de equipos de analistas (uno para el autoestudio y otro para la evaluación externa) que construyen el cuadro de una situación o titulación en la que la reflexión sobre el contexto cultural ocupa un lugar destacado. En un informe evaluativo de este género se evitan los adornos del ensayismo académico y con un estilo aligerado de citas se refleja el ambiente genuino de las aportaciones y de la participación de los miembros de una comunidad u organización. De esta manera, la figura del evaluador externo se convierte en una compensación al observar de modo distinto los procesos y resultados internos de un programa, como ocurre con el Programa de Iniciación Temprana (Early Head StartEHS) (Mann, Boss y Randolph, 2007). En definitiva, su rol profesa como la contraparte argumentativa de un informe.

    Real y verdaderamente, la confrontación de opiniones en un proceso evaluativo es un diálogo de evaluadores y beneficiarios que se inicia con una descripción de los datos hasta convertirlos en una hipervisualización de los fenómenos. Las diferencias en las imágenes de los equipos de una evaluación pueden crear desencuentros y crispaciones, como en la confrontación metafórica sobre ideas y principios de los partidos políticos (unidad vs. desmembración; conflicto vs. tranquilidad). A pesar de ello, la actitud persuasiva en la evaluación se conforma como la buena brújula que orienta la mejora de las necesidades de los beneficiarios. En fin, el relato de Ray (2006) cobra fuerza por estos dos argumentos relacionados: la aparente seguridad y confianza en una compañía de evaluación externa al programa evaluado, al tiempo que el cuestionamiento de la autonomía e independencia evaluativas de la misma compañía por su proximidad institucional al programa analizado.

    Cuando un evaluador se zambulle en las páginas de una evaluación con el mismo denuedo que un padre en un programa extraescolar, se concitan muchos de los arquetipos de una evaluación democrática y participativa y de las tensiones que afloran entre ambos roles. La lectura de la recreación ficticia de Mathison (2001) es un digesto de motivos habituales (democracia, comunidad y justicia) entre los partidarios de una evaluación participativa y poderosamente enriquecida a considerar en el momento presente para la elucubración y posterior generación de competencias evaluativas.

    Las metáforas han permitido crear imágenes sobre las competencias de un evaluador con estas voces: un ingeniero social que comprueba la consecución de objetivos, un promotor de programas que actúa como consejero de una comunidad o un intérprete crítico que interviene socialmente en procesos de inventariado, clasificación y síntesis de información, en los que muestra actitudes neutrales, diría escépticas, o con obligación de extractar hasta el final las esencias de las hechuras y el espíritu de los contenidos. La metáfora del evaluador como intérprete crítico de Määttä y Rantala (2007) adopta un estilo de lenguaje en el que la reflexión crítica (responsabilidad) y el grosor conceptual (intervención comunitaria) aluden al diálogo entre los universos canónicos de la pintura como lienzo estático y la imagen en movimiento de las páginas web en sistema flash. El universo azaroso de cualquier escenario social y educativo advierte de una sintomática preocupación por la interactividad y de la necesidad de establecer conexiones que representan el culto a la confrontación, a posicionar a las personas una frente a otra para que sostengan sus respectivas afirmaciones.

    DOS: La evaluación como proceso y uso.

    Una evaluación es un proceso de desciframiento de caracteres ocultos, de penetración en los enigmas y de desvelamiento de los atributos que guarda la intimidad de una persona, un objeto o una acción programática. No es casual que muchos evaluadores aludan a paradigmas, aproximaciones o métodos para hacer una evaluación. Si anteriormente subrayé las aproximaciones de Stufflebeam (2001a), ahora acoto los modos de indagación de Mark, Henry y Julnes (1999), que encierran en cuatro procesos las voluntades de un educador o de un etnógrafo social: descripción, clasificación, análisis causal e indagación de valores. Esta exposición de modos conjuntados con los propósitos representa una matriz bajo la cual se avienen estos autores a lo primigenista, a lo que es originario de una evaluación: desde la cota de la descripción a la elevada cima de los valores.

    En un escenario social o educativo, un evaluador se pone los trajes de actor y director de escena, y un beneficiario usa los uniformes de espectador y actor, con todos los estadios y matizaciones de transición que puedan recrearse, a la manera de una performance, en la que se mezclan elementos evaluativos y acciones diversas. Morris y Jacobs (2000) proponen tres escenarios – consentimiento informado, informe imparcial y beneficiario implicado - para provocar reacciones entre evaluadores, ante los cuales respondieron de manera desigual. Los desplazamientos de conducta ética de los evaluadores en los juegos de rol creados para las tres perspectivas son significativos. Si las tensiones afloran entre las percepciones éticas de los evaluadores, se impone, como indicaron estos autores, un diálogo formativo en la capacidad evaluativa.

    La enunciación de esa capacidad de uso ya había sido manifestada y demandada por Patton (2007) para los cambios en el aprendizaje y en una organización. La capacidad de uso encierra el aedo de la cultura evaluativa: un canto al valor del uso, más allá del diseño evaluativo y de la consecución de resultados. Apoyando esta idea, Harnar y Preskill (2007) subrayan que la capacidad de uso refuerza las comprensiones compartidas, interviene más profundamente en un programa, aumenta el compromiso, y desarrolla un programa y la organización. Comprender las consecuencias de la evaluación, o el uso y utilización de la evaluación significa, pues, despejar un laberinto evaluativo, cual es el efecto de los hallazgos o de las consecuencias de una evaluación. Basta con la nómina de autores aportados por Amo y Cousins (2007) para advertir que los hallazgos de una evaluación se deben por derecho propio al proceso, como la categoría más influyente de una evaluación por el conjunto de acciones sucesivas ocurridas en el tiempo que culminan en un juicio, sentencia o informe.

    Con un gran alarde estilístico en la justificación y revisión de fuentes literarias, Myford y Cline (2001) entreveran la evaluación del rendimiento de los estudiantes por medio de pruebas con el impacto de las intervenciones educativas en el aprendizaje estudiantil, que ejemplifican en la capacidad de uso evaluativo. De esta manera, parece estar en alza la utilización activa de sistemas de valoración de la actuación de los estudiantes que usan su conocimiento para la resolución valiosa de problemas de una forma creativa, triunfando el periplo evaluativo o trayectoria reflexiva hacia el interior y exterior de los sujetos y de la organización escolar (Tal, Dori y Lazarowitz, 2000).

    Las evaluaciones no permanecen solo en el plano de las ideas, se mezclan con las realidades más cotidianas y compiten con incidencias y dilemas. El repaso evaluativo que llevan a cabo King, Nielsen y Colby (2004) resulta clarificador para comprender las destilaciones de una evaluación vivida con objeto de conformar una masa de ideas teóricas y la práctica evaluativa de programas. Como respuesta a un estudio de caso evaluativo, King (2005) escribe un artículo que cumple con dos de las corrientes dominantes en la literatura evaluativa: la del gesto personal ante una situación problemática enmarcada a su vez en una seña culturalista aliada con un proceso histórico. En fin, la trama de una evaluación es variada y puede servir para múltiples usos como reconoce el propio Patton (2005), que los sintetiza en dos aplicaciones: la enseñanza y el entrenamiento.

    Las ideas evaluativas de Mertens y Hopson (2006) hay que circunscribirlas en el pluralismo cultural o en la relativa participación de las minorías en la evaluación de programas curriculares apoyada institucionalmente. Una relatividad moral causada porque las minorías no deciden en los nudos humanos, que son absorbidos por distintos tipos de explotaciones, y que anhelan su participación en los proyectos evaluativos como una ocasión para sacudir sus deficiencias (Madison, 2007). No hay invención de argumentos evaluativos en aquellos autores, pero el desarrollo literario que hacen de la evaluación es importante: una evaluación que suene con ciencia y armonía se convierte en la masa de aire que rodea un programa.

    La precisión y la maestría de un evaluador están de nuevo dibujados en otro artículo de King (2007), en el que alude a otra nueva metáfora para retratarse como un personaje en el restaurante de una novela evaluativa en el que lo “bueno, barato y rápido” son las premisas de calidad del establecimiento de restauración, y de su evaluación. Sin ser consciente de ello, este autor ha aplicado técnicas evaluativas para dar respuesta a personas, ha situado los asuntos en los ambientes correspondientes y ha inventado argumentos para mostrar los entresijos de los objetos, programas y personas, encubriendo los datos con ideas y descubriendo el envés de las tramas que perfilan y potencian la figuración o la expresión en un cuadro.

    Por supuesto, la capacidad específica de uso de una evaluación es valiosa en sí misma. Aunque algunas personas lo puedan confundir con el genérico proceso de una evaluación, es cierto que los evaluadores que emplean aproximaciones participativas, centradas en el usuario, orientadas a promover capacidades y que dan significado a las acciones porque pretenden aprender de una evaluación, buscan en los estratos y operaciones de los procesos evaluativos las identidades de las personas y las asociaciones de elementos que las acotan (Patton, 2007). La confianza como valor se basa en la credibilidad de un evaluador y de la misma evaluación; un asenso que se funda en principios morales y en normas de actuación, desde la recogida de información, el seguimiento de la misma, hasta el apoyo para su desarrollo y uso futuros (Rallis, Rossman y Gajda, 2007).

    En pocas palabras, el uso de un proceso evaluativo mantiene el equilibro entre la percepción del instante y la tensión del tiempo cuyo protagonista es la conciencia; en resumidas cuentas, un evaluador extrae conocimiento que revisita para interpretar la práctica con su capacidad de uso.

    TRES: A la búsqueda de competencias de un evaluador.

    El credencialismo por medio de competencias es el triunfo de la forma como sistema evaluativo. Fascinadas las agencias de evaluación internacionales y nacionales por la evaluación de personal y de programas a través de listas de control o baremos de evidencias sometidas a control para la adopción de decisiones sobre la selección, aprobación o rechazo de candidatos, este procedimiento evaluativo sumativo representa un punto de inflexión a la hora de juzgar el mérito de personal o de programas (Altschuld, 1999). Las guías de evaluación, publicadas, son el contrapunto a la improvisación evaluativa, también al diálogo con el beneficiario, cuya lucidez y atributos están registrados en un dossier o carpeta (portfolio) que alumbran el fondo y la forma de una persona o programa.

    La actualidad evaluativa tiene por motivo el uso de competencias, aventadas desde diversos países y para distintos niveles del sistema educativo. Las competencias evaluativas son multiformes, y están salpicadas de conocimientos y actitudes: Las competencias, referidas como el sine qua non de la actuación de un evaluador de programas (Worthen, 1999), son el conocimiento, las habilidades, y las disposiciones que los evaluadores necesitan para dirigir eficazmente las evaluaciones de programas (Ghere, King, Stevahn y Minnema, 2006: 109).

    El entrenamiento en competencias evaluativas insinuado anteriormente ha ratificado el vigor del concepto, hermético y licuable, de una competencia evaluativa. Las claves del proceso caótico de la evaluación hay que buscarlas en las aproximaciones o modelos que vertebran su esqueleto conceptual: la aproximación, cifrable en los criterios, y las herramientas, resumidas, que muestran la métrica o sistema de captación de las evidencias. En un universo evaluativo desmitologizado, y apelando a un entrenamiento ético, Darabi (2002) menciona la aproximación basada en sistemas para la enseñanza de la evaluación, desde la cual el autor muestra a estudiantes de grado con la ataraxia de un avezado profesor una metodología secuenciada para el seguimiento y retroacción de las actividades estudiantiles.

    En otro marco cultural, los holandeses Edelenbos y Van Buuren (2004) tienen una alta consideración de la evaluación y de los evaluadores. Citan muchas autoridades en su artículo, pero, seleccionan una idea – evaluación de aprendizaje - para expresar una hegemonía discursiva desmitificadora de la evaluación que, retomando el pulso a los autores de la cuarta generación de evaluación (Guba y Lincoln, 1989), representa un cambio en los papeles del evaluador. Es como si autor y lector se pusieran de acuerdo para escribir y reescribir una novela, o ir pasando el espejo por los acontecimientos parándose cuando conviene para sintetizarlos. Es un credo evaluativo sencillo que sostiene el diálogo entre agentes, una conciencia aguda de las personas en cuyos procesos ven reflejos de la noción positiva y progresista de la naturaleza humana: La evaluación es entonces un proceso de ensayo y adaptación, de actuación e interpretación, de aprendizaje en el trabajo, y de aprender haciendo (Edelenbos y Van Buuren, 2004: 605-606).

    La capacidad de elegir un modelo, aproximación o enfoque evaluativo está presente, también, en la creencia de Hood (2004), que percibe en la cultura un símbolo y una señal, además de una actitud de veneración. Es un predicador de ideas y de textos que son muy importantes y que traslada de su país (Estados Unidos) a un continente culturalmente distinto (África). Su reconocimiento evaluativo es acusadamente racional defendiendo la idea de atestiguar la respuesta ética a los beneficiarios como una idea central de una “buena” evaluación, por su conciencia moral de respeto a las minorías culturales. Su deseo es promover una sociedad donde las personas sepan oírse a sí mismas.

                Muchos evaluadores han contado sus vivencias e historias que son como cruces de caminos. La relectura de la vida evaluativa pasada de Symonette (2004) es una nueva recitación. Como si fuera en busca de su tiempo pasado, medita sobre los diferentes roles evaluativos que ha desempeñado, aunque refiera expresamente el de facilitador y consultor de planificación y evaluación: Construyo la capacidad cultivando la voluntad así como las habilidades para implicarme en una evaluación críticamente reflexiva y en actividades de desarrollo de programas a través de la iluminación de las mismas (Symonette, 2004: 101). En su autorreflexión relata su peripecia en el camino de aprendizaje del argumento evaluativo: echándose al coleto evaluaciones de las que no tiene formado un claro modelo racional, sino una actitud de respeto por la inclusión auténtica y de compromiso con la respuesta. Su confesión evaluativa sincera saca al autor, así, del lazareto de los evaluadores sospechosos de parcialidad.

    Con el concepto de competencia se ha abierto un nuevo espacio al conocimiento de las profesiones, a la selección de personal, a la gestión organizativa, o a la planificación de las titulaciones universitarias (Villa y Poblete, 2007). La polisemia del término competencia ha creado nuevos asuntos evaluativos, nuevos interrogantes formativos, inciertas aventuras sobre las prácticas hasta este momento inexploradas. Un sistema evaluativo basado en competencias presupone la identificación y aislamiento de los factores que contribuyen a diferenciar unas competencias exitosas de otras que no lo son. El deslumbramiento contagioso de las competencias en todos los niveles del sistema educativo está perturbando el conocimiento disciplinar con variopintas publicaciones, surgidas al albur de anhelos de eficacia personal u organizativa. Las competencias son un rito a la actuación, al paso, a la puerta que muestra el mapa de conocimiento trazado previamente, como una orografía de relieves desvelados. En un estudio, Levenson, Van der Stede y Cohen (2006) hallan que las competencias se relacionan positivamente con la actuación individual y que el asesoramiento o mentoría ayuda a aumentarlas. De nuevo, además de evaluador, un profesional debe ser mentor.

    CUATRO: Discusión y análisis de las dimensiones y competencias evaluativas.

    Una lista de control es una herramienta que se utiliza para comprobar un asunto. Las listas de control son el esqueleto de un modelo o sistema evaluativo. La conciencia de la aproximación evaluativa se mantiene suspendida en las declaraciones de una lista de control. Con ella me imagino una acción, una persona, una situación. El localizador [http://www.wmich.edu/evalctr/checklists/] ofrece una antología de listas de control fundamentales. Es un sitio web imprescindible para el evaluador, porque contiene una profunda síntesis de los sistemas evaluativos más famosos, desde la Lista Clave para la Evaluación de Scriven, la Lista de Control de Evaluación Cualitativa de Patton, la Lista de Control de Evaluación Democrática Deliberativa de House y Howe, la Lista de Control de Evaluación Constructivista de Guba y Lincoln o la lista de control sobre el modelo CIPP (Contexto, Insumo, Proceso y Producto) de Stufflebeam (2001b).

    Las listas de control evaluativas son esquemáticas. El ideal de cada pregunta de una lista de control se refiere a un problema de importancia y con ella propone una buena práctica. Cuida de la representación de acciones, que sintetiza en tablas, capaces de crear el ámbito de la naturaleza que representa. Cada una de las listas de control, como espacio evaluativo cercado, supone entrar en el tiempo de los criterios y actividades con las que limita un evaluador antes de juzgar el mérito de un objeto, de individuos o grupos de personas, incluida la evaluación como un objeto en sí misma considerada. La construcción de la capacidad evaluativa es la razón de ser de otras listas de control, como la propuesta por Volkov y King para la evaluación de organizaciones, que contiene ocho capacidades que son garantías de calidad (King, 2007). De otra parte, la American Evaluation Association (AEA) ha refrendado y editado los principios orientativos de una evaluación que son patrones para vestir a un evaluador con un traje ajustado al talle de la práctica profesional. La Tabla 1 sintetiza los cinco principios orientadores para los evaluadores, desarrollados en 25 declaraciones que proyectan las capacidades o sutilezas de la realidad evaluativa de la AEA.

    Tabla 1. Principios orientadores para evaluadores de la AEA [http://www.eval.org ]


    A.   Indagación sistemática. Los evaluadores dirigen indagaciones sistemáticas, basadas en datos.
    B.    Competencia. Los evaluadores ofrecen una actuación competente a los beneficiarios.
    C.    Integridad / honradez. Los evaluadores despliegan honradez e integridad en su propia conducta, e intentan asegurar la honradez e integridad del proceso completo de evaluación.
    D.   Respeto a las personas. Los evaluadores respetan la seguridad, dignidad y autovalor de los respondientes, participantes del programa, clientes, y otros beneficiarios.
    E.    Responsabilidades para el Bienestar General y Público. Los evaluadores articulan y consideran la diversidad de intereses y valores generales y públicos que se pueden relacionar con la evaluación.


    En un tono distinto, King, Stevahn, Ghere y Minnema (2001) discuten los hallazgos obtenidos en un estudio exploratorio para conocer cuáles son las competencias de profesionales de evaluación en función de distintas características demográficas y atributos culturales. En aras de la realidad, y siguiendo procedimientos estadísticos de reducción de la información de 31 profesionales del campo de la evaluación de programas, estos autores proponen una taxonomía de competencias esenciales de un evaluador, ajustada y reducida en la Tabla 2, que no es más que el deseo de buscar un compendio en el que encerrar la realidad objetiva de un profesional de la evaluación.

    Tabla 2. Competencias esenciales de un evaluador

    I. Indagación sistémica
    IA1. Enmarcar preguntas de investigación
    IA2. Diseño de investigación
    IA3. Medición
    IA4. Métodos de investigación (cuantitativos, cualitativos, y mixtos)
    IB. Capaz de hacer las actividades orientadas a la evaluación
    IB1. Teoría de la evaluación, modelos, y supuestos filosóficos subyacentes
    IB2. Evaluación de necesidades
    IB3. Enmarcar preguntas de evaluación
    IB4. Diseño de evaluación
    IB5. Procesos de evaluación
    II. Práctica evaluativa competente
    IIA. Capaz de servir las necesidades de información de usuarios intencionales
    IIB. Capaz de hacer análisis situacionales
    IIB1. Conocer el desarrollo organizativo, el cambio y la política
    IIB2. Capaz de analizar el contexto político de una organización
    IIB3. Respetar la singularidad del sitio de evaluación y del cliente
    IIB4. Abierto a las aportaciones de los demás
    IIB5. Capaz de adaptarse / cambiar un estudio cuando sea necesario
    IIC. Capaz de organizar y manejar proyectos de la evaluación
    IIC1. Capaz de responder a la demanda de una propuesta
    IIC2. Capaz de escribir acuerdos formales
    IIC3. Capaz de presupuestar una evaluación
    IIC4. Capaz de acceder a los recursos necesitados (ej., información, personal, instrumentos) 
    IIC5. Capaz de supervisar a los demás
    IIC6. Capaz de entrenar a otros 
    IIC8. Capaz de completar el trabajo de una manera oportuna
    III. Destrezas generales para la práctica evaluativa
    IIIA. Habilidades lógicas y críticas de pensamiento
    IIIB. Habilidades de comunicación escrita 
    IIIC. Habilidades verbales de comunicación
    IIID. Competencia interpersonal 
    IIID1. Habilidades de negociación 
    IIID3. Habilidades de facilitación de grupo
    IIID4. Habilidades de proceso de grupo
    IIID5. Habilidades de trabajo en grupo / colaboración
    IV. Profesionalismo evaluativo
    IVB. Conducta ética
    IVB1. Asegurar la honradez e integridad de la evaluación
    IVB2. Capaz de llevar su aproximación evaluativa y habilidades a clientes potenciales
    IVB3. Respetar la seguridad, dignidad, y autovalor de los respondientes, programa, participantes, clientes, y otros beneficiarios
    IVC. Conocer normas profesionales (ej., Normas del Comité Conjunto y Principios Orientadores de la AEA)
    IVD. Aplicar normas profesionales
    IVE. Conocer el desarrollo profesional
    IVE1. Ser consciente de las necesidades de desarrollo profesional
    IVE4. Actualizar el conocimiento personal en el campo de la evaluación (ej., talleres, conferencias, revistas)

    Stevahn, King, Ghere y Minnema (2005: 52) revisan posteriormente la propuesta de competencias en una nueva tabla compuesta por seis categorías: (a) práctica profesional, (b) indagación sistemática, (c) análisis situacional, (d) gestión de proyectos, (e) práctica reflexiva, y (f) competencia interpersonal. Las nuevas paletadas de competencias evaluativas clasificadas representan una percepción taladrante de la investigación y de la propia formación evaluativa. Así, con la dimensión práctica reflexiva dan alas al autoconocimiento del evaluador, la valoración de las necesidades personales para mejorar la práctica y la implicación en el desarrollo profesional hacia esa meta.

    Hay evaluadores que encarnan el espíritu viajero. Para algunos profesionales, la realización de una evaluación es la doble consecuencia de tener vocación y de sentir una necesidad. Habiendo recorrido muchos proyectos de evaluación de programas; habiendo percibido que los distintos momentos de un proceso remueven el pensamiento, como a un músico las notas de un pentagrama lo sacuden con sensaciones fuertes, King (2005: 96) se centra en la descripción del conocimiento de contenido de un programa y en el conocimiento evaluativo del contenido de un programa: En lugar de desarrollar un plan de evaluación en un sentido tradicional, he presentado una lista de actividades en esta sección que fomenta una cultura evaluativa: creando un grupo de asesoramiento evaluativo, empezando a construir una infraestructura evaluativa formal, justificando las puntuaciones de pruebas, dirigiendo una investigación participativa muy visible, e instituyendo actividades de investigación acción.

    La visión nítida y detallada de King (2007) sobre la construcción de la capacidad evaluativa (en inglés, ECB) es como un susurro que templa el conocimiento y las destrezas evaluativas como una estrategia de mejora de la representación, un metaconcepto que en su áspero y grave momento, se hace uso, roce, un acto de entrega creándolo. Sus sugerencias sobre la viabilidad de la ECB para evaluar una acción, aluden igualmente al rol y a las actividades de un evaluador para facilitar el uso de un proceso. La identificación de las variables que afectan el uso evaluativo es como para un músico sumergirse en temas operísticos, desgranarlos, hacer variaciones virtuosísticas con ellos y recrearse en ellos. Las variables a considerar en la ECB dependen del modelo evaluativo. En el caso del modelo CIPP de Stufflebeam (2001b) es una madeja donde el evaluador cobra su ser en el pretil del Contexto, por ejemplo, observando cómo uno se compromete con la generación de nueva información y allí uno sale renovado de las bases de datos que por oleadas hacen la información imperecedera.

    Saunders y Heflinger (2004) refieren que las consultas y la integración informativa de bases de datos son un síntoma de objetividad evaluativa. Si la búsqueda de la infraestructura que apoya un proceso evaluativo es una actividad del componente Entradas del modelo CIPP, la identificación de esa potencialidad no le es ajena a un evaluador, en un presente donde la población o los grupos de beneficiarios entretejen distancias y parecen inalcanzables. Internet desborda el horizonte y va abriendo como la luz nuevas fronteras. La documentación de los recursos evaluativos existentes es otra posible actividad a considerar para desarrollar la ECB en el componente Proceso del modelo CIPP. La evaluación del aprendizaje de los estudiantes a través de herramientas de Internet está sembrando incertidumbres y sospechas porque las nuevas experiencias hacen conmover los principios de la comunicación continua. Rocco (2007) sintetiza procedimientos evaluativos para la evaluación de los estudiantes a través de Internet. Los consejos de este autor para generar instrucciones impresas en un examen (rubrics) son breves, lejos de torrentes que hacen mover ruedas de molino, porque desgrana las herramientas en Internet en un reposo viviente.

    El secreto de la tersura de la evaluación en línea hay que buscarlo en la limpidez del recuerdo. Los cuestionarios en línea ofrecen oportunidades – procesamiento de la información archivada - para los evaluadores, al tiempo que limitaciones – fenomenografía o variaciones formales en los aprendizajes que experimentan las personas en los distintos contextos -. Respecto a los sondeos de opinión en línea, Ritter y Sue (2007a,b,c,d,e,f,g,h) compendian en un volumen de la revista New Directions for Evaluation cómo se planifica un cuestionario web, se seleccionan estrategias de muestreo, se recopila la información por medio de preguntas hábilmente formuladas y de representaciones gráficas que posibilitan la accesibilidad y usabilidad de los cuestionarios, se reclutan destinatarios valiéndose de correos electrónicos, se analiza la información expresando estadísticas que se exportan a otras aplicaciones informáticas para la transformación de datos, se informa y se aplica la herramienta. La evaluación en línea no vela una destreza evaluativa sino que desvela una amplia y prosaica competencia evaluativa al convertir a Internet en un elemento referente poco tenido en cuenta por la complejidad del lenguaje tecnológico para hipercodificar una evaluación.

    CINCO: Competencias de un evaluador y su desarrollo profesional.

    Como ha llegado la novela celular a la vida cotidiana, la evaluación de programas, centros y profesores y su metodología ha entrado en los planes de estudio de las titulaciones de formación de profesionales de la educación. La evaluación de programas y la autoevaluación personal por los efectos del credencialismo, también, ha dado auge a examinar la calidad de los programas formativos universitarios y de la formación permanente del profesorado universitario. Con una inagotable capacidad de abducir funciones de evaluaciones de otros servicios, Stiggins (1999) no solo sondea qué estados de Norteamérica utilizan competencias evaluativas en la formación inicial del profesorado, que suma en un listado de 15 estados; además, sintetiza en breve prosa las siete competencias que representan un compendio del buen hacer de un evaluador: (1) conectar las evaluaciones con propósitos claros; (2) clarificar las expectativas de rendimiento; (3) aplicar métodos apropiados de evaluación; (4) desarrollar ejercicios y puntuaciones evaluativas de calidad, criterios y muestreos apropiados; (5) evitar el sesgo en la evaluación; (6) comunicar eficazmente el rendimiento del estudiante, y (7) utilizar la evaluación como una intervención instructiva.

    La llegada de la era electrónica significa el entrenamiento de los usuarios en la decodificación de los nuevos mensajes. La nueva forma de entender las materias de las titulaciones basadas en conocimientos y competencias (CyC) entiende la epistolaridad de las guías de titulación bajo la apariencia de perfiles inscritos en módulos de contenidos programáticos con un sistema de créditos que tiene como ejes: tiempo de esfuerzo estudiantil y espacio de presencialidad o virtualidad. Villar, De Vicente y Alegre (2005) escriben competencias para la mutante titulación de Pedagogía, adaptando a materias la mímesis de competencias básicas del Proyecto Tuning que es signo de esta época. Dentro de las materias del plan de estudios, vinculan la asignatura titulada Evaluación de programas de formación permanente a la tendencia de la programación mediante competencias: por un lado, adaptan algunas competencias genéricas de titulación, y por el otro, se apropian de competencias evaluativas que son la textura de algunos modelos evaluativos citados anteriormente (Stufflebeam, 2001b).

    Recuérdese que tras las recomendaciones formativas se encuentra una especie de poética evaluativa postmoderna de hipertexto, en la que se ofrecen deconstrucciones de aproximaciones evaluativas y la creación de herramientas que por las nuevas tecnologías llegan incluso a las pantallas de videoconsolas o móviles de usuarios. Las organizaciones que prestan variados servicios a los clientes demandan agilidad en la gestión e incremento en la participación de los beneficiarios para dar una retroacción formativa. En una síntesis, Barnette y Wallis (2003: 60) combinan la inclusión educativa como apuesta científica con la evaluación de programas, urgiendo a los administradores de las titulaciones universitarias a seleccionar pertinentemente a los evaluadores: Hay una necesidad de identificar los atributos y características de los evaluadores que pueden ser participantes significativos en la evaluación de la inclusión, y se les debe utilizar para la admisión de estudiantes universitarios en programas de evaluación formal.

    Las competencias de una materia o titulación no deben ser el frío de las entrañas de una programación. Son las pavesas que combustionan durante el periodo de formación inicial para dar calor y músculo a un programa formativo. Ghere, King, Stevahn y Minnema (2006) describen una unidad de formación permanente que actualiza a los docentes en competencias esenciales de evaluadores de programas, y que las utilizan para reflexionar sobre su propia práctica. Los autores resumen en sus conclusiones los asuntos que galvanizan un buen programa de desarrollo profesional, enardeciendo a los educadores a que adapten los procesos evaluativos a cursos de grado en la enseñanza universitaria o de desarrollo profesional docente.

    PARTE DOS: VALIDACIÓN DE COMPETENCIAS DE EVALUACIÓN DE TITULACIONES UNIVERSITARIAS

    SEIS: Investigación evaluativa fundamentante.

    Villar y Alegre (2004) dan fuerza o firmeza a competencias evaluativas de titulaciones para profesores universitarios con objeto de hacerlas válidas. Es un manual planteado en nueve capítulos en el que señalan qué es y cómo se evalúa un programa formativo y cómo se hace experto un profesor universitario a través de 24 competencias entendidas como indicadores de calidad, que revisados posteriormente reducen a 12 competencias (Villar y Alegre, 2006a). Las obras presentan las competencias evaluativas básicas como el punto de arranque para forjar un profesor evaluador que desempeñe a voluntad y en el sistema universitario los papeles de evaluador interno o externo (Tabla 3).

    Ambos libros se asientan en el terreno de la teoría y constituyen la base formativa para indicar el funcionamiento de las competencias evaluativas propuestas por dichos autores en escenarios formativos.

    Tabla 3. Competencias evaluativas en libros formativos

    Villar, L. M. y Alegre, O. Mª (2004). Manual para la excelencia en la enseñanza superior. Madrid: McGraw-Hill.
    Villar, L. M. y Alegre, O. Mª (2006a). Competencias para la formación de evaluadores. Málaga: Aljibe.
    1. ¿Cómo se redactan los objetivos de un programa formativo?
    2. ¿Cómo se implanta la coherencia con los objetivos de un programa formativo?
    3. ¿Cómo se establece la flexibilidad curricular con los objetivos de un programa formativo?
    4. ¿Cómo se hace factible y se instituye la actualización curricular de un plan de estudios en un programa formativo?
    5. ¿Cómo se planifica la mejora continua?
    6. ¿Cómo se redactan los principios y políticas para la gestión de la enseñanza?
    7. ¿Cómo se establece una comunicación eficaz?
    8. ¿Cómo se organiza y revisa la enseñanza?
    9. ¿Cómo se forma pedagógicamente al personal académico?
    10. ¿Cómo se implica al personal académico en actividades de investigación, desarrollo e innovación?
    11. ¿Cómo se valora la docencia del personal académico?
    12. ¿Cómo se involucra al personal auxiliar y de servicios en un programa formativo?
    13. ¿Cómo se adecuan las instalaciones e infraestructuras al proceso formativo?
    14. ¿Cómo se acomodan la Biblioteca y los fondos documentales al proceso formativo?
    15. ¿Cómo se adaptan los medios y recursos a un programa formativo?
    16. ¿Cómo se usa Internet en un programa formativo?
    17. ¿Cómo se fomentan competencias estudiantiles en el proceso de enseñanza-aprendizaje?
    18. ¿Cómo es la metodología de enseñanza-aprendizaje?
    19. ¿Cómo es la metodología de evaluación?
    20. ¿Cómo se supervisan las prácticas externas del proceso formativo?
    21. ¿Cómo se orienta y motiva al estudiante en una tutoría del proceso formativo?
    22. ¿Cómo se mide la satisfacción del alumno en un proceso formativo?
    23. ¿Cómo se hace el seguimiento de la inserción laboral de un alumno egresado?
    24. ¿Cómo se determina la satisfacción de los empleadores y demás grupos sociales de un proceso formativo?
    1. Analizar los objetivos de un programa formativo.
    2. Estimar la flexibilidad curricular de un programa formativo.
    3. Apreciar la planificación de la mejora continua de un programa formativo.
    4. Juzgar la comunicación de un programa formativo.
    5. Reconocer el valor de la investigación, desarrollo e innovación del personal académico.
    6. Valorar el personal académico.
    7. Computar las instalaciones e infraestructuras de bibliotecas y fondos documentales.
    8. Medir los recursos curriculares y equipamientos de un programa formativo.
    9. Examinar las competencias para la formación integral del alumno.
    10.  Comparar las metodologías de enseñanza-aprendizaje.
    11.  Comprobar el mérito de programas de apoyo y orientación al alumno.
    12.  Calcular el valor de la satisfacción del alumno.


    La sinopsis de las competencias evaluativas de ambos libros, inspirada en el modelo EFQM, como la guía de evaluación de la ANECA, está aderezada por el ensayismo y la experiencia. Las obras mueven el concepto de evaluación en la dirección de la docencia como pieza básica para comprender el trabajo académico del profesor, sin omitir otros empeños de creación intelectual donde el docente realiza investigación o innovación, y donde la invención, el descubrimiento, la percepción y la perspicacia son experiencias profesionales que denotan un pensamiento apasionado.

    En otro libro, Alegre y Villar (2006), y en distintos artículos (por ejemplo, Alegre y Villar (2007a, b) y Villar y Alegre (2006b, 2007), los autores hacen un recorrido bilingüe de ejemplos evaluativos propios. Sustentan con esas publicaciones una línea de investigación que resume prolijos informes o memorias de programas de desarrollo profesional docente entregados a universidades e instituciones que los han sustentado: Dirección General de Universidades e Investigación y Agencia Canaria de Evaluación y Acreditación de la Calidad Universitaria del Gobierno de Canarias, Universidades de La Laguna, Las Palmas de Gran Canaria, Sevilla, Jaén, Alicante y Burgos.

    Estas fuentes constituyen el terreno observacional. Son el escenario al que traslado ideas, programas, tratamientos, medidas y observaciones.

    SIETE: Validación de la investigación de aprendizaje de competencias evaluativas.

    Si se extiende hasta sus límites, cabe conjeturar que la investigación evaluativa sobre competencias tiene una apariencia de tránsito hacia la validez. El artículo de Brandon (1998: 326) ancla la validez de la evaluación en el establecimiento de inferencias apropiadas afirmadas a partir de los datos recogidos e informados en las evaluaciones. Discierne Scriven (1991: 372-373) en su diccionario la validez con cierta retórica: Son evaluaciones válidas aquellas que consideran todos los factores relevantes, dado el contexto global de la evaluación (que incluye particularmente las necesidades de los clientes) y determinan apropiadamente su peso en el proceso de síntesis. De esa estampa teórica selecciono los sucesos de la detección de las necesidades, porque ritman con la vida de los protagonistas evaluados. La andadura intelectual de Ryan (2002) ayuda, asimismo, a organizar la aproximación procesual a la indagación sobre la validez evaluativa. Los resortes de su modelo de validez tienen tres vértices: seis criterios de validez (aspectos de contenidos, aspectos sustantivos, aspectos estructurales, aspectos externos, aspectos de generabilidad, y aspectos de consecuencias); cuatro estadios de madurez evaluativa (conceptualización, diseño, implantación y operativo), y cinco grupos de beneficiarios (profesores, padres y estudiantes, equipos directivos, administradores, e iluminadores). Con este telón de fondo irradia su pensamiento, y en su decurso ayuda a descifrar la firma de una evaluación. En otro artículo sobre formación en línea, Connolly, Jones y O’shea (2005: 65) anuncian los episodios de validez por los que pasa su estudio para asegurar la calidad: coherencia en la estructura del curso, calidad de los materiales subidos a la red, evaluación de los materiales subidos a la red por los estudiantes, y hacer ajustes cuando sea necesario. Estas notas sobre la calidad han tenido su presencia en los cursos en línea sobre desarrollo profesional docente en competencias evaluativas que reseño más adelante revelándose igualmente la fidelidad de las acciones formativas con el principio de validez lógica.

    Uno: Beneficiarios. La Agencia Canaria de Evaluación de la Calidad y Acreditación Universitaria (ACECAU) está formalmente reconocida con responsabilidades para el aseguramiento de la calidad externa de las dos universidades canarias: La Laguna y Las Palmas de Gran Canaria. Argumento que los beneficiarios – personal universitario y miembros de la administración educativa - tienen un papel activo en los procesos de aseguramiento de la calidad, y deben participar en procesos evaluativos: desde el diseño de indicadores de calidad o competencias, a la interpretación de datos evaluativos y su posterior utilización de la información evaluativa. Marcadamente evaluativa es también la atmósfera que se respira en la institución universitaria. La intensidad climática se desprende de la evaluación de titulaciones. De ese tronco evaluativo se derivan dos esquejes que pesan en la realidad de la reforma universitaria: la eclosión de comités de autoestudio compuestos por miembros representativos de la comunidad universitaria, y la fuerza aparente de comités de evaluación externa, sobre todo por los informes evaluativos emitidos. El entrenamiento en competencias evaluativas de este fresco social es una necesidad. Como dice Holroyd (2000: 42): Si el nuevo profesionalismo de los académicos se debe centrar en su rol como educadores, entonces ese rol tiene que retener como un punto central la evaluación.

    El primer estudio realizado en formación de competencias, que marca una línea de indagación, y que asegura una cala en el modelo EFQM, consta de una muestra de 21 miembros funcionarios y contratados. Todos son voluntarios y reúnen los siguientes criterios: (a) campus universitario o ACECAU, (b) campo científico, y (c) méritos profesionales. De los 21 participantes, 7 (33.3%) son hombres y 14 (66.7%) mujeres. Cuatro participantes son menores de 24 años (19%). Tres participantes tienen entre 25 y 29 años (14.3%). Las edades de seis participantes oscilan entre 30 y 34 años (28.6%). La horquilla de cuatro participantes (19%) entre 35 y 39 años, y en dos casos, entre las edades de 45 y 49 años (9.5%) (Alegre y Villar, 2007a).

    Dos: Necesidades evaluativas de los profesores. Si comienzo este apartado con el testimonio elocuente de Pololi, Dennis, Winn y Mitchell (2003: 22) - Las evaluaciones de necesidades adoptan a menudo la forma de cuestionarios - es por refrendar el sentido ético de responsabilidad del Modelo de Excelencia de Programas Formativos en Línea (MEPFEL) (Alegre y Villar, 2007a). En efecto, todos los participantes consideran muy necesario el desarrollo profesional en competencias evaluativas. El porcentaje más alto (90.5%) indica que los participantes piensan que la competencia ¿Cómo se valora la docencia del personal académico? es muy relevante para sus intereses y necesidades. Los participantes igualmente reflexionan como muy importantes otras competencias. No obstante, perciben solo la competencia 12: ¿Cómo se mide la satisfacción del alumno en un proceso formativo? de alguna necesidad para su formación. Nueve participantes (42.9%) indican que la preparación en un programa de evaluación de programas es baja (Figura 1).
     

















    Tres: Conceptualización. Cada competencia es una lección de MEPFEL, concebida bajo una aproximación constructivista de cuatro fases - análisis funcional, aprendizaje experiencial, reflexión como meditación, y construcción de compromiso - inspirada en el aprendizaje experiencial de Kolb (1984) y en cuantos autores han seguido modelos cíclicos de reflexión (Schön y Smyth, entre otros, citados en Villar, 1995) (Figura 2).





    Figura 2. Ciclo de aprendizaje de una competencia en MEPFEL

    Cada competencia tiene la misma modulación intratextual: en ella se ofrecen teorías pedagógicas, estudios de caso, propuestas de tareas, y un abanico de recursos para que un participante retorne a su conciencia y construya su propio continuo evaluativo. Cada competencia evaluativa deambula por su modelo correspondiente, con más o menos grosor conceptual y la redentora curiosidad de resolver el misterio de la acción, como esa obra teatral que contiene tempos del adentro y del afuera en una visión unitaria del destino.

    Cuatro: Aspectos Sustantivos. Implica la evidencia que apoya los análisis teóricos y empíricos de los procesos, estrategias, y conocimientos propuestos para responder a la representación de la evaluación. El prototipo MEPFL es una adaptación del modelo EFQM, una raíz de la que provienen los criterios evaluativos. Dicen Modarresi, Newman y Abolafia (2001: 10): Hay una obvia necesidad de fundamentos teóricos cuando se estudia la profesión de evaluación de programas. Este estudio usa modelos teóricos de las profesiones para guiar el desarrollo de medidas. MEPFL pone su énfasis en cómo profesores y otros participantes aprenden y practican competencias evaluativas de una titulación o programa formativo. La meta específica de MEPFL se declara en los siguientes términos: evaluar si los profesores y participantes implicados en MEPFL aprenden las competencias evaluativos a aplicar en un programa formativo.

    Cinco: Aspectos de Contenidos. MEPFL incluye como evidencia de validez la relevancia de sus contenidos y de su representatividad del modelo EFQM (Tabla 4).

    Tabla 4. Criterios y competencias de MEPFL



    Criterio I. Programa formativo
    ·                Competencia 1: ¿Cómo se redactan los objetivos de un programa formativo?
    ·                Competencia 2: ¿Cómo se establecer la flexibilidad curricular con los objetivos del programa formativo?
    Criterio II. Organización de la Enseñanza
    ·                Competencia 3: ¿Cómo se planifica la mejora continua?
    ·                Competencia 4: ¿Cómo se establece una comunicación eficaz?
    Criterio III. Recursos Humanos
    ·                Competencia 5: ¿Cómo se implica al personal académico en actividades de investigación, desarrollo e innovación?
    ·                Competencia 6: ¿Cómo se valora la docencia del personal académico?
    Criterio IV. Recursos Materiales
    ·                Competencia 7: ¿Cómo se acomodan la Biblioteca y los fondos documentales al proceso formativo?
    ·                Competencia 8: ¿Cómo se adaptan los medios y recursos al programa formativo?
    Criterio V. Proceso Formativo
    ·                Competencia 9: ¿Cómo se fomentan competencias estudiantiles en el proceso de enseñanza-aprendizaje?
    ·                Competencia 10: ¿Cómo es la metodología de enseñanza-aprendizaje?
    ·                Competencia 11: ¿Cómo se orienta y motiva al estudiante en una tutoría del proceso formativo?
    Criterio VI. Resultados
    ·                Competencia 12. ¿Cómo se mide la satisfacción del alumno en un proceso formativo?

    También son seis las categorías principales de las cuales penden las competencias esenciales de un evaluador para Ghere, King, Stevahn y Minnema (2006: 110): práctica profesional, indagación sistemática, análisis situacional, gestión de proyectos, práctica reflexiva y competencia interpersonal, manteniendo la congruencia con las registradas en un artículo anterior, referido previamente (Stevahn, King, Ghere y Minnema (2005: 52). La novedad de la propuesta de aquellos autores es que someten a entrenamiento la reflexión sobre la práctica evaluativa en un seminario de dos horas, compuesto por las siguientes fases: (a) bienvenida, (b) apreciación global de las competencias, (c) aplicación de las competencias a un estudio de caso, (d) mapa conceptual de competencias, (e) autoevaluación y planificación del desarrollo profesional, y (f) conclusión (Ghere, King, Stevahn y Minnema, 2006: 112). Es una propuesta de entrenamiento de fragmentación irregular, un tanto heterogénea, que evade la práctica de la evaluación como un aprendizaje de lenta absorción.

    Seis: Aspectos Estructurales. MEPFL tiene piezas inquietantes para los participantes – tests de conocimientos sobre las capacidades – que reflejan el atributo de la validez al mostrar cómo estos y otras estructuras evaluativas se alinean con el dominio de las competencias. Los eslabones evaluativos se desgranan en tres direcciones: (a) desenredado las necesidades de evaluación de los docentes por medio de un cuestionario, a la manera en que Ballantyne, Borthwick y Packer (2000) diseñaron herramientas evaluativas para medir las percepciones de profesores y estudiantes acerca de la necesidad de desarrollo profesional y de mejora de un curso; (b) estrujando la estructura formal de la formación en línea por medio del cuestionario Calidad de MEPFEL, aplicado a cada competencia; por tanto, empleando doce cuestionarios de opiniones sobre capacidades para capturar el cambio potencial en las actitudes de los participantes (por ejemplo, ‘El Indicador es relevante para la formación de un Evaluador’), y (c) apretando el aprendizaje del participante con un cuestionario de Autoevaluación de las competencias, a través de doce pruebas de respuesta múltiple, hechas por los investigadores.

    Siete: Implantación. Las competencias evaluativas de MEPFL localizadas en la plataforma moodle de enseñanza en línea – [http://gid.us.es:8083] – contiene una ficción verdadera por verosímil de una evaluación de un programa formativo a la manera de un aprendizaje en línea apodíctico: caracterización de los participantes como aprendices adultos, resultados de aprendizaje con retroacción formativa inmediata, ambiente dialógico, y factores institucionales de apoyo (Tallent-Runnels et al., 2006).

    La formación evaluativa en línea del personal universitario y de las agencias implica la ejecución de elocuentes simulaciones evaluativas o la representación de acciones en el mundo real para transmitir certezas sobre los criterios que son el vector esencial de la cosmovisión de un programa formativo; una visión genuina de la misma que tienen los docentes, cuyas interpretaciones se declaran y adhieren en dos foros asíncronos titulados: Evaluación institucional de titulaciones o servicios y Autoevaluación de un programa formativo. Las competencias se aprenden por medio de la retroacción formativa, cuyo fin es el incremento del conocimiento, las destrezas y la comprensión de cualquier área de contenido (Shute, 2008: 156). La verificación de las respuestas de las pruebas de elección múltiple se hace automáticamente. Los mensajes de respuesta a las 1.654 actividades (Tabla 3) fueron específicos y dados en tiempo (la inmediatez fue la característica principal del tiempo en la retroacción).



    Tabla 3. Frecuencia de actividades de aprendizaje de MEPFEL
    _____________________________________________________________________________________


    A1
    A2
    A3
    A4
    A5
    A6
    T/P/E
    TOTAL
    Competencia 1
    22
    21
    6
    19
    7
    7
    20
    162
    Competencia 2
    20
    19
    20
    6
    7
    7
    17
    156
    Competencia 3
    20
    18
    15
    7
    5
    8
    17
    147
    Competencia 4
    6
    6
    16
    6
    19
    18
    15
    143
    Competencia 5
    17
    6
    7
    17
    15
    7
    14
    135
    Competencia 6
    8
    15
    6
    6
    17
    16
    15
    130
    Competencia 7
    17
    14
    17
    7
    6
    6
    17
    135
    Competencia 8
    17
    17
    17
    5
    5
    6
    17
    136
    Competencia 9
    12
    15
    6
    15
    6
    7
    11
    124
    Competencia 10
    17
    6
    16
    5
    5
    16
    16
    132
    Competencia 11
    17
    17
    17
    6
    6
    5
    17
    136
    Competencia 12
    16
    6
    16
    7
    4
    14
    15
    127
    TOTAL
    1.654

    Ocho: Aspectos de consecuencias. La verosimilitud en la validez de las competencias evaluativas de MEPFEL alude a las consecuencias intencionales e imprevistas del uso de la evaluación. Los informes personalizados a los profesores adoptan el protocolo de suplementos de titulación y los informes evaluativos presentados ante los beneficiarios de la administración universitaria o política acogen consideraciones y juicios rigurosos. La salud del programa de competencias evaluativas de MEPFEL es correcta, dando satisfacción a otros beneficiarios. Las dos ediciones del título de Experto Universitario en Evaluación de la Calidad en la Enseñanza Superior desarrolladas en la Universidad de Las Palmas de Gran Canaria mantienen esencialmente las competencias evaluativas con una extensión de 20 créditos ECTS para una población de 40 profesores. La evaluación de necesidades de aprendizaje de las competencias muestra que un docente no puede sustraerse a ellas, y que esa necesidad se incrementa después de realizar el curso, es decir, cuando el profesorado especula sobre ellas y las comprende (Alegre y Villar, 2007c). No es vano declarar a este MEPFEL como un curso de competencias evaluativas que no pasa en silencio.

    Reconocimientos

    Gracias a Olga Mª Alegre de la Rosa por sus contribuciones reflexivas en las deliberaciones mantenidas sobre las ideas y las experiencias formativas contenidas en esta ponencia.



    Referencias

    Alegre, O. M. y Villar, L. M. (2006). Evaluación de la formación en línea del profesorado universitario. Evaluation of online faculty development. Madrid: Visión libros.
    Alegre, O. M. y Villar, L. M. (2007a). Modelo de Excelencia de Programas Formativos en Línea (MEPFL). Revista Iberoamericana de Educación, 42 (5), 1-14.
    Alegre, O. M. y Villar, L. M. (2007b). Sistema de desarrollo y evaluación en línea del profesorado universitario (SDELPU): Un estudio de aprendizaje académico. Bordón, 59 (2-3), 401-415.
    Alegre, O. M. y Villar, L. M. (2007c). Experto Universitario en Evaluación de la Calidad en la Enseñanza Superior. Segunda Edición. Título Propio de la Universidad de Las Palmas de Gran Canaria. Aprobado en sesión del Consejo de Gobierno del día 21 de abril de 2006. [http//www.ulpgc.es].
    Altschuld, J. W. (1999). The Case for a Voluntary System for Credentialing Evaluators. American Journal of Evaluation, 20 (3), 507–517.
    Amo, C. y Cousins, J. B. (2007). Going Through the Process: An Examination of the Operationalization of Process Use in Empirical Research on Evaluation. New Directions for Evaluation, 116, 5-26.
    Ballantyne, R., Borthwick, J. y Packer, J. (2000). Beyond Student Evaluation of Teaching: identifying and addressing academic staff development needs. Assessment & Evaluation in Higher Education, 25 (3), 221-236.
    Barnette, J. J. y Wallis, A. B. (2003). Helping Evaluators Swim with the Current: Training Evaluators to Support Mainstreaming. New Directions for Evaluation, 99, 51-61.
    Brandon, P. R. (1998). Stakeholder participation for the purpose of helping ensure evaluation validity: bridging the gap between collaborative and non- collaborative evaluation. American Journal of Evaluation, 19 (3), 325-337.
    Connolly, M., Jones, N. y O’shea, J. (2005). Quality Assurance and E-learning: reflections from the front line. Quality in Higher Education, 11 (1), 59-67.
    Christie, Ch. A. y Azzam, T. (2005). What theorists say they do: A brief description of theorists' approaches. New Directions for Evaluation, 106, 15-26.
    Darabi, A. (2002). Teaching Program Evaluation: Using a Systems Approach. American Journal of Evaluation, 23 (2), 219-228.
    Edelenbos, J. y Van Buuren, A. (2004). The Learning Evaluation. A Theoretical and Empirical Exploration. Evaluation Review, 29 (6), 591-612.
    Fleischer, M. (1983). The evaluator as program consultant. Evaluation and Program Planning, 6 (1), 69-76.
    Ghere, G., King, J. A., Stevahn, L. y Minnema, J. (2006). A Professional Development Unit for Reflecting on Program Evaluator Competencies. American Journal of Evaluation, 27 (1), 108-123.
    Guba, E., y Y. Lincoln (1989). Fourth generation evaluation. Newbury Park, CA: Sage.
    Gunvaldsen, J. A. y Karlsen, R. (1999). The Auditor as an Evaluator: How to Remain an Influential Force in the Political Landscape. Evaluation, 5, 458-467.
    Harnar, M. A. y Preskill, H. (2007). Evaluators' descriptions of process use: An exploratory study. New Directions for Evaluation, 116, 27-44.
    Hendricks, M. (1993). The evaluator as “personal coach”. Evaluation Practice, 14 (1), 49-55.
    Holroyd, C. (2000). Are assessors professional? Student assessment and the professionalism of academics. Active learning in higher education, 1 (1), 28-44.
    Hood, S. (2004). A Journey to Understand the Role of Culture in Program Evaluation: Snapshots and Personal Reflections of One African American Evaluator. New Directions for Evaluation, 102, 21-37.
    Iriti, J. E., Bickel, W. E. y Nelson, C. A. (2005). Using Recommendations in Evaluation: A Decision-Making Framework for Evaluators. American Journal of Evaluation, 26 (4), 464-479.
    Jackson, S. (2001). Exploring the Suitability of the European Foundation for Quality Management (EFQM) Excellence Model as a Framework for Delivering Clinical Governance in the UK National Health Service. Quality Assurance Journal, 5, 19-31.
    King, J. A. (2005). A Proposal to Build Evaluation Capacity at the Bunche–Da Vinci Learning Partnership Academy. New Directions for Evaluation, 106, 85-87.
    King, J. A. (2007). Developing evaluation capacity through process use. New Directions for Evaluation, 116, 45-59.
    King, J. A., Nielsen, J. E. y Colby, J. (2004). Lessons for Culturally Competent Evaluation from the Study of a Multicultural Initiative. New Directions for Evaluation, 102, 67-80.
    King, J. A., Stevahn, L., Ghere, G. y Minnema, J. (2001). Toward a Taxonomy of Essential Evaluator Competencies. American Journal of Evaluation, 22 (2), 229-247.
    Kolb, D. A. (1984). Experimental learning: experience as the source of learning and development. Englewood Cliffs, N.J.: Prentice Hall.
    Levenson, A. R., Van der Stede, W. A. y Cohen, S. G. (2006). Measuring the Relationship Between Managerial Competencies and Performance. Journal of Management, 32 (3), 360-380.
    Määttä, M. y Rantala, K. (2007). The Evaluator as a Critical Interpreter: Comparing Evaluations of Multi-Actor Drug Prevention Policy. Evaluation, 13, 457 - 476.
    Mabry, L. (2001). Responsive Evaluation Is to Personalized Assessment. New Directions for Evaluation, 92, 89-102.
    MacNeil, Ch. (2002). Evaluator as Steward of Citizen Deliberation. American Journal of Evaluation, 23 (1), 45–54.
    Madison, A. (2007). New Directions for Evaluation Coverage of Cultural Issues and Issues of Significance to Underrepresented Groups. New Directions for Evaluation, 114, 107-114.
    Mann, T. L., Boss, J. y Randolph, S. (2007). Pathways to Prevention: A Training and Technical Assistance Initiative to Increase Program Capacity to Address Infant Mental Health Issues in Early Head Start. Infant Mental Health Journal, 28 (2), 106–129.
    Mark, M. M., Henry, G. T. y Julnes, G. (1999). Toward an Integrative Framework for Evaluation Practice. American Journal of Evaluation, 20 (2), 177-198.
    Mathison, S. (2001). What’s It Like When the Participatory Evaluator is a “Genuine” Stakeholder? American Journal of Evaluation, 22 (1), 29–35.
    Mertens, D. M. (1999). Inclusive evaluation: Implications of transformative Theory for evaluation. American Journal of Evaluation, 20 (1), 1-14.
    Mertens, D. M. y Hopson, R. K. (2006). Advancing Evaluation of STEM Efforts Through Attention to Diversity and Culture. New Directions for Evaluation, 109, 35-51.
    Modarresi, S., Newman, D. L. y Abolafia, M. Y. (2001). Academic evaluators versus practitioners: alternative experiences of professionalism. Evaluation and Program Planning, 24, 1-11.
    Monroe, M. C., Fleming, M. L., Bowman, R. A., Zimmer, J, F., Marcinkowski, T., Washburn, J., Mitchell, N. J. (2005). Evaluators as educators: Articulating program theory and building evaluation capacity. New Directions for Evaluation, 108, 57-71.
    Morabito, S. M. (2002). Evaluator Roles and Strategies for Expanding Evaluation Process Influence. American Journal of Evaluation, 23 (3), 321-330.
    Morris, M. y Jacobs, L. R. (2000). You Got A Problem With That? Exploring Evaluators’ Disagreements About Ethics. Evaluation Review, 24 (4), 384-406.
    Myford, C. M. y Cline, F. A. (2001). Designing Assessment Instruments to Measure the Impact of Participation in Short-Term Educational Programs. Studies in Educational Evaluation, 27, 107-131.
    Patton, M. Q. (2002). Teaching and Training with Metaphors. American Journal of Evaluation, 23 (1), 93-98.
    Patton, M. Q. (2005). Diverse and Creative Uses of Cases for Teaching. New Directions for Evaluation, 105, 91-100.
    Patton, M. Q. (2007). Process use as usefulism. New Directions for Evaluation, 116, 99-112.
    Pololi, L. H., Dennis, K., Winn, G. M. y Mitchell, J. (2003). A Needs Assessment of Medical School Faculty: Caring for the Caretakers. The Journal of Continuing Education in the Health Professions, 23, 21-29.
    Poulin, M. E., Harris, P. W. y Jones, P. R. (2000). The significance of definitions of success in program evaluation. Evaluation Review, 24 (5), 516-535.
    Rallis, S. F., Rossman, G. B. y Gajda, R. (2007). Trustworthiness in evaluation practice: An emphasis on the relational. Evaluation and Program Planning, 30, 404-409.
    Ray, M. (2006). Choosing a Truly External Evaluator. American Journal of Evaluation, 27 (3), 372-377.
    Ritter, L. A. y Sue, V. M. (2007a). Introduction to using online surveys. New Directions for Evaluation, 115, 5-14.
    Ritter, L. A. y Sue, V. M. (2007b). Systematic planning for using an online survey. New Directions for Evaluation, 115, 15-22.
    Ritter, L. A. y Sue, V. M. (2007c). Selecting a sample. New Directions for Evaluation, 115, 23-28.
    Ritter, L. A. y Sue, V. M. (2007d). Questions for online surveys. New Directions for Evaluation, 115, 29-36.
    Ritter, L. A. y Sue, V. M. (2007e). The survey questionnaire. New Directions for Evaluation, 115, 37-45.
    Ritter, L. A. y Sue, V. M. (2007f). Conducting the survey. New Directions for Evaluation, 115, 47-50.
    Ritter, L. A. y Sue, V. M. (2007g). Managing online survey data. New Directions for Evaluation, 115, 51-55.
    Ritter, L. A. y Sue, V. M. (2007h). Case studies. New Directions for Evaluation, 115, 57-64.
    Rocco, S. (2007). Online Assessment and Evaluation. New Directions for Evaluation, 113, 75-86.
    Ryan, K. (2002). Assessment Validation in the Context of High-Stakes Assessment. Educational Measurement: Issues and Practice, 21 (1), 7-15.
    Saunders, R. C. y Heflinger, C. A. (2004). Integrating Data from Multiple Public Sources: Opportunities and Challenges for Evaluators. Evaluation, 10, 349 - 365.
    Scriven, M. (1991). Evaluation Thesaurus. Fourth Edition. Newbury Park: SAGE.
    Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78 (1), 153-189.
    Stiggins, R. J. (1999). Evaluating Classroom Assessment Training in Teacher Education Programs. Educational Measurement: Issues and Practice, 18 (1), 23-27.
    Stufflebeam, D. L. (2001a). Evaluation Models. New Directions for Evaluation, 2001 (89), 7-98.
    Stufflebeam, D. L. (2001b). Evaluation Checklists: Practical Tools for Guiding and Judging Evaluations. American Journal of Evaluation, 22 (1), 71-79.
    Stevahn, L., King, J. A., Ghere, G. y Minnema, J. (2005). Establishing Essential Competencies for Program Evaluators. American Journal of Evaluation, 26 (1), 43-59.
    Symonette, H. (2004). Walking pathways toward becoming a culturally competent evaluator: Boundaries, borderlands, and border crossings. New Directions for Evaluation, 102, 95-109.
    Tal, R. T., Dori, Y. J. y Lazarowitz, R. (2000). A project-based alternative assessment system. Studies in Educational Evaluation, 26, 171-191.
    Tallent-Runnels, M. K., Thomas, J. A., Lan, W. Y., Cooper, S., Ahern, T. C., Shaw, S. M. and Liu, X. (2006). Teaching Courses Online: A Review of the Research. Review of Educational Research, 76 (1), 93-135.
    Torres, R. T. (1991). Improving The Quality Of Internal Evaluation: The Evaluator As Consultant-Mediator. Evaluation and Program Planning, 14, 189-198.
    Turnbull, B. (2002). Program Theory Building: A Strategy for Deriving Cumulative Evaluation Knowledge. American Journal of Evaluation, 23 (3), 275-290.
    Villa, A. y Poblete, M. (Dirs.) (2007). Aprendizaje basado en competencias. Una propuesta para la evaluación de las competencias genéricas. Bilbao: Mensajero.
    Villar, L. M. (Dir.) (1995). Un ciclo de enseñanza reflexiva. Estrategia para el diseño curricular. Bilbao: Mensajero.
    Villar, L. M. y Alegre, O. M. (2003). El codiciado carro de heno: metáforas de enseñanza universitaria. En Amigo, Mª L. (Ed.). Humanismo para el siglo XXI. Propuestas para el Congreso Internacional. Bilbao: Universidad de Deusto, 303-312.
    Villar, L. M. y Alegre, O. Mª (2004). Manual para la excelencia en la enseñanza superior. Madrid: McGraw-Hill.
    Villar, L. M. y Alegre, O. Mª (2006a). Competencias para la formación de evaluadores. Málaga: Aljibe.
    Villar, L. M. y Alegre, O. Mª (2006b). Online Faculty Development in the Canary Islands: A Study of E-mentoring. Higher Education in Europe, 31 (1), 65-81.
    Villar, L. M. y Alegre, O. Mª (2007). Online Faculty Development and Assessment System (OFDAS): A Study of Academic Learning. Journal of Personnel Evaluation in Education, 20 (1-2). 21-41.
    Villar, L. M., De Vicente, P. S. y Alegre, O. M. (2005). Conocimientos, capacidades y destrezas estudiantiles. Madrid: Pirámide.
    Worthen, B. R. (1999). Critical Challenges Confronting Certification of Evaluators. American Journal of Evaluation, 20 (3), 533 - 555.