Competence Evaluation for Medical Undergraduates

Abstract
In 2005, the Universidad Nacional de Cuyo identified and defined six medical competences totaling 27 components for students aspiring to graduate from medical school. This paper provided a deeper insight into the evaluation requirements of medical learning. Subsequently, systems and methods utilized to evaluate undergraduate education were studied in a sample of 17 subjects of the medicine degree course. It was found that in most clinical subjects, competence components were not evaluated, except for medical knowledge, and even in this latter case, evaluation tools were neither validated, nor reliable. At the end of this paper four general criteria were established to assess evaluation systems and tools that should be applied to subjects of the medicine degree course within Competence-Based Medical Education. The present paper aims at stating and explaining the rationale for those general evaluation criteria. These include: 1) Focusing evaluation on all competences, not only medical knowledge. 2) Checking the learning process of every student in a variety of clinical situations. 3) Evaluating the learning process before the final exam. 4) Using performance tests as essential tools.

Key words
undergraduate medical education, competencies, assessment, inclusive principles

Artículo completo
A partir de la información obtenida de un proceso de autoevaluación y evaluación externa (1994), la Facultad de Ciencias Médicas de la Universidad Nacional de Cuyo comenzó a elaborar un nuevo currículum para su carrera de Medicina, que se instaló a partir de 1997.¹ Dicho currículum se guió por principios relacionados con un nuevo enfoque científico-antropológico-social, con integración vertical y horizontal de las disciplinas, con protagonismo y significación en el aprendizaje. Incorporó aprendizaje basado en problemas, en el ciclo básico, y aprendizaje a partir del trabajo con pacientes, en el clínico. Instaló una evaluación continua del aprendizaje, así como evaluaciones sumativas al finalizar cada curso y evaluaciones integradoras globales al finalizar cada ciclo.

Todo este cambio echó mano a varios modelos de desarrollo curricular. Se trabajó a partir del Modelo de Disciplinas vigente para elaborar cursos integrados por dos o más de ellas. Se utilizó un Modelo de Procesos al momento de decidir tanto la integración de disciplinas para favorecer la construcción de redes conceptuales en los alumnos, como para tomar decisiones sobre métodos de enseñanza, estrategias de aprendizaje y sistema de evaluación. Se manejó un Modelo de Objetivos cuando se consideraron los resultados a lograr, en forma de comportamientos de los alumnos, en los distintos cursos y al finalizar la carrera, lo cual permitió tomar decisiones sobre las pruebas globales integradoras y asegurar la formación de un médico competente.

En 2003 la primera cohorte del nuevo currículum concluyó su formación médica y debió demostrar los resultados de sus aprendizajes en la primera Prueba Global de Ciclo Clínico, compuesta por dos instancias: un examen escrito de 100 preguntas sobre casos clínicos de Medicina Interna, Cirugía, Gineco-Obstetricia, Pediatría y Psiquiatría, y un examen oral con pacientes estandarizados de ocho estaciones.² La decisión de incluir estos dos exámenes en esta prueba final fue tomada por las autoridades de la Facultad, a partir del consejo de la Asesoría Pedagógica.

En 2004, el equipo estable de investigación educativa de la Facultad, con sede en la Asesoría Pedagógica, decidió aportar información que permitiera tomar decisiones más fundamentadas sobre la índole de esta última prueba global. Para ello emprendió la tarea de formular las competencias profesionales del médico al egreso de la carrera de grado, trabajando con el Modelo de Competencias, que se ha venido difundiendo en las escuelas médicas del mundo.^3-7 El trabajo, publicado en 2006,⁸ implicó la identificación y definición de seis competencias con 27 componentes en total (Tabla 1), e incluyó definiciones en cuanto a cómo y cuándo evaluar los componentes de dichas competencias. En estas tareas participó buena parte del claustro de profesores, 50 de ellos pertenecientes al ciclo clínico de la carrera, que señalaron como indispensable la utilización de pruebas de desempeño para evaluar la mayoría de los componentes de las competencias médicas.







Este trabajo permitió configurar una visión más integral del perfil del futuro médico y proveyó una idea más clara respecto de las necesidades de la evaluación del aprendizaje. Sin embargo, y a pesar de que muchos profesores habían participado en él, la difusión de los resultados no produjo mayores cambios en los sistemas tradicionales de evaluación de las asignaturas, ni en los instrumentos de evaluación utilizados. Los mismos profesores que, durante el trabajo, habían señalado la necesidad de evaluar con pruebas de desempeño, seguían asignando calificaciones a sus alumnos a partir de exámenes teóricos. Por ello, en 2006 se planteó una nueva investigación para estudiar los sistemas e instrumentos de evaluación utilizados por una muestra representativa de 17 asignaturas de la carrera de grado, en función de determinar si eran válidos y confiables para evaluar las competencias médicas ya definidas. El trabajo incluía también la formación docente, para mejorar sus sistemas e instrumentos de evaluación, y una revaluación a partir de estas intervenciones.⁹ Como era de esperar, los resultados del diagnóstico no fueron halagüeños y se decidió intervenir para capacitar a los equipos docentes de cuatro de las asignaturas en estudio. A partir de esa intervención formativa se logró una mejora considerable en los sistemas e instrumentos de evaluación de las cuatro asignaturas.

Una vez culminado el trabajo mencionado en el párrafo anterior y a partir de lo aprendido durante el año y medio invertido en él, el equipo de trabajo pudo enunciar algunos criterios generales sobre los sistemas e instrumentos de evaluación que deben utilizarse en la carrera de Medicina para garantizar una evaluación válida y confiable de las competencias médicas que deben construir los alumnos durante su formación.

El presente trabajo intenta explicar y fundamentar esos criterios generales de evaluación en el marco de la Educación Basada en Competencias.


Criterios generales de evaluación del aprendizaje en la Educación Basada en Competencias
Orientar la evaluación hacia todas las competencias, en vez de sólo al conocimiento

La tradición en las escuelas médicas del mundo –tanto en el grado como en el posgrado– durante la mayor parte del siglo XX, ha sido evaluar los resultados del aprendizaje de los estudiantes a través de pruebas verbales, escritas u orales, en algunos casos acompañadas del clásico examen clínico con paciente. Esta práctica sigue vigente en la mayoría de las carreras de Medicina de la República Argentina.

¿Qué se evalúa en un examen final oral o escrito? El conocimiento declarativo, nunca el procedimental. La diferencia entre ambos tipos de conocimiento radica en que el conocimiento declarativo se almacena en la memoria para ser recuperado en el momento necesario para el discurso, mientras que el conocimiento procedimental se archiva de modo de poder ser utilizado en el momento en que hay que actuar. Se puede pensar que si un estudiante demuestra en el examen que “sabe” un tema o “sabe cómo”¹⁰ utilizarlo, podrá aplicarlo al momento de trabajar con un paciente. Sin embargo, esto no sucede, porque las claves para recuperar de la memoria ese conocimiento almacenado no han sido instaladas a partir de la situación real de un paciente.^11,12 Por tanto, lo único que se puede inferir a partir de un buen desempeño en un examen verbal es que el estudiante ha construido bien sus conocimientos. De ninguna manera se puede afirmar que podrá utilizarlos correctamente en la resolución de problemas de salud en un escenario real de trabajo.

El proceso de razonamiento clínico ha sido objeto de investigación en los últimos 30 años.¹³ Hay numerosas investigaciones sobre el modo en que razonan los médicos expertos y los novatos.^14,15 Y son los resultados de estas investigaciones los que informan que un médico de mínima experiencia con pacientes, si bien puede explicar teóricamente muchos conocimientos de fisiopatología y de clínica, no puede resolver los problemas de salud de un paciente, empezando por un buen diagnóstico. Por tanto, que un estudiante recuerde y explique un contenido en un examen oral, no garantiza que pueda utilizar ese conocimiento con un paciente.

Es importante tomar conciencia, entonces, de que con un examen oral o escrito sólo se evalúa el conocimiento declarativo, nunca el procedimental, que garantizaría la habilidad de utilizar ese conocimiento para solucionar una situación real. Esto implica que, con este instrumento, sólo se puede afirmar que un estudiante recuerda y comprende determinado tema y, en consecuencia, ha logrado construir parcialmente la competencia denominada “conocimiento médico”.

De hecho, en los cinco años en que la carrera de Medicina de la Universidad Nacional de Cuyo ha evaluado a los estudiantes próximos al egreso en la Prueba Global de Ciclo Clínico, se ha observado que es mucho más importante el bagaje de conocimientos teóricos que las habilidades clínicas de los estudiantes, en razón de los mejores puntajes logrados por cada cohorte de alumnos en el examen escrito que en el oral con pacientes estandarizados.

En la República Argentina el título de grado es habilitante para el ejercicio profesional. Por ello, las instituciones que forman médicos deberían ocuparse de evaluar todas las competencias médicas del estudiante antes de su egreso, si se quiere dar fe de que el futuro médico será capaz de resolver determinados problemas de salud.

En síntesis, no debe utilizarse, como única fuente de información sobre el aprendizaje del estudiante, el clásico examen verbal final, pues sólo evalúa parcialmente la competencia “conocimiento médico” y no hay garantía de que el estudiante haya desarrollado las demás competencias médicas requeridas para el ejercicio profesional. Será necesario orientar la evaluación hacia todas las competencias, buscando otros instrumentos de medición del aprendizaje, para dar fe de que el médico que egresa de una carrera de grado es competente como tal.


Verificar el aprendizaje de cada alumno en múltiples y variadas situaciones clínicas

Además del examen oral, algunas asignaturas suelen evaluar el aprendizaje de los alumnos con el clásico examen clínico con paciente, en un intento de investigar las “habilidades clínicas” del estudiante. Este examen consiste en pedirle al estudiante que interrogue y examine un paciente, observado por un docente, y analice posibles decisiones diagnósticas y terapéuticas de acuerdo con sus hallazgos.

¿Evalúa este examen clínico clásico los componentes de la competencia “habilidades clínicas” del alumno? Sólo lo hace para esa situación clínica. A partir de él no puede inferirse que el estudiante posea habilidades clínicas.¹⁶ ¿Por qué razón?
En un ya antiguo pero vigente trabajo,¹⁷ analizando el razonamiento clínico, Elstein y colaboradores demostraron la especificidad del contenido en la capacidad de resolución de problemas. Esto es, la capacidad para resolver un problema depende totalmente de los conocimientos que la persona posee sobre el tema en cuestión. Trasladado este principio a la evaluación de “habilidades clínicas”, es imposible inferir que un estudiante que demuestra habilidad con un paciente cardíaco, se desempeñará igualmente bien en el interrogatorio, examen físico, diagnóstico, diagnósticos diferenciales y tratamiento de un paciente neurológico.

Todo instrumento de evaluación debe ser válido y confiable, para inferir –sin temor a equivocarse– que sus resultados serán predictivos del desempeño del futuro médico. Pero, por lo expuesto en el párrafo anterior, la validez y confiabilidad de un examen dependen de que éste incluya una muestra representativa del contenido a evaluar.¹⁸

En consecuencia, para inferir que un estudiante posee suficientes “habilidades clínicas”, debe evaluarse su aprendizaje en múltiples y variadas situaciones que incluyan varios pacientes con problemas distintos. En este sentido, el clásico examen clínico no sería un instrumento válido y confiable. Norcini recomienda, para los exámenes de desempeño clínico, entre 10 y 12 situaciones distintas, para garantizar validez y confiabilidad, y observadas por cuatro o cinco docentes distintos, de modo que la objetividad garantice también la confiabilidad.¹⁹

Del mismo modo, el examen final oral –como única fuente de información de los resultados del aprendizaje– tampoco es un instrumento válido ni confiable para evaluar conocimientos declarativos, pues durante su transcurso sólo se investigan unos pocos temas de todo el programa de contenidos de la asignatura. En este sentido, para verificar los conocimientos que un estudiante posee, son mucho más recomendables los exámenes escritos de suficiente cantidad de preguntas como para barrer una muestra representativa de los contenidos del programa.⁹
En síntesis, en cada asignatura debe verificarse el aprendizaje de cada alumno en múltiples y variadas situaciones, sobre suficientes temas del programa, para garantizar la validez y confiabilidad de la evaluación de los componentes de las competencias médicas.


Realizar evaluación de proceso, previa al examen final

Según se dijo, con un examen final teórico sólo se evalúa parcialmente la competencia “conocimiento médico”. Si se quieren evaluar otras competencias, como “habilidades clínicas” o “habilidades de comunicación” en el examen final, hay que incluir un examen clínico. Sin embargo, en un examen final sólo puede controlarse el desempeño del alumno en una situación única, lo cual le quita validez y confiabilidad al examen.

En consecuencia, el examen final no debe ser el único modo ni la única oportunidad de evaluar y calificar al alumno, si se pretende inferir a partir de él su futuro desempeño en esa área del conocimiento. De allí que sea indispensable observar al alumno actuar con pacientes en buena cantidad y variedad de situaciones durante el cursado.¹⁹

Esta evaluación continua durante el cursado es una evaluación formativa, en la cual la retroalimentación que el docente dé al estudiante servirá para mejorar progresivamente su desempeño. Pero, especialmente hacia el final del cursado, deberán otorgarse calificaciones e incluirlas en la nota final del alumno. Una calificación integrada por información sobre su desempeño en múltiples y variadas situaciones con pacientes será más válida y confiable y, por tanto, permitirá emitir un juicio más certero sobre su futura actuación profesional.


Utilizar pruebas de desempeño como instrumento indispensable

Si se leen cuidadosamente las competencias médicas y sus respectivos componentes enunciados en la Tabla 1, o cualquier otro listado de competencias formuladas por otras escuelas de Medicina, se verá que no es posible evaluarlas válidamente sólo con exámenes teóricos.^18,20 Por el contrario, los componentes de las competencias enuncian comportamientos científicos, humanísticos, sociales, éticos, legales, que el docente sólo puede investigar en el alumno a partir de la observación de su conducta.^18,21-23

En las entrevistas y encuestas realizadas en 2004-2005⁸ entre los docentes de la carrera de Medicina de la Universidad Nacional de Cuyo, ellos mismos aseveraron que la mayoría de los componentes podían evaluarse sólo a través de la observación del desempeño de los alumnos, en situaciones reales de trabajo con pacientes. Sin embargo, muchas asignaturas continuaron utilizando el examen verbal final como única fuente de información para calificar al alumno. ¿Por qué? Probablemente porque el tiempo y los recursos docentes requeridos para controlar el aprendizaje de los alumnos mientras actúan con pacientes son abundantes, mucho más que si se los evalúa con instrumentos verbales. Sin embargo –como ya se ha dicho– los exámenes verbales o teóricos sólo permiten evaluar, en parte, el conocimiento médico.

¿Se podría dudar de que las habilidades clínicas, las habilidades de comunicación, el desarrollo profesional y personal, la conducta ética y legal y la buena utilización de los recursos disponibles del sistema de salud y del contexto social, son comportamientos que solamente pueden evaluarse a partir de la observación de la conducta del médico (o del futuro médico) en situación real de trabajo?¹⁹
No cabe duda de que, sin desterrar el uso de instrumentos verbales de evaluación –sean orales o escritos– debe considerarse como indispensable la utilización de pruebas de desempeño, en especial en asignaturas del ciclo clínico. Esto si se quiere garantizar que el que egresa es un médico competente.

Bibliografía del artículo
1. Universidad Nacional de Cuyo. Ordenanza N° 2/97-CS, marzo 1997.
2. Reta de Rosas AM, Bordín C, Carrasco N, Gago FE, López Vernengo CA, Odoriz B, Reta E y otros. The first experience of a Global Clinical Examination at the National University of Cuyo Medical School. JIAMSE 15(2):60-64, 2005.
3. Smith SR, Dollase R. Planning, implementing and evaluating a competency-based curriculum. Med Teacher 21(1):15-22, 1999.
4. The Scottish Deans' Medical Curriculum Group. The Scottish doctor-learning outcomes for the medical undergraduate in Sotland: a foundation for competent and reflective practitioners. Med Teacher 24(2):136-143, 2002.
5. Schwarz MR, Wojtczak, A. Global minimun essential requirements: a road towards competence-oriented medical education. Med Teacher 24(2):125-129. 2002.
6. Palés J, Cardellach F, Estrach MT, Gomar C, Gual A, Pons F, Bombi JA. Defining the learning outcomes of graduates from the medical school at the University of Barcelona (Catalonia, Spain). Med Teacher 26(3):239-243, 2004.
7. Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teacher 29(7):642-647, 2007.
8. Reta de Rosas AM, López MJ, Montbrun MC, Ortiz A, Vargas AL. Competencias médicas y su evaluación al egreso de la carrera de medicina de la Universidad Nacional de Cuyo (Argentina). Educ Médica 9(2):75-83, 2006.
9. Reta de Rosas AM, López MJ, Vargas AL, Montbrun MC. Evaluación orientada por Educación Basada en Competencias (EBC) en la carrera de medicina de la Universidad Nacional de Cuyo (Argentina). Enviado para su publicación a Educación Médica.
10. Miller GE. The assessment of clinical skills/competence/performance. Acad Med 65(9):63-67, 1990.
11. Grant J, Marsden P. The structure of memorized knowledge in students and clinicians: An explanation for diagnostic expertise. Med Educ 21:92-98, 1987.
12. Grant J. Learning to make the diagnosis. Open University Centre for Education in Medicine. http://iet.open.ac.uk/oucem/ Acceso en septiembre 2007.
13. Nolla Domenjó M. El proceso cognitivo y el aprendizaje profesional. Educ Médica 9(1):11-16, 2006.
14. Eva KW. What every teacher needs to know about clinical reasoning. Med Educ 39:98-116, 2004.
15. Norman GR, Brooks LR. The non-analytical basis of clinical reasoning. Adv Health Sci Educ 2:173-184, 1997.
16. Norcini JJ. The death of the long case? BMJ 324:408-409, 2002.
17. Elstein AS, Schulman LS & Sprafka SA. Medical problem solving: an Análisis of Clinical Reasoning. Cambridge, MA: Harvard University Press 1978.
18. Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 39:309-317, 2005.
19. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The Mini-CEX: A method for Assessing Clinical Skills. Ann Intern Med 138:476-481, 2003.
20. Mager RF. Medición del intento educativo. Buenos Aires: Editorial Guadalupe 1982.
21. Harden RM, Gleeson FA. Assessment of Medical Competence using an Objective Structured Clinical Examination (OSCE). Edinburgh, ASME Medical Education, Booklet Nº 8, 1979.
22. Friedman Ben-David M. Assessment in outcome-based education. Medical Teacher 21(1):23-25. 1999.
23. Lynch DC, Surdyck PM, Eiser AR. Assesing professionalism: a review of the literature. Medical Teacher 26(4):366-374, 2004.