EDUCACIÓN MÉDICA CONTINUA

 

El diseño de la evaluación
clínica objetiva estructurada
(ECOE)

 

The design of the structured
objective clinical evaluation
(OSCE)

 

 

Vera­Carrasco Oscar^*
* Profesor Emérito de Pre y Postgrado de la Facultad de Medicina­Universidad
Mayor de San Andrés, Especialista en Medicina Critica y Terapia Intensiva

 

 

---

 

 

INTRODUCCIÓN

Con la idea de introducir la estandarización de las pruebas y reducir el número de variables que pudieran impactar la evaluación del desempeño de los estudiantes de medicina, el equipo del Dr. Ronald M. Harden de la Universidad de Dundee (Escocia) en 1972 desarrolla por primera vez el ECOE. La validez y confiabilidad de esta prueba, con altas puntuaciones psicométricas, ha convertido este instrumento en el estándar de oro para la evaluación de la competencia clínica a nivel global, tanto en pregradocomo en posgrado.

En 1975 Harden publicó la versión original del ECOE y desde entonces se han ido modificando algunas características de este examen, con la finalidad de mejorar la calidad con la que se evalúa a los alumnos. Habitualmente, el ECOE se emplea en estudiantes que acaban de concluir todos los créditos de la carrera de Medicina y se considera un elemento fundamental dentro de la evaluación sumativa para que el alumno pueda obtener su título de médico­cirujano.

La evaluación de competencias clínicas realizadas de forma objetiva y estructurada requiere preparar una prueba con algunas consideraciones previas, ya que se trata de un proceso metodológicamente ordenado, con unos componentes específicos que se deben tener en cuenta. Es importante señalar, que solo mediante la acción es posible demostrar que se han adquirido las competencias clínicas. Todas las acciones que no se ajusten a éste, por no ser correctas o porque no se encuentran relacionadas con él, no forman parte del diseño de la ECOE.

La prueba ECOE está diseñada para evaluar el desempeño de los estudiantes ante situaciones clínicas específicas, donde se ponen a prueba sus conocimientos teóricos, razonamiento clínico, habilidades y destrezas, valores, así como su actitud y capacidad de comunicación interpersonal. La parte más trascendente en el diseño de la ECOE es la de definir especificaciones precisas de dicha prueba, acotando lo que se incluye como evaluable y la capacitación que el estudiante deberá demostrar cuando se le coloque en situación de resolver un problema.

Estas especificaciones de la prueba se refieren a cuatro campos: 1) los componentes o áreas competenciales que van a evaluarse, 2) las situaciones clínicas que se van a plantear y que deberán estar predefinidas, 3) el contexto predeterminado en el que se va a desarrollar la prueba de capacitación y 4) los instrumentos preestablecidos que han sido seleccionados para llevarla a cabo.

 

COMPONENTES O ÁREAS COMPETENCIALES

Algunos de éstos que se van a evaluar pueden considerarse como básicos, porque afectan al núcleo de la actuación médica en el entorno clínico. En consecuencia, resultan imprescindibles para que estén presentes con mayor o menor ponderación dentro la prueba global como las siguientes: la Anamnesis, la Exploración física, las Habilidades técnicas, las Habilidades de comunicación, el Plan de manejo (diagnostico o terapéutico) y las Relaciones interpersonales. Otros componentes pueden resultar optativos, como ser: bioética, profesionalismo, docencia, investigación, etc.

La prueba ECOE es una prueba cronometrada, estructurada como un circuito de estaciones que semejan escenarios clínicos verdaderos, con tareas específicas que permiten evaluar la competencia clínica de los estudiantes. El uso de múltiples estaciones en el ECOE se justifica porque el desempeño de un estudiante en un solo caso no es un buen predictor del desempeño en una situación clínica diferente, un fenómeno conocido como especificidad de caso.

Generalmente el número de estaciones de un ECOE varía entre 10 y 20. El número depende de diversos factores como los objetivos que se pretendan, el número y tipo de aspectos que se quiera evaluar, el tiempo que cada examinado debe emplear para realizar la totalidad de la prueba, la disponibilidad de recursos personales, materiales, técnicos, organizativos, etc. El tiempo para cada una de las estaciones suele ser de entre 10 y 15 minutos y cada estación representa un instrumento de evaluación independiente.

El Examen Clínico Objetivamente Estructurado,

conocido por las siglas anglosajonas OSCE (Objective Structured Clinical Examination), propicia una mejor valoración de la competencia clínicas de los educandos a través de una serie de "estaciones", cuyo número está en dependencia de: la gama de habilidades y áreas de contenidos a ser evaluados (generalmente entre 10 y 20 estaciones); el tiempo requerido para cada estación; el tiempo total disponible; los recursos y facilidades existentes para su organización; y el número de educandos a examinar. (Salas Perea, 1998; Tapia, Núñez et al, 2008).

Para esto se puede emplear un paciente real o simulado, ambos estandarizados porque representan el mismo papel en repetidas ocasiones con un padecimiento predeterminado en un caso clínico y en un escenario dinámico o estático. En cada estación se plantea uno de los múltiples escenarios posible que el futuro profesional enfrentará en su práctica diaria. En las estaciones dinámicas se pueden evaluar diversas actividades como son: el interrogatorio, la exploración física, el diagnóstico o la terapéutica de un paciente, es decir, hay una relación interpersonal.

Tipos de estaciones:

•   De procedimientos. En ellas el estudiante interactúa con un paciente real, simulado, estandarizado o con un maniquí para realizar una tarea específica como son: el interrogatorio, la exploración física, el diagnóstico y/o el manejo integral. Algunos ejemplos son interrogatorio, exploración física, habilidades técnicas, entre otros.

•   De interpretación de estudios de laboratorio o gabinete. El estudiante, de acuerdo con un caso clínico, debe anotar los hallazgos y establecer un diagnóstico.

•   De análisis de estudio de investigación. En ellas, el estudiante, al recibir el resumen de un trabajo de investigación, revisa los aspectos de metodología para valorar sus resultados o interpretarlos para la toma de decisiones.

Situaciones clínicas

A pesar de que existen prácticamente innumerables posibles situaciones clínicas que se pueden abordar, es preciso emplear algunos criterios de priorización. Habitualmente se seleccionan problemas o procesos sobre ciertos criterios como los siguientes: Prevalencia: problema que sea muy frecuente en la práctica; Gravedad: situación que implique una especial gravedad en el pronóstico; Morbimortalidad: problema que se acompañe de una elevada morbimortalidad; Actuación precoz: situación que requiera una intervención urgente; Actuación necesaria: toma de decisiones imprescindibles; Viabilidad: situación que se pueda resolver con los recursos de los que se dispone; Déficit educativo: situación o problema en el que se han detectado déficits formativos, y Otros criterios: novedad, disponibilidad de recursos.

 

CONTEXTO

El diseño de una ECOE requiere especificaciones concretas sobre el "escenario" en que tiene lugar la actuación evaluable. En tal sentido, es preciso especificar lo siguiente: el área de conocimiento a la que se refiere el caso incluido en la estación: cirugía, medicina ginecología, pediatría, cardiología, oftalmología, etc.; las características del paciente simulado: edad, sexo, aspecto, nivel sociocultural; el lugar donde se produce la situación: urgencias, consulta de atención primaria, consulta de atención especializada, la calle, hospitalización, bloque quirúrgico.

 

INSTRUMENTOS

Una parte muy importante de las especificaciones requeridas en el diseño de la ECOE son los instrumentos o herramientas de las que los docentes se van a servir para que el alumno lleva a cabo la acción requerida y ésta pueda ser evaluada. Los instrumentos más comunes, que deben seleccionarse de manera adecuada a la acción que se va evaluar, son los siguientes:

•   Pacientes estandarizados, debidamente entrenados para presentar un caso clínico de forma invariable;

•   Maniquíes que permiten la ejecución de determinados procedimientos que no deberían llevarse a cabo en personas en ese momento;

•   Datos clínicos con resultados de exploraciones complementarias que habrán de ser interpretados, en su caso;

•   Informes clínicos que deban redactarse por el alumno con vistas a reflejar su situación previa; Preguntas de respuesta corta (o, en su caso, un examen oral estructurado), formuladas de forma impersonal o por un observador, acerca del problema sobre el que actúa el alumno.

 

CUALIDADES DE LOS INSTRUMENTOS DE EVALUACIÓN

Las cualidades fundamentales que se deben estudiar y definir en cada instrumento son los siguientes:

1.   Validez o coherencia: es el grado en que un instrumento mide lo que se quiere medir. Una cinta métrica es válida para medir una longitud, pero no para medir el peso.

2.   Impacto educativo: En el diseño de los sistemas de evaluación a menudo no se considera el impacto que puede tener sobre el estudiante. Sin embargo, hace tiempo que se ha observado que los procesos de evaluación dirigen el aprendizaje. El tipo de evaluación determina cómo estudian los candidatos.

3.   Fiabilidad: La fiabilidad o precisión es el grado en que un instrumento mide de forma consistente lo que se pretende medir. Tiene que ver con la repetición de la medida.

4.   Transparencia: La transparencia en un sistema de evaluación tiene relación con el conocimiento por parte de todas las partes implicadas de las «reglas del juego» (tipo de prueba, criterios de evaluación, etc.).

5.   Equivalencia: El mismo instrumento o evaluación conduce a resultados equivalentes cuando se administran en instituciones diferentes o periodos sometidos a evaluación.

6.   Efecto catalítico: La evaluación provee resultados y feed­back (o retroalimentación) de tal manera que estimula la educación y el aprendizaje.

7.   Factibilidad: En laselección de un instrumento es de capital importancia comprobar que será posible (factible) utilizarlo en el contexto que se pretende. Esto implica calcular el coste de la evaluación en términos de recursos (humanos y materiales) y de tiempo.

8.   Aceptación: La aceptación es el grado en que los candidatos aceptan la evaluación porque la consideran adecuada. A mayor validez y fiabilidad contrastadas y documentadas, mayor aceptación por parte de los candidatos.

 

ELABORACIÓN DEL INSTRUMENTO DE EVALUACIÓN

•   Determinar los atributos de las competencias clínicas esperadas en el evaluado por medio de un cuadro de especificaciones y una matriz de contenidos.

•   Seleccionar a los evaluadores y pacientes previamente capacitados, así como las estaciones correspondientes a cada procedimiento que se desea evaluar y el espacio físico apropiado, es decir, lo más parecido a un escenario real.

•   Si se trata de una estación dinámica se debe considerar que exista un paciente capacitado o modelo y una mesa de exploración, asimismo se debe contar con los instrumentos necesarios para realizar el procedimiento solicitado. Cuando se trata de una estación estática se debe verificar que se cuente con el material necesario, como microscopio, computadora, lápiz y papel, etc.

•   Elaborar o seleccionar instrumentos de evaluación (puede ser una rúbrica o una lista de cotejo) que nos permitan conocer el nivel de desempeño de cada sustentante. Deben contener los indicadores que se quieran evaluar y que correspondan con los objetivos planteados.

•   Elaborar o seleccionar el material de apoyo para la aplicación del ECOE. Instrucciones para el paciente estandarizado

Para diseñar los instrumentos de evaluación en la enseñanza de la Medicina varios autores afirman que resulta importante tener en cuenta la Pirámide de la competencia de Miller, pues la evaluación de los conocimientos y la adquisición de competencias clínicas tienen diferentes niveles. (Al­Wardy, 2010; Delgado y Restrepo, 2012; Flores, Contreras y Martínez, 2012; Martínez Carretero, 2005; Tejeda, 2011).

La pirámide de Miller tiene una estructuración jerárquica que comienza con la cognición y termina con la evaluación de la conducta en la práctica profesional. El primer escalón de la pirámide se refiere al conocimiento "saber" o recordar, que puede evaluase con instrumentos de evaluación escrita como los exámenes de selección múltiple, el segundo escalón se refiere al conocimiento aplicado, el "saber cómo" o integrar, que también puede evaluarse de manera escrita con exámenes de selección múltiple.

A partir del tercer escalón hasta el cuarto escalón ya no se deben utilizar las evaluaciones escritas, este nivel se refiere a la competencia clínica, el "mostrar cómo" lo hace, para evaluar este rubro se utilizarán evaluaciones con simuladores, que intentan reproducir situaciones similares de la vida real en condiciones estandarizadas, que permiten que los observadores puedan analizar las actuaciones específicas que se pretenden evaluar. Estos métodos de evaluación de este nivel de la pirámide de Miller incluyen, la Examen Clínico objetivo estructurado (ECOE) y las simulaciones por ordenador y los enfermos simulados estandarizados.

El cuarto escalón y cúspide de la pirámide se refiere al desempeño del médico en la práctica, el "hacer" durante el trabajo cotidiano, es decir, es necesario conocer la actuación de un profesional frente a una situación clínica específica, en este nivel se requiere de métodos de e instrumentos de evaluación de otro tipo como son: la revisión de las historias clínicas, la observación de la práctica por colegas o mediante videos, encuestas de satisfacción de enfermos o familiares, portafolio, la calidad de las prescripciones terapéuticas entre otras. Ver figura Pirámide de Miller.

Ventajas de la evaluación por competencias para los procesos de enseñanza y de aprendizaje

•    Para la enseñanza: El profesor puede identificar las áreas que necesita mejorar; el docente puede constatar las competencias logradas por sus alumnos a nivel personal y grupal; reconoce las diferencias individuales y toma en cuenta la diversidad; aporta evidencias de conocimientos habilidades, destrezas, valores, actitudes y logros alcanzados.

•    Para el aprendizaje: El aprendizaje mejora cuando el estudiante sabe claramente lo que se espera de él; motiva al alumno al saber cómo se evaluar a su desempeño; ayuda al alumno a determinar su propio progreso y así identificar sus áreas fuertes y débiles; permite conocer las competencias logradas.

¿Cuál el porcentaje ideal para la evaluación de los aprendizajes?

El porcentaje ideal para la evaluación de los aprendizajes de competencias según la escuela de María Mazarello es la siguiente: para los saberes conceptuales (saber) un puntaje del 30%, para los saberes procedimentales (saber hacer) 40% y para los saberes actitudinales (saber ser) 30%, todo sobre un puntaje máximo del 100%.

Finalmente cabe señalar que, para cumplir con los objetivos de evaluación planteados al aplicar un ECOE, es necesario contar con una adecuada planeación y diseño, así como los recursos necesarios para su realización. Esta herramienta de evaluación brinda al alumno la oportunidad de reconocer sus fortalezas y sus áreas de oportunidad a fin de mejorar su práctica profesional.

 

REFERENCIAS

•   Domínguez­González A y uzmán­Valdivia G. Cómo afrontar con éxito el examen clínico objetivo estructurado (ECOE). Educ Med. 2018; 19 (6): 369­374

•   Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. BrMedJ. 1975;1:447­—­51.         [ Links ]

•   Newble D, Swanson D. Psychometric characteristics of the Objective Structured Clinical Examination. Med Educ. 1988; 22:325­34.         [ Links ]

•   Martínez GA, Trejo MJA, Fortoul GTI, Flores HF, Morales LS, Sánchez MM. Evaluación diagnóstica de conocimientos y competencias en estudiantes de medicina al término del segundo año de la carrera: el reto de construir el avión mientras vuela. Gac Med Mex. 2014;150: 35­48.         [ Links ]

•   Trejo MJA, Martínez GA, Méndez I, Morales LS, Ruiz L, Sánchez M. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex. 2014; 150: 8­17.         [ Links ]

•   Pascual­Ramos V, Med rano­Ramírez G, Solís­Vallejo E, Bernard Medina AB, Flores­Alvarado DE, Portela­Hernández M, et al. Desempeño del examen clínico objetivo estructurado como instrumento de evaluación en la certificación nacional como reumatólogo. Reumatol Clin. 2015; 11:215­20.         [ Links ]

•   Vera­Carrasco O. Evaluación de las competencias. En Ac. Dr. Oscar Vera Carrasco. Libro de texto Modelo Docente Universitario en Medicina Basado en Competencias. Segunda edición. La Paz­Bolivia. ÉLITE Impresiones 2018         [ Links ]

•   Soto­Estrada G, Hernández­Gómez EM, Martínez­González A. ECOE. En Melchor Sánchez Mendiola, Adrián Martínez González. Evaluación del y para el aprendizaje: instrumentos y estrategias. Coordinación de Desarrollo Educativo e innovación curricular UNAM. Primera edición Ciudad de México UNAM, Coordinación de Desarrollo Educativo e Innovación Curricular, 2020        [ Links ]

•   Trejo­Mejía JA, Sánchez­Mendiola M, Méndez­Ramírez I, Martínez­González A. Reliability analysis of the objective structured clinical examination using generalizability theory. Med Educ Online. 2016; 21:31650.         [ Links ]

•   Salomón Cruz J, Castillo Orueta ML, González Carlos de la Cruz. Evaluación en la Enseñanza de la Medicina en una Institución Pública. 2015        [ Links ]

•   MillerG.E. The assessment of clinical skills/competence performance. Acad Med. 1990; 65 (suppl9): 63­67. Doi: 10.1097/00001888­199009000­00045        [ Links ]