Measuring Educational Environment in Hospital in last grade students of the Facultad of Medicina, UMSS . Cochabamba, Bolivia
Osmar Arce Antezana1,a, Ciro Larrazabal Cordóva1,b,c, Marlene Antezana Soria Galvarro1,a
1Facultad de Medicina, Universidad Mayor de San Simón, Cochabamba-Bolivia. aDocente Investigador Departamento de Educación Médica y Planificación; bJefe del Departamento de Educación Médica y Planificación; cMédico Psiquiatra *Correspodencia a: Osmar Arce Antezana. Correo electrónico: osmarce5@gmail.com
Recibido 02 de abril de 2015.
]]> Aceptado 30 de abril de 2015.
Objetivos: analizar la utilidad del instrumento Postgraduate Hospital Educational Environment Measure (PHEEM) y aplicar en los internos de la Facultad de Medicina de la Universidad Mayor de San Simón.
Métodos: luego de la validación con el equipo de docentes del Departamento de Educación Médica se realiza un estudio cuantitativo, descriptivo de corte transversal. De un universo de 112, se tuvo una muestra de 92 internos cuyo criterios de exclusión fueron el rechazo de llenado del instrumento y cuestionarios incompletos en su llenado.
Resultados: el puntaje final obtenido de 75,16/160 nos sugiere un Ambiente Educacional con muchos problemas, según puntuación del PHEEM. Conclusiones: se identificaron algunas situaciones especiales generadoras de posibles sesgos, como ser sitio y tiempo cronológico de llenado de las encuestas y otras dificultades que pueden alterar los resultados.
Palabras claves: ambiente educacional, salud, instrumento, pregrado, pasantía.
Objectives: to analyze the usefulness of the instrument Postgraduate Hospital Educational Environment Measure ( PHEEM ) and to apply in last medical students of Facultad de Medicina of the Universidad Mayor de San Simón.
Methods: after validation by the team of teachers of the Department of Medical Education it was performer a quantitative descriptive study of cross sectional. From a universe of 112, a sample of 92 students whose exclusion criterion was the rejection of incomplete filling of the instrument and filling question-naires were reported. Results: the final score obtained 75.16 / 160 suggests an educational environment with many problems, according PHEEM score.
Conclusions: some special situations generating potential biases , such as chronological time site and filling surveys which constitute biases that may alter the results were identified.
]]> Keywords: educational environment, health, instrument, undergraduate internship.
Antes de conjugar el término de Ambiente Educativo o Educacional (AE), es conveniente entender la palabra ambiente que según la Real Academia de la Lengua Española es el lugar que reúne ciertas condiciones o circunstancias físicas, sociales y económicas1. Dichos elementos pueden contribuir o entorpecer un determinado objetivo. Por lo que AE se entiende como un espacio con organización y estructura que facilite el acceso al conocimiento de actividades tangibles que contribuyan al manejo optimo del proceso enseñanza aprendizaje2,3.
El Ambiente Educacional (AE), fue estudiado por diversas instancias internacionales dedicadas a la formación de recursos humanos referidos a la salud en Europa y Latinoamérica como Chile (Universidad Católica de Chile)3,4. No existen estudios similares en Bolivia y mucho menos relacionados al área de ciencias de la salud de nuestra universidad pública.
El AE tiene una real influencia en los resultados, la satisfacción y el éxito de los estudiantes, por lo que debe ser considerado en la formación de grado y postgrado en Medicina3,4 considerando que la calidad docente asistencial hará la diferencia final en la formación adecuada y calificada de los futuros profesionales.
El Departamento de Educación Médica y Planificación (DEMyP) realiza una investigación sobre Medición del Ambiente Educacional Hospitalario que permitirá reconocer la utilidad de la encuesta Postgraduate Hospital Educational Environment Measure (PHEEM) o Medición del Ambiente Hospitalario Educacional (MAHE), que evalúa: percepción del rol de autonomías, percepción de la enseñanza y la percepción del soporte social de los internos de la Facultad de Medicina de la Universidad Mayor de San Simón (FM-UMSS).
En nuestra institución son denominados internos los estudiantes que concluyeron con la curricula académica de grado y que se encuentran realizando actividades correspondientes al internado rotatorio, mecanismo adoptado para conseguir la certificación académica (Título Académico) de la Universidad. Este internado está constituido por 5 rotaciones Medicina Interna, Cirugía, Medicina social ( Servicio Social de Salud Rural Obligatorio), Pediatría y Ginecobstetricia, estas actividades fundamentalmente deberían estar constituidas por la atención clínica de los pacientes, la revisión de casos clínicos, la realización de turnos, actividades de proyección a la comunidad, estudio y presentación de temas ante el colectivo de profesionales de los centros hospitalarios; tiene una duración de 12 meses calendario, que en la FM-UMSS empieza el 1ro de enero y concluye el 31 de diciembre y el segundo bloque esta palnificado a partir del 1ro de julio al 31 de junio del siguiente año. Estas rotaciones se realizan por distintos establecimientos hospitalarios con diferente complejidad de atención al paciente, lo que son denominados niveles, siendo de 1er, 2do y 3er nivel, (siendo estos 2 últimos los más complejos) donde estos estudiantes acuden para desempeñarse como internos.
La importancia de conocer fortalezas y debilidades, nos guiará posteriormente a mejorar y reconducir políticas académicas que repercutan positivamente en el perfil del egresado médico, favoreciendo de esta manera la cultura de mejora continua y autoevaluación permanente en la Facultad de Medicina -UMSS.
Existe el instrumentos de encuesta denominado Medición del Ambiente Educacional Hospitalario (MAHE) ó Postgra-duate Hospital Educational Environment Measure (PHEEM) desarrollada por Roff et-al. en 1997. Aplicamos la encuesta PHEEM (MAHE) a los internos de FM-UMSS, previa adaptación a la terminología y nomenclatura regional, sin modificar la esencia de los parámetros a medir y evaluar.
En este estudio pretendemos analizar la utilidad del instrumento PHEEM (MAHE) con los internos de medicina (de un instrumento que se diseñó para evaluar a posgraduados) y presentar resultados de la aplicación de la encuesta en los internos de Medicina de la Universidad Mayor de San Simón, validando el uso del PHEEM para su utilización en evaluaciones periódicas a los internos, además de recabar información sobre su AE y discutir los resultados con autoridades y coordinadores del internado de la FM-UMSS para establecer la pertinencia del mismo.
De un universo de 244 internos de medicina que realizan prácticas en ambientes hospitalarios del departamento de Cochabamba en sus distintos niveles de complejidad, en area urbana, sub-urbana y rural, que tienen convenio docente asis-tencial entre la Universidad Mayor de San Simón la Facultad de Medicina y el Ministerio de Salud, que rotan en cada una de las especialidades como ser Pediatría, Ginecoobstetricia, Cirugía, Medicina Interna, Servicio Social Rural Obligatorio (con sus respectivas sub-rotaciones en los servicios de salud correspondiente).
El proceso previo de validación consistió en la verificación del entendimiento y significancia de cada una de las preguntas que forman parte del instrumento PHEEM, para ello se aplicó el instrumento a un equipo, constituido por docentes y estudiantes, quienes realizaron correcciones u observaciones y por consenso se procedió a la adaptación a terminología y contexto local, obteniéndose un producto final para su aplicación. Se entregó el cuestionario para su llenado, previa instrucción, a 112 internos, teniendo como único criterio de inclusión el deseo voluntario de participación en este estudio. En la etapa de tabulación la muestra quedo en 92, teniendo 30 encuestas con algunas preguntas no respondidas o carentes de datos complementarios requeridos, que motivó su exclusión del estudio.
El cuestionario PHEEM consta de 40 Ítems y una escala de Likert con 5 opciones que tienen un valor de 0 a 4 (Roff et al.)8, esta puntuado de la siguiente manera:
• completamente de acuerdo 4 puntos,
• de acuerdo parcialmente 3 puntos,
• indiferente 2 puntos,
• parcialmente en desacuerdo 1 punto
• totalmente en desacuerdo 0 puntos.
]]> • Este instrumento cuenta con tres dominios:
1) percepción del rol de autonomías (PRA) (ítems 1,4,5, 8,9,11,14,17,18,29,30,32,34,40) es decir 14 x 4=56 de puntaje máximo en esta sub escala.
2) percepción de la enseñanza (PE) (ítems 2,3,6,10,12,15,2 1,22,23,27,28,31,33,37,39) es decir 15 x 4=60 de puntaje máximo en esta sub escala.
3) percepción del soporte social (PSS) (ítems 7,13,16,19,20 ,24,25,26,35,36,38) es decir 11 x 4= 44 de puntaje máximo en esta sub escala.
Debiendo obtenerse un puntaje máximo de 160 y el mínimo es de 0, desglosándose en la Tabla 1, la interpretación de los puntajes de acuerdo al dominio8,9.
Tabla N° 1. Categorías, Puntuación e Interpretación del Instrumento PHEEM
El puntaje más alto significa percepción más positiva, excepto en los ítems 7 ,8 ,11 ,13** (Tabla 2), que son enunciados en negación, y su puntaje es invertido8,9.
Tabla N° 2. Resultados obtenidos del Promedio, Media y Desviación Estándar por ítem.
]]>
Confiabilidad de la encuesta PHEEM
Se realizó una evaluación de la encuesta PHEEM mediante análisis STATA® 12.0 con una escala de relatividad de coeficiente de 0,96 y un Alfa Cronbach de 0,95 lo que comprueba y demuestra un coeficiente de confiabilidad y validez muy alta del instrumento utilizado, además de usar Excel® para sistematización parcial de la información.
Según los creadores del PHEEM8 cualquier ítem con un valor arriba a 3,5 tiene una evaluación óptima y un valor menor a 2 refleja problemáticas a resolver, valores entre 2 y 3 significa que existen aspectos que se pueden mejorar. Lamentablemente en nuestro estudio ninguno de los ítems sobrepaso a 3,5 y se tuvo que adecuar la interpretación en ítems con puntaje > a 2 y < a 2.
En la tabla 4 observamos la evaluación de acuerdo a puntuación establecida del 0 al 4, que existen promedios muy bajos (< a 2) en algunos ítems de la PRA: como ser los ítems 1, 4, 5, 9 reflejando que no existe un reglamento específico o manual informativo en el servicio de salud, no existen charlas de inducción y que las responsabilidades otorgadas no son acordes al nivel que desempeñan los internos, los ítems 8 y11 revelan con su puntaje invertido (por ser preguntas en negación) que el interno realiza trabajos inapropiados para el nivel o al puesto llmandole la atención inapropiadamente y según los ítems 29, 30, 34, no se sentirían parte del equipo de trabajo en los servicios de salud sin oportunidad de aprender procedimientos prácticos adecuados para el grado y que aún no estarían listos para ser médicos cirujanos o especialistas. Los ítems 14, 17, 32, (tienen un promedio > a 2) reflejan según nuestra interpretación, que por encima del 50% de las instituciones de salud cuentan con protocolos clínico quirúrgicos correspondientes, que se respetan las horas de trabajo de los internos, y cuentan con una carga adecuada de trabajo. En síntesis la percepción del rol de autonomías (Tabla 3 y 4), tienen un puntaje de 23,04/56 puntos que según la interpretación de la tabla 1, refleja “una visión negativa del rol de cada uno”.
Tabla Nº 4. Ítems con resultados altos >2 o resultados bajos < 2.
Respecto a la PE, es importante señalar que existe un puntaje relativamente alto (> a 2), en los ítems 3, 21, 23, respecto al tiempo de estudio que se brinda, programas educativos relevantes y con docentes asistenciales bien organizados que reflejaría una conformidad relativa de los internos respecto a estos aspectos académicos relevantes a la misión y visión de la facultad y la universidad. Paradójicamente según el promedio obtenido (< a 2) los ítems 2, 12 ,22, 27 tienen promedios muy bajos y eso se traduce en que los docentes asistenciales no establecen claramente sobre lo que deben saber y hacer, los internos no participan activamente de eventos educacionales, y que no tiene suficientes oportunidades de aprendizaje según sus expectativas, no alientan el aprendizaje autónomo y no ofrecen una adecuada retroalimentación sobre sus fortalezas y debilidades, se obtiene un puntaje de la PE de 28,02/60, que es extremadamente bajo, en este acápite que es el eje para la adecuada formación de nuestros recursos humanos en salud y se traduce según la interpretación propuesta por Roff et al8. “en necesidad de algún reentrenamiento” (Tabla 3).
Tabla Nº 3. Resultados por dominio de la encuesta PHEEM.
Realizado el estudio, se colige que existe una gran confiabilidad del instrumento PHEEM realizado por encima de 15 encuestados y que permite evaluar con el mismo de forma rutinaria y periódica el Ambiente Educacional Hospitalario con el objetivo final de generar un documento útil para realizar la autoevaluación institucional que contribuya a lograr una mejora en las rotaciones hospitalarias, la evaluación periódica sobre las estrategias de enseñanza y aprendizaje de los docentes de la FM-UMSS acorde a la característica Hospitalaria, Universitaria y Social, y reconocer las necesidades de los estudiantes, adecuar programas de capacitación docente10 para mejorar su desempeño como instructores en habilidades
y destrezas correspondientes al área clínica y/o quirúrgica, y activar la gestión institucional de autoridades universitarias con las instancias correspondientes para mejorar las rotaciones asistenciales en los diferentes servicios y formación académica optima intrahospitalaria y extrahospitalaria de los estudiantes,
El puntaje final obtenido de 75,16/160 nos sugiere un “Ambiente Educacional con muchos problemas”, según puntuación del PHEEM, y deberían trabajarse sobre los focos problema, generando estrategias de intervención para la mejora continua de la formación médica. Sin embargo, identificamos algunas situaciones especiales generadoras de posibles sesgos, como ser:
• Sitio donde se realizaron las encuestas simultáneamente (hospitales y servicios de salud del área rural, que no tienen la infraestructura, recursos tecnológicos y/o tutores académicos adecuados o comprometidos con el proceso enseñanza aprendizaje, que representen características similares para ser evaluadas de forma equilibrada y objetiva.
• Tiempo cronológico de aplicación de las encuestas que constituyen en otro factor de probable sesgo, porque los internos realizan su cambio de servicio y no tienen aún la suficiente experiencia y conocimiento sobre el servicio de salud donde hará su rotación y la hermenéutica de trabajo en el mismo que le permita responder las preguntas. Deberían realizarse las encuestas concluyendo sus rotaciones (cada fin de bimestre o semestre), antes de iniciar una nueva rotación.
• Los docentes asistenciales o tutores, en la mayoría de los servicios de salud, no reciben ningún estímulo o retribución económica por la universidad, mucho menos capacitación o formación continua docente (becas de entrenamiento y perfeccionamiento docente), debido a que se “adecuan” a un convenio docente asis-tencial entre la universidad pública y el ministerio de salud, con la simple extensión de un certificado por la universidad, que en la mayoría de los casos no es de utilidad alguna, si el profesional no se halla insti
tucionalizado en el ministerio de salud, para fines de meritocracia en su escalafón. Por lo tanto existe una marcada improvisación y falta de interés en desarrollar el proceso de enseñanza aprendizaje, seguimiento y monitoreo continuo al desarrollo de habilidades y destrezas de los internos, que inciden directa o indirectamente de forma negativa en las distintas percepciones evaluadas con el PHEEM.
Todos estos factores repercuten en la evaluación sobre la formación académica recibida y su ambiente educacional, reflejado en los resultados de la encuesta realizada, aunque no es necesariamente una justificación a lo obtenido en esta investigación.
Otros estudios, específicamente de la Universidad Católica de Chile, no consideran estos aspectos observados, lo mencionado anteriormente ayudaría a generar criterios de inclusión y exclusión para aplicar el instrumento en posteriores trabajos sobre este tema.
]]> En conclusión, el PHEEM es un instrumento muy útil y de fácil uso para evaluar el AE hospitalario y podemos utilizar tanto en posgrado y con internos de Medicina11 -estudiantes de grado- y ampliar su aplicación a otras carreras de ciencias de la salud, previa adecuación a terminología y normativa vigente local.Agradecimientos
Los autores agradecen toda la colaboración prestada a colegas e internos de medicina que coadyuvaron con la socialización para el llenado de las encuestas en el presente trabajo de investigación:
Dr. José L. Hurtado (Hosp. Pediátrico Manuel Ascencio Villarroel), Dr. Ronald Quinteros (Hospital Clínico Viedma), Dra. Zeyla Ayala Elías (Coordinadora Servicio Social de Salud Rural Obligatorio-Internado de la Facultad de Medicina UMSS), Dr. Eduardo Soto (Hosp. Materno Infantil Cocha-bamba), Int. Medicina Daniela Vía Reque, Int. Medicina Diego Apala, Int. Medicina Giancarla Rodríguez.
Conflictos de interés: los autores declaramos que no existe conflicto de intereses.
1. Real Academia Española. Disponible en: http:// lema,rae,es/drae/
2. Ecured. Ambiente educativo. Disponible en: http://www,ecured,cu/index,php/Ambiente_educativo
3. Hoz VG. Ambiente, organización y diseño educativo: Ediciones Rialp; 1991.
4. Cavanaugh S, Simmons P. Evaluation of a school climate instrument for assessing affective objecti-ves in health professional education. Evaluation & the health professions. 1997; 20(4): 455-79.
5. Pimparyon P, Roff S, Mcaleer S, Poonchai B, Pemba S, Educational environment, student ap-proaches to learning and academic achievement in a Thai nursing schools-educational program-mes a WFME position paper, Med Educ 1998; 32 (5):549-58.
]]> 6. Herrera C, Pacheco J, Rosso F, Cisterna C, Ai-chele D, Becker S, et al, Evaluation of the under-graduate educational environment in six medical schools in Chile, Rev Med Chile 2010; 138 (6): 677-84.7. Soemantri D, Herrera C, Riquelme A, Measu-ring the educational environment in health pro-fessions studies: a systematic review, Med Teacher 2010 ; 32 (12): 947-952.
8. Roff S, McAleer S, Skinner A. Development and validation of an instrument to measure the post-graduate clinical learning and teaching educatio-nal environment for hospital-based junior doctors in the UK. Medical Teacher. 2005; 27(4): 326-31.
9. Herrera CA, Olivos T, Román JA, Larraín A, Pizarro M, Solís N, et al, Evaluación del ambiente educacional en programas de especialización médica, Rev, méd, Chile [revista en la Internet], 2012 Dic [citado 2014 Ago, 04] ; 140( 12 ): 1554-1561, Disponible en:http://www,scielo,cl/ scielo,php?script=sci_arttext&pid=S0034-98872012001200006&lng=es , http://dx,doi,org/10,4067/S0034-98872012001200006 .
10. Castillo M, The Teaching Profession Rev Med Chile 2010; 138 (7):902-7.
11. Clapham M., Wall D., & Batchelor A. (2007). Educational environment in intensive care me-dicine-use of Postgraduate Hospital Educational Environment Measure (PHEEM). Medical tea-cher, 29(6), e184-e191.