Little critical reading of research at an undergraduate medical internship

Abstract
Introduction: Critical reading of research papers is poorly developed among undergraduate interns, and institutional programs ignore it. Cross-sectional reports confirm this, as well as successful interventions. Longitudinal studies are scarce. Objective: To evaluate the development and continuity of critical reading of research papers in undergraduate internship with emphasis on research. Material and methods: cohort study; five groups with 77 students, randomized, from five universities, with five teachers (of varied teaching experience). Strategy: Weekly basis (90 min); reading of an article and guidance resolution, plenary discussion (teacher and classroom) and creation of a protocol. A balanced (interpretation, judgment and proposals), validated, consistent 108-item instrument was applied (baseline, 6-11 months) plus six abstracts (survey, instrument, cases and controls, randomized controlled trials [RCTs], diagnostic test and cohort). Statistics: Nonparametric, intra- and intergroup, randomized analysis. Results: No baseline differences between the grade-point averages, median global rating (13, range 10 to 17), or subcomponents were observed. Overall rating favored G2 (median 23, range 22-39) by the end of the course; all groups performed better (p < 0.05). Progress was maintained at the overall final rating (median 29, range: 23-35). Random performance decreased (60% to 8%) from beginning to end. No progress was observed in RCTs or cohorts. Conclusions: Learning about research is essential in undergraduate studies and allows medical literature to be assessed. A study program and specific activities including it, and a guide from teachers with participatory strategies, help develop this skill, which is maintained in the medium term.

Key words
critical reading of research, medical internship, medical trials, medical education

Artículo completo
Antecedentes

La investigación es una actividad fundamental en las ciencias de la salud, que permite su avance y desarrollo con la incorporación de nuevos conocimientos, sustentados en resultados válidos y confiables y debe incluirse en los planes de estudio.^1-2

Cada mes se publican en las revistas médicas innumerables artículos de investigación, lo que impide su lectura crítica.³ Por ello, es necesario un abordaje diferente, pues con una lectura superficial obtendremos información, pero no conocimiento.⁴
La investigación no se incorpora completamente a los planes de estudio del área de la salud, y cuando se incluye, con frecuencia se aborda de manera tradicional, limitando la participación del alumno en la generación de su propio conocimiento.

Por ello, en el aprendizaje de la investigación debemos tomar en cuenta las distintas corrientes educativas que tratan de explicarlo. Un abordaje que consideramos tradicional, aún vigente, se ejerce primordialmente por la exposición del profesor. Los instrumentos de evaluación en esta visión privilegian el recuerdo y la acumulación de datos. ⁵

Por otra parte, Viniegra aporta un abordaje centrado en el alumno para la elaboración de su propio conocimiento, a través de estrategias educativas que incorporan su experiencia del mundo (experiencia reflexiva); ésta se convierte en el eje de su avance en el conocimiento mediado por el desarrollo de aptitudes propias de su elaboración (entre ellas, la crítica de informes de investigación factual).⁶
Estas estrategias se sustentan en la crítica, ejercida como una actividad que permite el avance del conocimiento. La crítica así referida se equipara a una actividad dirigida a un objeto del conocimiento (ideas o hechos) que, sustentada en la experiencia, permite al que la ejerce descubrir los aspectos fuertes y débiles, explícitos e implícitos de ese objeto para reconstruirlo en una visión personal.⁷

Cuando la crítica se constituye como un elemento primordial en una educación que tiende a la participación, el conocimiento se elabora a partir de la información, es decir que ésta se tamiza a través de la crítica y de la experiencia de quien la enfrenta, otorgándole un nuevo sentido.

Cuando se ejerce en los artículos de investigación se aborda a través de la lectura crítica, que se define como la capacidad del lector de hacer consciente una postura propia sobre lo expresado en el texto, descubriendo los supuestos implícitos, la idea directriz, los puntos fuertes y débiles de los argumentos y proponer otros planteamientos que superen los del autor y así reafirmar o modificar su propia postura. La lectura crítica presenta varios subcomponentes: interpretar, enjuiciar y proponer; entendiendo por interpretar el examinar y teorizar una tabla, una gráfica, el texto, etcétera; enjuiciar se refiere a diferenciar entre lo pertinente, fuerte o débil de lo que no lo es, y proponer es lo que se formula al autor para mejorar el artículo. Esta idea de lectura se enfoca en la elaboración del conocimiento más que en el consumo de información.⁸

La lectura así realizada se sustenta en el poder liberador que ya referían Vigotsky y Freire;⁹ este último la incorpora como una actividad personal pero compartida socialmente, que busca la dialogicidad liberadora.

Numerosos informes muestran un escaso o nulo desarrollo de la lectura crítica de informes de investigación factual en estudiantes del área de la salud, médicos internos de pregrado (MIP), residentes y aun especialistas médicos.^10-14
Por otra parte, cuando se llevan a cabo estrategias educativas que tienden a la participación de los alumnos y que tratan de desarrollar la lectura crítica, los resultados han sido alentadores. Los avances se fortalecen cuando además la actividad se lleva a cabo por alumnos pares. Varios informes en los MIP (un año de rotación clínica hospitalaria posterior a la actividad académica universitaria) se han realizado en esta etapa.^15-19

La investigación en este período es crucial, pues aquí deben afinarse los elementos clínicos para establecer diagnósticos, evaluar la validez de las pruebas diagnósticas, la relevancia de los tratamientos, entre otros temas. La lectura de artículos de investigación se vuelve una herramienta fundamental para sustentar esos aspectos. Una lectura superficial o metodológicamente débil de los artículos revisados conducirá a su pobre evaluación, con las consecuencias negativas en la práctica médica de estos alumnos.

El plan de estudios del internado de pregrado (IP) a nivel nacional no incluye la investigación y se centra en el desarrollo de habilidades clínicas y destrezas psicomotoras. Los MIP realizan guardias ABC (cada cuatro días) lo que limita aun más el tiempo para esta actividad. En el Instituto Mexicano del Seguro Social (IMSS), en Nuevo León, se incorporó como un módulo independiente, espaciando las guardias a una frecuencia ABCD (cada cinco días). Cuenta además con un Centro de Formación Docente que promueve estrategias educativas de participación.^20-22
Se implementó un día, denominado académico, de frecuencia semanal, en el que los MIP elaboran y discuten casos clínicos reales²³ y realizan la lectura crítica de informes de investigación.

Por ello nos preguntamos si el día académico influye en el desarrollo de la lectura crítica, y el objetivo fue evaluar el desarrollo y la persistencia de la lectura crítica de informes de investigación en los MIP en el IMSS de Nuevo León, con un día académico semanal, aplicando un instrumento válido y confiable (ver instrumento).


Material y métodos
Diseño

Seguimiento de cohorte, con población total de 77 MIP, de siete universidades: dos locales y cinco nacionales, asignados por éstas a cinco hospitales generales del IMSS, en Nuevo León.
Variable independiente: Programa académico MIP que incluyó la investigación como curso independiente y de igual importancia a los bimestrales de pediatría, medicina interna, medicina familiar, cirugía general, urgencias y gineco-obstetricia en un ciclo académico anual. En los docentes se investigó la cantidad de años con estrategias educativas participativas.
Variable dependiente: Desarrollo de la lectura crítica de informes de investigación con los resultados de un instrumento de evaluación e indicadores: interpretar, enjuiciar, proponer y global.
Asignación a las sedes: Todos los alumnos fueron asignados aleatoriamente (muestro sistemático) a cinco hospitales generales, denominados hospital 1, 2, 3, 4 y 5, respectivamente, para minimizar la experiencia docente.
Profesores del curso: Se incluyeron cinco profesores (P) y los años de ejercicio docente en estrategias educativas de participación: P1 (12 años), P2 (15), P3 (8), P4 (5) y P5 (2años).
Instrumento de evaluación: Su proceso de construcción, validación y consistencia (0.75 K-R) fue publicado antes.²⁴ Se sustentó en la lectura crítica y sus subcomponentes (interpretar, enjuiciar y proponer) con seis resúmenes de diseños (casos y controles, cohortes, pruebas diagnósticas, encuestas, ensayo clínico aleatorizado y diseño de instrumentos). Equilibrado, con 108 reactivos, 36 por subcomponente y 18 por diseño. Con 54 respuestas correctas y 54 incorrectas (Anexo 1).







Calificación del instrumento: Los alumnos debían responder a cada reactivo como cierto, falso o no sé. Cada respuesta correcta (cierta o falsa) sumó un punto y cada incorrecta restaba un punto. Las respuestas no sé, no sumaban ni restaban puntos. La calificación final se manejó con medianas grupales para cada indicador, diseño y un valor global total. La calificación se capturó electrónicamente, en forma ciega.
Aplicación: Se aplicó el mismo instrumento al inicio y al final del curso (cuatro meses) y a los 11 meses (tres tiempos), para evaluar la persistencia del aprendizaje. Se aplicó en días específicos para su resolución en cada sede, en los tres tiempos.

Estrategias educativas: Se implementó un día académico para cada sede. El programa del curso fueron los seis diseños referidos en el instrumento abordando diferentes aspectos metodológicos como validez, consistencia, identificación de variables, pertinencia del diseño, de los métodos estadísticos y análisis de los resultados, entre otros. El curso duró 48 horas, en cuatro meses, con frecuencia semanal y duración de 90 minutos por sesión. Todos elaboraron un proyecto de investigación.

Desarrollo del curso: Artículo y guía. A todos los alumnos se les proporcionó un artículo publicado con los diseños metodológicos referidos, con problemas de salud frecuentes en el país.

Primera fase: Cada artículo se acompañaba de una guía de lectura que incluía varios encabezados, derivando diversos enunciados cortos relacionados con interpretar, enjuiciar y proponer. La guía exploraba los diferentes aspectos metodológicos referidos en el programa (Anexo 2).









Se revisaron doce artículos, dos por cada diseño, diferentes de los del instrumento de evaluación. La guía y el artículo se enviaban por vía electrónica a cada MIP en grupos creados en la web. Para la siguiente fase el alumno debía responder por escrito las guías con argumentos a favor o en contra de los enunciados de la guía.

Segunda fase (discusión plenaria): El profesor del curso discutía cada una de las respuestas con los alumnos, estimulando el debate y la discusión de puntos de vista diferentes y aun opuestos. Los estimulaba en forma permanente para que el debate no decayera. Todos los alumnos participaban en la discusión.


Análisis estadístico

Las medianas fueron la medida de análisis para cada indicador, diseño y calificación global de instrumento. Para la comparación entre grupos e intergrupo se utilizaron las pruebas de la U de Mann-Whitneyy y de Kruskal-Wallis, respectivamente; la prueba de Wilcoxon se aplicó para los avances intragrupo. Se analizaron tres momentos (inicio, intermedio [término del curso] y final [once meses después]), así como para cada diseño.²⁵ Se determinó el nivel del azar en las respuestas,²⁶ con clasificación ordinal de los resultados. Finalmente, se determinó el avance ponderado de los grupos. Se usó el programa SPSS, versión 17,²⁷ para el análisis de los datos.


Resultados

La Tabla 1 revela el efecto de la aleatorización en los cinco grupos, sin diferencias significativas en los promedios universitarios, la evaluación global inicial, por indicadores y diseños. La evaluación global intermedia muestra diferencias después del curso, a favor del grupo 2, en la mediana global, pero no en los indicadores. Esta ventaja se atenúa en la medición final por un descenso del grupo de cuatro puntos y un incremento en los grupos 1 y 5. El grupo 2 superó a los alumnos de los grupos restantes también en la medición final, cuando se compararon con la U de Mann-Whitney.


Tabla 1


Al comparar los valores iniciales por universidad y por hospital existieron diferencias significativas sólo en los promedios escolares, pero no los indicadores. En la medición posterior al curso y la final se mantuvieron sin diferencias en los indicadores.

Cuando se analizó el nivel de azar de los resultados por grupos de profesor (Tabla 2) se observó un nivel de respuestas por azar inicial de entre el 50% (grupo 5) y el 72% (grupo 1). Después del curso, el azar disminuyó para alcanzar valores entre 8% (grupo 2) y 40% (grupo 1). En la evaluación final, once meses después, el nivel del azar se situó entre 6% (grupo 1) y 31% (grupo 2). Dos alumnos alcanzaron el nivel intermedio después del curso en los grupos 1 y 2 aunque sólo dos alumnos del grupo 1 y un alumno del grupo 3 persisten en ese nivel en la evaluación final.


Tabla 2


El avance ponderado fue más pronunciado en el grupo 2 (3.5) en la evaluación intermedia, persistiendo esa ventaja en la evaluación final; asimismo se observó incremento en los grupos 1 (2.8) y 5 (2.7) en esta evaluación, aunque menores del obtenido por el grupo 2.

En cuanto a las medianas, para cada diseño al inicio, después del curso y al final, por grupo de profesor, se observó una significación, por la prueba de Wilcoxon, entre el valor inicial e intermedio en casos y controles en los grupos 1 (p < 0.05), 2 (p < 0.01) y 4 (p < 0.05). En el grupo 5 esta diferencia es ostensible en la comparación inicial, final (p < 0.05). Menos avances se observan en los diseños de cohorte en la evaluación intermedia (excepto los grupos 1 y 2, p < 0.05). No se observaron avances intermedios en encuesta (excepto en el grupo 2, p < 0.01), instrumentos (excepto en el grupo 3, p < 0.01), pruebas diagnósticas (excepto el grupo 3, p < 0.05) y ECA (excepto el grupo 2, p < 0.05). Sin embargo, se observó un avance entre la evaluación inicial y final en encuestas (grupo 2, p < 0.01; grupo 3, p < 0.05), y grupo 5, p < 0.05) en diseño de instrumento (grupo 2, p < 0.01; grupo 3, p < 0.05, y grupo 5, p < 0.05) pero escaso avance entre las mismas mediciones en pruebas diagnósticas y ECA (excepto el grupo 2, p < 0.05).


Comentarios

Se observan resultados adecuados en el día semanal establecido para las actividades académicas entre las que se incluye la lectura crítica de informes de investigación, motivo de esta publicación.²³ Los resultados muestran que una estrategia educativa que tienda a la participación, llevada a cabo por docentes con experiencia, favorece el desarrollo de la lectura crítica de informes de investigación en un grupo de alumnos que cursan el internado de pregrado.
El desarrollo de estrategias educativas promotoras de la participación impactó favorablemente en los cinco grupos, con resultados significativos intragrupales en todos los casos, tanto en las medianas globales como en las referentes a los tres subcomponentes de la lectura crítica. Los alumnos del grupo 2 avanzaron significativamente en todos los indicadores (prueba de Wilcoxon), lo suficiente para ser significativos, con medianas a su favor, en la comparación global intergrupal (prueba de Kruskal-Wallis), pero no en las de los indicadores individualmente.
Cuando los alumnos se comparan por universidad, luego de las estrategias aplicadas, no se observa ninguna diferencia entre los grupos así conformados, lo que consolida la nula influencia universitaria advertida en las evaluaciones iniciales, que se revelan ahora secundarias a las estrategias llevadas a cabo.
La aleatorización se llevó a cabo para disminuir los efectos de la selección de alumnos con promedios altos en una sola sede así como la presencia de profesores con mayor experiencia en el desarrollo de estas estrategias educativas y superar las limitaciones de una intervención previa, la no significación estadística inicial entre ellos, tanto en la calificación global, como en interpretar, enjuiciar y proponer confirma sus efectos.¹⁹ También pone de manifiesto que estas habilidades complejas, pero insustituibles en el quehacer médico, no se desarrollan durante la carrera universitaria. Los alumnos obtienen una mediana que aproximadamente es la décima parte del valor máximo posible, aunque un grupo obtiene sólo el 2% de ella, si bien hay valores extremos que se encuentran altos, lo que revela desarrollos individuales y no institucionales.

Los resultados de la Tabla 2 confirman una disminución importante en las respuestas al azar después de la estrategia, que disminuyó más acentuadamente en el grupo 2. Aun más, en los grupos 1, 2 y 3 algunos alumnos llegan al nivel intermedio, que se puede considerar muy adecuado en este tipo de instrumentos.

Además, todos los grupos avanzan ponderalmente el doble y el grupo 2 hasta casi cuatro veces en la evaluación intermedia.

Como se refirió en Material y métodos, el profesor del grupo 2 es el que tiene más experiencia en este tipo de estrategias lo que revela que una actividad docente continuada, permanente, se va depurando, decantando y lleva a los alumnos a resultados más elevados que los demás docentes en esta evaluación intermedia. Sin embargo, el avance en los otros grupos muestra que la labor educativa es un camino personal que cada profesor transita y que se relaciona con el desarrollo de una habilidad docente única.^21,28

Cuando se evalúan los diseños utilizados se observa que los avances más importantes, en forma significativa, se encontraron en los casos y controles, mientras que en el resto de diseños y grupos no se observaron resultados adecuados, excepto en el grupo 2.

Las estrategias educativas utilizadas llevaron a la persistencia de estos valores altos, lo que denota que el aprendizaje no se sustenta en la memoria, sino en una reflexión continua. Los resultados muestran que el aprendizaje permanece a pesar de los cinco meses de duración entre la aplicación intermedia y tardía del instrumento. Las pruebas de Wilcoxon sustentan estos cambios en relación con la medición inicial y tardía. En algunos grupos incluso se observa un incremento en los resultados de la tercera aplicación. Los logros alcanzados en los diferentes diseños se conservan como se muestra en los resultados no significativos de la prueba de Wilcoxon entre ambas mediciones (intermedia y tardía).

Durante el lapso entre la segunda medición y la medición tardía se continuaron las sesiones que se enfocaban a la revisión de los protocolos de investigación hasta su aceptación, así como la revisión de sus avances, los estadísticos utilizados y la revisión final para la presentación de los resultados con el asesor metodológico, quien se desempeñó como docente durante el curso, aunque no se midieron directamente los efectos de estas actividades. Otros informes relacionan también la asesoría metodológica y el inicio temprano de estas actividades como factores positivos para estimular la investigación.²⁹

Finalmente, se debe aclarar que la aleatorización, a pesar de controlar los sesgos de la influencia del promedio escolar y del profesor, trajo más desventajas, pues los alumnos de cada sede debieron salir de su hospital a otro localizado en diferente área metropolitana, lejano a su sede de origen, con compañeros que sólo se veían ese día y no se establecían los vínculos necesarios entre ellos, y el control fue también difícil, por lo que en educación se debe valorar muy bien el uso de la aleatorización, ponderando sus ventajas.

Las fortalezas del estudio son la aleatorización, difícil de realizar en el ámbito educativo por la conformación de grupos naturales, así como el uso de un instrumento robusto, válido y confiable y la experiencia docente en el uso estrategias educativas de participación. Una debilidad de estudio fue la no medición de las habilidades docentes en este trabajo lo que permitiría fortalecer aun más esa relación.

Los informes en México sobre esta actividad se han realizado preferentemente en el IMSS, aunque la mayoría se relacionan con la medición inicial de la lectura crítica.¹¹ Son menos frecuentes los reportes de intervenciones,^12-13 pero no se informan estudios longitudinales que muestren la persistencia del aprendizaje¹⁷ de esta habilidad compleja usando estrategias educativas de participación. Una actividad programada, como el día académico, continuada durante un año, muestra su utilidad en el desarrollo y persistencia de esta insustituible herramienta de aprendizaje.

Bibliografía del artículo
1. Frenk J, Chen L, Bhutta ZA, Cohen Z, Crsip N, Evans T, Fineberg H et al. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. The Lancet 376(9756):1923-58, 2010.
2. Espinoza M, Cabieses B, Pedreros C, Zitko P. Evaluación del primer "Entrenamiento en metodología de investigación clínica en Chile". Rev Panam Salud Publica 29(3):203-10, 2011.
3. Chalmers I, Glasziou P. Avoidable waste in the production and reporting of research evidence. Obstetrics and Ginecology 6(114):1341-5, 2009.
4. Viniegra-Velázquez L. La experiencia reflexiva y la educación. Rev Invest Clin 60(2):133-156, 2008.
5. Viniegra-Velázquez L. Replanteamiento de la función de la escuela. En: Educación y crítica. El proceso de elaboración del conocimiento. México, D.F. Ed. Paidós Educador, 2002.
6. Viniegra VL. El desafío de la educación en el IMSS. Cómo constituirse en la avanzada de la superación institucional. Rev Med IMSS 43(4):305-321, 2005.
7. Viniegra VL. La crítica y el conocimiento. En: La crítica: aptitud olvidada por la educación. Vislumbres en el lado opaco de la medicina. IMSS. México, D.F., pp. 1-25, 2003.
8. Viniegra VL. La experiencia reflexiva y la educación. Revista de Investigación Clínica 602(2):133-56, 2008.
9. Freire P. La importancia de leer y el proceso de liberación. México: Siglo XXI; 72-73, 1996.
10. Cruz AU, Pérez MMG, Trujillo GFD, Garcia VA. Evaluación del desarrollo de una aptitud para la lectura crítica de textos de investigación en dos grupos de médicos mexicanos. Archivos de Medicina Familiar 9(3):137-41, 2007.
11. Carranza-Lira S, Arce-Herrera RM, Leyva-Salas RI, Leyva-González FA. Lectura crítica de informes de investigación clínica en estudiantes de pregrado. Rev Med Inst Mex Seguro Soc 47(4):431-8, 2009.
12. Carranza-Lira S, Arce-Herrera RM, González GP. Evaluación de una estrategia educativa para mejorar la aptitud de la lectura crítica de textos de investigación clínica en residentes de gineco-obstetricia de segundo año. Ginecol Obstet Mex 75(11):661-6, 2007.
13. Valencia SJS, Leyva GFA, Viniegra VL. Alcances de una estrategia educativa promotora de la participación en el desarrollo de la aptitud clínica y la lectura crítica en residentes de cardiología, vinculando el uso apropiado de los informes de investigación. Rev Invest Clin 59(4):268-277, 2007.
14. Atesok KI, Hurwitz SR, Egol KA, Ahn J, Owens B, Corsby LA et al. Integrating research into surgical residency education: lessons learned from orthopedic surgery. Acad Medicine 87(5):592-97, 2012.
15. Espinosa AP. Efecto de una estrategia educativa sobre la habilidad para la lectura crítica en estudiantes de medicina. La investigación en la educación. Papel de la teoría y la observación. México; Programas Educativos, S.A. de C.V. 111-31, 1999.
16. Cobos AH, Insfrán SMD, Pérez CP, Elizaldi LNE, Hernández DE, Barrera MJ. Lectura crítica de investigación en el internado de pregrado en hospitales generales. Rev Med IMSS 43(2):117-124, 2005.
17. Cobos-Aguilar H, Pérez-Cortés P, Ramírez-Munguía M, Tapia-Orozco J. Lectura crítica de investigación en estudiantes de medicina. Efectos a un año. Revista Médica del IMSS 44(Suppl.):S85-S91, 2006.
18. Sprague S, Pozdniakova P, Kaempffer E, Saccone M, Schemistch EH, Bhandari M. Principles and practice of clinical research course for surgeons: an evaluation of knowledge transfer and perceptions. J Can Chir 55:46-52, 2012.
19. Cobos AH, Viniegra VL, Pérez CP. Papel de la discusión creadora en el aprendizaje de la lectura crítica de artículos científicos. Revista de Investigación Clínica 63(3):268-78, 2011.
20. Benavides CTJ, Cobos AH, Elizaldi LNE, De la Garza QH, Insfrán SMD, Cortés FR, Mata BJ. Comparación de dos modalidades educativas en diplomados de formación docente. Rev Med Inst Mex Seguro Soc 47(4):457-459, 2009.
21. Vázquez MCA, Insfrán SMD, Cobos AH. Papel de la experiencia docente en estrategias educativas promotoras de la participación. Rev Med IMSS 41(1)23:29, 2003.
22. Benavides CTJ, Insfrán SMD, Viniegra VL. La evolución de la formación docente en el área de la salud. Rev Med Inst Mex Seguro Soc 44(2):105-112, 2006.
23. Cobos AH, Pérez CP, Cobos AH, Benavides CTJ, Vázquez GAR, Arteaga CHBM, Cepeda CA, et al. Resumes clínicos problematizados para el aprendizaje de la clínica en el internado de pregrado. Rev Med Inst Mex Seguro Soc 47(2):157-64, 2009.
24. Cobos AH, Pérez CP, Vázquez GA, Cobos HCD, Tapia OJA. Construction and validation of an instrument to evaluate critical reading in research papers. Proceedings of ICERI 5286-94, 2011.
25. Siegel S, Castellan NJ. Estadística no paramétrica aplicada a las ciencias de la conducta. 4ª. Edición. México, (D.F.): Ed. Trillas, 1995.
26. Pérez Padilla JR, Viniegra VL. Método para calcular la distribución de las calificaciones esperadas por azar en un examen del tipo falso, verdadero, no sé. Rev Invest Clin 41:375-9, 1989.
27. SPSS Inc. SPSS 17.01 for Windows (Computer Software) Chicago Il: SPSS Inc. 2008.
28. Reynoso AMP, Viniegra VL, Insfrán SMD. Docencia y desarrollo para lectura crítica. Comparación entre egresados de dos etapas diferentes del CIEFD. Rev Med Inst Mex Seguro Soc 44(Supl 13):123-9, 2006.
29. Cabrera-Enríquez JA, Cruzado-Mendoza C, Purizaca-Rosillo N, López-Samanamú RO, Lajo-Arauzo Y, Peña-Sánchez ER, et al. Factores asociados con el nivel de conocimiento y la actitud hacia la investigación en estudiantes de medicina en Perú, 2011. Rev Panam Salud Pública 3:166-73, 2013.