Contribution of Meta-analysis to Scientific Method and Health Care

Abstract
Meta-analysis can be considered a result of the application of the induction model of thinking given that it allows a thorough analysis of the consistency of an association (2nd principle of Hill). Besides, its usefulness as an intermediate tool for decision analysis has also been proved. However, meta-analysis has some drawbacks: (a) the hypothesis under analysis is usually worked out using some of the data that generated it; (b) the units to be combined (the primary studies) are not formally independent as research methods influence on results and the methodology of current studies improves that of the past ones. Meta-analysis has prompted the development of evaluation protocols for different designs, mainly clinical trials. It has favoured the emergence and spreading of evidence-based medicine, thus favouring the development of agencies for technology assessment in health care. As regards to methodology, it has improved the knowledge on publication bias and determinants of heterogeneity (lack of consistency among the primary studies). Currently, meta-analysis is also applied to the study of secondary outcomes (e.g., adverse effects). This practice is risky as frequently studies are not enough statistically powered for the analysis of those outcomes apart from the fact they are unevenly reported.

Key words
meta-analysis, systematic reviews

Artículo completo
Introducción

El metanálisis precedió en el tiempo a la revisión sistemática, concepto que hoy lo engloba y que lo reserva para la denominación de las técnicas estadísticas de combinación de datos procedentes de varios estudios diferentes. No obstante, en el presente texto, cuando se hable de metanálisis se entiende que va siempre precedido de una revisión sistemática de la literatura científica.

Ya en un trabajo anterior¹ se repasó que una gran cantidad de autores científicos relevantes han entendido que el progreso científico reside en analizar debidamente la investigación previa y que es tentador sumar o ponderar los resultados de los estudios precedentes. Incluso la capacidad de síntesis se puede encontrar en el filósofo chino Confucio (551-479 a.C.). Dentro de sus Analectas, en el libro Wèi Líng Gong se puede leer: "Confucio dijo: ‘Zîgòng, ¿piensas tú que yo estudio y aprendo un sinnúmero de cosas diversas?’. Zîgòng respondió: ‘Así es, ¿acaso no lo hacéis?’. Confucio dijo: ‘No, lo que hago es unificarlas con lo que a todas ellas une’".²

Lo anterior simplemente pone de manifiesto que la idea de sintetizar hechos es tan antigua como la propia humanidad. Los científicos y filósofos han entendido siempre que el progreso pasa por la digestión adecuada de las contribuciones del pasado, pero no fue hasta finales del siglo XX cuando se aplicó de manera sistematizada la idea de buscar todo lo existente e intentar resumirlo mediante procedimientos estadísticos. A ello ha contribuido la explosión de publicaciones científicas, fruto de la mayor densidad de investigadores que hoy existe en la mayoría de los países, impensable en épocas anteriores.


Ubicación de la revisión sistemática y del metanálisis en el contexto científico
Contribuciones del metanálisis

Muchos consideran al metanálisis como un subproducto, una investigación de menor calidad, parasitaria de los estudios originales en los que se basa. Sin negar la menor innovación que supone este procedimiento, no se le pueden negar algunas utilidades.

La primera de ellas sería en el contexto de la identificación de determinantes de enfermedad, factores que influyen en el pronóstico, o en la valoración de la eficacia de las intervenciones. El paradigma científico que gobierna la ciencia es esencialmente inductista, que obliga a repetir un estudio y confirmar sus resultados antes de que sus conclusiones sean aceptadas por la comunidad científica. Esto concuerda con los criterios de causalidad de Hill,³ de los que el segundo de ellos es la consistencia o coincidencia en las conclusiones de diferentes estudios realizados en distintas poblaciones y lugares. Pues bien, la revisión sistemática y el metanálisis se pueden entender como un análisis sistemático del segundo principio de la causalidad. En este sentido, es un tipo de investigación relevante que intenta arrojar luz sobre asociaciones controvertidas en el mundo científico. Muchos investigadores y lectores conocen que la repetición de las investigaciones da entrada a la variabilidad en los resultados de unos y otros, y si ésta es excesiva ocasiona nuevos estudios que intentan clarificar el tema. Lo anterior se puede ilustrar con la estreptoquinasa intravenosa en el tratamiento del infarto de miocardio y la mortalidad en las primeras cinco semanas de la enfermedad.⁴ El primer estudio se publicó en 1958 sobre 23 pacientes y obtuvo un odds ratio (OR) no significativo de 0.2; el segundo estudio, aparecido cinco años después, dio un OR de 0.5, tampoco significativo. Estos ensayos motivaron que se realizaran varios estudios multicéntricos europeos, en uno de los cuales se observó una reducción significativa de la mortalidad, mucho menor que en los estudios previos, y en el otro, nada. La polémica estaba servida y no se resolvió hasta que se publicó en 1988 el ISIS-2, con más de 17 000 pacientes.

La segunda gran utilidad que presenta supone menos novedad desde el punto de vista científico, pero también contribuye a la toma de decisiones. Se deriva de la propia variabilidad en los resultados de los estudios originales. Por ejemplo, si se quiere analizar la repercusión que tiene el tabaco sobre la mortalidad, hay que calcular una fracción atribuible poblacional (por ejemplo, véase referencia 5). En este parámetro influye la frecuencia de tabaquismo, que se puede conocer de manera razonablemente precisa, y el riesgo relativo (RR) del tabaquismo sobre las diferentes causas de muerte. No escapa a la mayoría de los estudiosos que el RR varía mucho de unas investigaciones a otras. Una estrategia razonable sería hacer un metanálisis para estrechar el margen de variabilidad del RR y poder estimar la fracción atribuible de manera más precisa. Esta utilidad, como herramienta de ponderación, tiene aplicación en los análisis de costo-efectividad (y similares, costo-utilidad o costo-beneficio), para ponderar las probabilidades que se utilizan en estos métodos. Por ello, acertadamente Diana Petitti, en su excelente texto,⁶ trata simultáneamente el análisis de decisiones y el análisis de costo-efectividad con el metanálisis, ya que en estos casos es una herramienta intermedia muy apropiada.


Inconvenientes del metanálisis

Ha habido en tiempos pretéritos mucho debate sobre si es mejor el metanálisis que un estudio con un suficiente tamaño de muestra y no se va a reproducir aquí. Está claro que los estudios grandes no pueden ser sustituidos por el metanálisis. Por más que se quiera la suma de muchos estudios pequeños (no idénticos ni en los criterios de selección, ni en la recolección de datos) no equivalen a uno grande. El metanálisis no está exento de limitaciones como procedimiento plenamente científico.

La primera de ellas es que la hipótesis a comprobar mediante el metanálisis se genera por la lectura de parte de la información que luego será utilizada para comprobarla. Esto va en contra del método científico: nunca se puede utilizar la información que da origen a una hipótesis para verificarla. Así se realizan muchos metanálisis: tras comprobar que hay resultados inconsistentes en varios estudios se pone en marcha una revisión sistemática, que utiliza esos mismos estudios para sacar una conclusión.

Otra limitación importante puede provenir de si se consideran o no formalmente independientes todos los estudios que se ponderan en el metanálisis. La independencia formal de las unidades de una muestra es un criterio básico estadístico antes de sacar cualquier media (que es lo que hace el metanálisis). Por lo tanto, ¿son los estudios en los que se basa un metanálisis formalmente independientes? La investigación del presente se apoya en la del pasado e intenta superar las limitaciones de los estudios previos. La metodología tiene influencia sobre el resultado y hay mucha información publicada sobre ello: diferentes diseños dan lugar a resultados distintos, las técnicas de control de errores (por ejemplo, el reparto aleatorio de la intervención y la ocultación de la secuencia aleatoria, el uso del ciego, las técnicas de análisis multivariable, etc.) también influyen en el resultado, muestran resultados más conservadores, etc.⁷ Pues bien, si los estudios de hoy se basan en los de ayer, mejorando aspectos metodológicos que influyen en el resultado, hay un cierto grado de dependencia entre los estudios presentes y los del pasado y se viola en cierto grado la independencia formal de las unidades que componen un metanálisis. Este problema se soluciona creyendo que son independientes los estudios primarios simplemente porque proceden de poblaciones distintas, pero en realidad no es así.

Una tercera limitación es la dificultad de sacar conclusiones cuando ninguno de los estudios individuales que lo componen tiene nada claro. Un ejemplo reciente es el de la rosiglitazona.⁸ Ninguno de los estudios individuales que componen ese metanálisis alcanzó un resultado significativo, mientras que la combinación de ellos sí indicó un aumento de la mortalidad cardiovascular en el límite de la significación. ¿Es correcto combinar estudios cuando ninguno de los cuales tiene potencia estadística suficiente para detectar un efecto adverso? Tradicionalmente se decía que no.⁹ Hoy en día, la publicación de un estudio de este tipo en una prestigiosa revista, como lo es el New England Journal of Medicine, parece sustentar la opinión contraria. A pesar de ello, hay que ser muy cauto con los resultados derivados de estudios que no tienen potencia estadística suficiente y en los que la mayoría de ellos tan solo encuentra una o dos unidades del efecto que se valora.


Contribuciones a la mejora de la salud

Es indiscutible que se han publicado metanálisis que han cambiado la práctica clínica, como han sido, entre otros, los de los betabloqueantes y los fibrinolíticos en el tratamiento del infarto.^4,10 El reconocimiento de esta realidad, junto a la búsqueda de procedimientos eficaces y costo-eficientes, en un mundo en el que los costos en salud crecen por encima de la inflación media de un país, ha motivado que la administración sanitaria pública cree agencias de evaluación de tecnologías. En éstas se utilizan de manera rutinaria la revisión sistemática y el metanálisis, en las que se someten a escrutinio procedimientos diagnósticos, terapéuticos y de prevención, con vistas a la emisión de informes en los que se recomienda lo más acertado según la información existente hasta el momento. Es claramente una finalidad de salud pública, cuyo objetivo primordial es mejorar la salud de la población.


Contribuciones del metanálisis al método científico
Contribución a la evaluación y comunicación de estudios

Los primeros metanálisis se centraron en ensayos clínicos y algunos de ellos fueron realizados por el grupo de Thomas Chalmers, entonces en el Hospital Monte Sinaí de Nueva York.¹¹ La gran variabilidad en la comunicación de resultados de los ensayos clínicos hacía difícil el hacerse una idea de si el estudio se había realizado correctamente o no. Ello influyó en que el grupo de Chalmers publicara el primer cuestionario de evaluación de un ensayo clínico en 1981,¹² con un doble objetivo: valorar la calidad (para decidir si era digno de ser incluido en un metanálisis) y homogeneizar la forma en que se redactaban los ensayos clínicos para su publicación. Esto era muy importante. Se querían combinar ensayos clínicos, pero de alguna manera se querían seleccionar sólo los que cumplieran ciertos criterios de calidad (reparto aleatorio de la intervención, ciego, etc.). Para ello había que intentar, por un lado, que los que realizaran ensayos dieran todos los detalles metodológicos pertinentes para una correcta evaluación, y por otra parte, tener una herramienta adecuada para esa evaluación. Desde el cuestionario de Chalmers de 1981 se publicaron más de 60 y al final se adoptó el CONSORT (CONsolidated Standards for Reporting Trials, véase www.consort-statement.org), que forma parte de los criterios que muchas revistas en la actualidad exigen a los autores, y que se siguen sin cumplir porque los evaluadores no los conocen en detalle.

El metanálisis ha sido pues uno de los impulsores de la evaluación de los ensayos clínicos. Por otra parte, con una cierta frecuencia, los metanalistas de la década de 1980 encontraron que a la hora de sintetizar diferentes estudios había diseños no experimentales que también analizaban el problema de interés. Por lo tanto, de alguna forma fue necesario establecer prioridades entre los diferentes diseños y numerosas sociedades científicas y organizaciones ordenaron los diseños en lo que se dio en llamar "niveles de evidencia". A la par, ante la abundancia de literatura científica existente y la falta de criterio en gran parte de los lectores usuarios, por no haber recibido formación para ello, a principios de los años 1990 se empezaron a publicar directrices para apreciar la calidad de un estudio en diferentes ámbitos. El exponente más claro fue la serie de artículos aparecida en la revista JAMA, que constituyeron el embrión de la Guía JAMA de medicina basada en la "evidencia" (MBE).¹³ (El entrecomillado de la palabra "evidencia" está causado porque "evidencia" en español es lo que no necesita demostración y a lo que se refiere el término inglés "evidence" es a "pruebas".) El metanálisis ha sido pues uno de los que han estado detrás de la MBE, término luego aplicado a diferentes áreas, como salud pública basada en la "evidencia" y enfermería basada en la "evidencia". Uno de los colofones de la MBE ha sido la creación en España y otros países de las agencias de evaluación de tecnologías sanitarias, a las que hicimos antes referencia.

Como fruto de los logros alcanzados con la declaración CONSORT, esta metodología se ha extendido a otros temas, como al propio metanálisis (declaraciones QUOROM y MOOSE), a las pruebas diagnósticas (declaración STARD) y a los estudios de observación (declaración STROBE). Todos estos protocolos se pueden descargar gratuitamente en la misma página web del CONSORT antes mencionada.

A la par que ha facilitado y mejorado la estandarización y evaluación de los resultados de investigación, el metanálisis ha mostrado la fragilidad de los protocolos de evaluación de la calidad de los estudios publicados. Varios estudios han comprobado que la combinación de resultados de investigaciones originales seleccionadas en función de las puntuaciones de calidad proporcionadas por diferentes protocolos de evaluación de estudios dan lugar a resultados contradictorios. La primera de ellas fue la de Jüni y col.,¹⁴ que aplicaron 25 escalas de calidad distintas de ensayos clínicos a un metanálisis en el que se comparaban las heparinas de bajo peso molecular con las normales. Fue muy interesante comprobar que la selección de los estudios "buenos" con unas escalas indicaba que eran superiores las heparinas de bajo peso molecular, mientras que con otras escalas no había diferencias entre los tipos de heparina. Con posterioridad, otros estudios han encontrado resultados similares.¹⁵ Esto subraya lo difícil que es valorar la calidad de un estudio publicado mediante un protocolo.

Otra consecuencia del alto valor que se concede a la MBE en la época actual, acelerada por el metanálisis, ha sido un mayor reconocimiento a los profesionales conocedores de los diseños de investigación, sobre todo los epidemiólogos. Un ejemplo de ello es la inclusión cada vez más frecuente de profesionales de la metodología de la investigación en la elaboración de guías de práctica clínica. Ha sido un beneficio indirecto, pero muy claro, para un grupo de especialistas con frecuencia no bien entendidos ni apreciados por otros profesionales sanitarios.


Contribución al estudio del sesgo de publicación

La conciencia de sesgo de publicación comenzó en 1956 cuando el director de la revista Journal of Abnormal Social Psychology señaló que los estudios negativos tenían menos probabilidades de publicarse en su revista.¹⁶ En 1959 se observó en cuatro revistas de psicología que se publicaban muy pocos resultados negativos, un hallazgo que sugirió la presencia de sesgo de publicación;¹⁷ sin embargo, la cuantificación del problema no se consideró hasta 1964.¹⁸ La revisión sistemática, al intentar localizar todos los estudios sobre una pregunta de investigación, ofrece una magnífica oportunidad para valorar si lo que se publica refleja lo que se investiga. Para poder estudiar el sesgo de publicación tiene que haber metanálisis, porque la mayor parte de los procedimientos existentes exigen la síntesis cuantitativa de los estudios, asignando un peso a cada uno de ellos.

Casi todos los trabajos sobre sus determinantes y los procedimientos para detectarlas se han suscitado dentro del metanálisis, a partir de 1980. La constatación de que con frecuencia los estudios incluidos en un metanálisis no suponían una muestra representativa de lo que aparecía en las revistas fue el determinante de la búsqueda de los factores que lo causaban y así poder neutralizarlos. Con anterioridad al metanálisis, la preocupación de si lo publicado representaba adecuadamente lo investigado había sido excepcional. La constatación de que existe ese sesgo ha impulsado iniciativas de registro de todos los estudios en marcha, sobre todo ensayos clínicos, como la base de datos de la Universidad de Oxford de ensayos clínicos en el período perinatal.

El sesgo de publicación puede tener una trascendencia enorme, porque puede distorsionar todo, desde el propio aprendizaje hasta la aplicación de los resultados de la propia investigación, si lo que se publica no responde a la realidad. A pesar de estas posibles consecuencias catastróficas, no se ha publicado ningún trabajo en el que se haya comprobado que por la presencia de un sesgo de publicación se haya cometido un error grave. Las expectativas suscitadas por este error han sido pues minimizadas en la práctica. La razón detrás de esto radica en que la comunidad científica adopta reglas que palian este error. El sesgo de publicación afecta sobre todo a los estudios pequeños. Cuando unos investigadores encuentran algo llamativo en un estudio pequeño, la filosofía inductista que nos rige motiva que aparezcan otros estudios que intentan replicar ese resultado. Cuando los resultados de los nuevos estudios son discordantes, al final se realizan uno o más estudios grandes, que son la base de la decisión futura.

Por lo tanto, el sesgo de publicación en la práctica ha quedado más como una explicación de la forma en que se producen y publican los resultados científicos, que como una justificación de errores en la toma de decisiones.


Contribución al estudio de la heterogeneidad

Ya se ha afirmado que el propio pensamiento inductista motiva la repetición de estudios. Si todos coinciden, el proceso de investigación sobre un tema se detiene. Cuando se prolonga es porque los resultados no son consistentes. Esto es la heterogeneidad, la falta de coincidencia en las conclusiones de diferentes estudios que tratan de responder a la misma pregunta de investigación. La valoración de si una asociación es causal obliga a realizar un análisis del principio de consistencia dentro del metanálisis.

Muchos sitúan al metanálisis en la cúspide de la MBE. Esto es solo así si se cumple una serie de requisitos, entre los que está el que no haya heterogeneidad entre los estudios primarios que se combinan (y el que no se detecte un sesgo de publicación). El metanálisis lo que intenta es sacar una media ponderando diferentes estudios; cualquier ponderación debe ir acompañada de una prueba que valore la heterogeneidad. Si ésta existe, se constata estadísticamente que hay diferencias apreciables entre los estudios que se intentan promediar. La presencia de heterogeneidad es una señal de alerta, tanto para el investigador como para el lector, de que se está intentando sacar una media, cuando en realidad es posible que haya más de una.

Muchos investigadores consideran que la existencia de heterogeneidad es un inconveniente en un metanálisis, cuando en realidad no debiera ser así. La constatación de la heterogeneidad permite justificar la razón de por qué abunda la información sobre un tema. Justificar la heterogeneidad es algo que tiene una gran importancia, porque permite identificar las razones del porqué de las discordancias y da elementos clave de información para la realización de los futuros estudios. Todo metanálisis tiene que realizar un análisis de la heterogeneidad. La razón es doble, de índole metodológica (no se pueden combinar estudios heterogéneos) y biológica, ya que es posible que haya una justificación causal para la heterogeneidad.

No es éste el lugar para exponer todos los factores que pueden producir heterogeneidad, se pueden encontrar en revisiones al respecto.^19,20 Es fácil de entender para muchos que una asociación puede cambiar si la población es distinta, si el efecto no es el mismo o la exposición es diferente. Quizá lo más interesante para los investigadores, y la propia MBE, es que el método científico en sí también introduce variabilidad: no coinciden los diferentes diseños entre sí (casos y controles frente a cohortes), las características de control de errores (tipo de reparto aleatorio de una intervención, ciego) también introducen variabilidad y lo mismo sucede con la forma en que se recoge la información. Esto supone una gran riqueza de información para las personas interesadas en el método de investigación.


Tendencias futuras

El metanálisis sigue un crecimiento exponencial en el número de publicaciones que aparecen. Hay un gran número de investigadores que se plantean responder un sinnúmero de preguntas de investigación mediante la revisión sistemática y no es raro encontrar en la base de datos de la Cochrane Library revisiones sistemáticas que tan solo han encontrado un estudio. En esta vorágine se asiste en el presente, no ya al análisis de los efectos primarios de los estudios individuales, sino a la combinación de efectos secundarios o adversos. En los artículos publicados, la comunicación de estos efectos, que no forman parte del objetivo principal de la investigación, no es tan uniforme y las posibilidades de error aumentan. Conviene en estos casos contactar con los autores de los estudios y pedirles una información más actualizada, como por ejemplo se hizo en un metanálisis de los efectos adversos de los fármacos anti-factor de necrosis tumoral (TNF) en el tratamiento de la artritis reumatoidea.²¹

Otra tendencia que se aprecia es la mayor aparición de revisiones sistemáticas de metanálisis, que se pueden realizar con diferentes propósitos: valoración de la calidad de los metanálisis publicados,²² comparación de procedimientos estadísticos,²³ etc. Las técnicas de simulación de datos permiten el desarrollo de procedimientos estadísticos de detección del sesgo de publicación. Un ejemplo reciente es el trabajo de Peters y col.²⁴ en el que se ha refinado el procedimiento de regresión sobre el gráfico en embudo. No obstante, estos procedimientos debieran valorarse en una serie de metanálisis reales para ver cuál es su funcionamiento en la práctica y no tan solo en una serie de metanálisis inventados o simulados en un ordenador.

Se echa en falta en el estudio de la heterogeneidad una aproximación sistemática en la delimitación de los factores que pueden influir en su presencia. La información existente sobre determinantes de heterogeneidad se encuentra dispersa en distintos metanálisis, que han hecho un esfuerzo por delimitar las razones de la falta de coincidencia. Para ofrecer una visión global y no fragmentada por los resultados de metanálisis individuales que utilizan técnicas muy diversas, se requeriría una revisión sistemática de metanálisis, con obtención de información de los estudios primarios que la componen.²⁵







Corolario final

Las limitaciones y contribuciones del metanálisis se resumen en la Tabla 1. El metanálisis, denostado por algunos, ha propiciado el progreso de la MBE y lo que de ella se ha derivado, como son las agencias de evaluación de tecnologías sanitarias. Los beneficios para la salud son claros. En un contexto científico, el metanálisis es fruto del paradigma inductista de investigación que nos gobierna, en el que ofrece un análisis sistemático del principio de consistencia, pero no está exento de limitaciones científicas: con frecuencia la hipótesis se confirma con la misma información que la origina, y es difícil asumir la estricta independencia de los estudios que lo componen. Ha aportado una profundización en el sesgo de publicación y en las razones que motivan las discrepancias entre los estudios individuales que tratan la misma pregunta de investigación.

Bibliografía del artículo
1. Delgado Rodríguez M, Palma S. Aportaciones de la revisión sistemática y del metaanálisis a la salud pública. Rev Esp Salud Públ 80:483-90, 2006.
2. Confucio. Mencio. Los cuatro libros. Madrid: Alfaguara, 1982.
3. Hill AB. The environment and disease: association or causation? Proc Royal Soc Med 58:295-300, 1965.
4. Lau J, Animan EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 327:248-254, 1992.
5. Rodríguez Tapioles R, Pueyos Sánchez A, Bueno Cavanillas A, Delgado Rodríguez M, Gálvez Vargas R. Proporción de enfermedad atribuible al tabaco en la provincia de Granada. Med Clín (Barc) 102:571-574, 1994.
6. Pettiti DB. Meta-analysis, decision analysis and cost-effectiveness analysis. 2ª ed. Nueva York: Oxford University Press, 2000.
7. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 273:408-412, 1995.
8. Nissen SE, Wolski K. Effect of rosiglitazone on the risk of myocardial infarction and death from cardiovascular causes. N Engl J Med 356:2457-71, 2007.
9. Boissel JP, Blanchard J, Panak E, Peyrieux JC, Sacks H. Considerations for the meta-analysis of randomized clinical trials. Summary of a panel discussion. Controlled Clin Trials 10:254-281, 1989.
10. Yusuf S, Peto R, Lewis J, Collins R, Sleight P. Beta blockade during and after myocardial infarction: an overview of the randomized trials. Prog Cardiovasc Dis 27:335-71, 1985.
11. Sacks H, Kupfer S, Chalmers TC. Are uncontrolled clinical studies ever justified? N Engl J Med 303:1067, 1980.
12. Chalmers TC, Smith H Jr, Blackburn B, Silverman B, Schroeder B, Reitman D, Ambroz A. A method for assessing the quality of a randomized control trial. Control Clin Trials 2:31-49, 1981.
13. Guyatt G, Oxmann R, Hayward D. User's guide to the medical literature. American Medical Association, edición electrónica, 2002.
14. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 282:1054-60, 1999.
15. Herbison P, Hay-Smith J, Gillespie WJ. Adjustment of meta-analyses on the basis of quality scores should be abandoned. J Clin Epidemiol 59:1249-56, 2006.
16. Smith MB. Editorial. J Abnorm Social Psychol 52:1-4, 1956.
17. Sterling RJ. Publication decisions and their possible effects on inferences drawn from test of significance or viceversa. J Am Stat Assoc 54:30-34, 1959.
18. Smart RG. The importance of negative results in psychological research. Can Psychol 5:225-232, 1964.
19. Petitti DB. Approaches to heterogeneity in meta-analysis. Stat Med 20:3625-33, 2001.
20. Delgado Rodríguez M. Revisión sistemática de estudios: metaanálisis. Barcelona: Ed. Signo SA, 2005.
21. Bongartz T, Sutton AJ, Sweeting MJ, Buchan I, Matteson EL, Montori V. Anti-TNF antibody therapy in rheumatoid arthritis and the risk of serious infections and malignancies systematic review and meta-analysis of rare harmful effects in randomized controlled trials. JAMA 295:2275-2285, 2006.
22. Jadad AR, Cook DR, Jones A, et al. Methodology and reports of systematic reviews and meta-analyses. A comparison of Cochrane reviews with articles published in paper-based journals. JAMA 280:278-80, 1998.
23. Villar J, Mackey ME, Carroli G, Donner A. Meta-analyses in systematic reviews of randomised controlled trials in perinatal medicine: comparison of fixed and random effects models. Stat Med 20:3635-47, 2001.
24. Peters JL, Sutton AJ, Jones DR, Abrams KR, Rushton L. Comparison of two methods to detect publication bias in meta-analysis. JAMA 295:676-680, 2006.
25. Delgado-Rodríguez M. Systematic reviews of meta-analyses: applications and limitations. J Epidemiol Commun Health 60:90-92, 2006.