7. LIMITACIÓNES DEL METANAÁLISIS Y DE LAS REVISIONES SISTEMÁTICAS
Los principales sesgos que pueden amenazar la validez de una revisión sistemática aparecen especialmente al localizar y seleccionar los artículos:
- Sesgo de publicación.
Como ya se ha comentado, se refiere al hecho de que no todos los estudios tienen la misma probabilidad de ser publicados, pues los estudios que obtienen resultados negativos, al no hallar diferencias significativas (los resultados significativos suelen ser los primeros en publicarse), pueden no llegar a publicarse o hacerlo más tarde. El sesgo de publicación se origina cuando lo que se publica no es representativo de lo que se investiga. La trascendencia de este sesgo es grande para investigadores y lectores. La culpa de la presencia del sesgo no sólo reside en los evaluadores y comités editoriales de las publicaciones científicas, también reside en los autores, que en muchas ocasiones son los primeros en decidir no enviar sus investigaciones por diversas razones:
o Por la falta de interés de los resultados.
o Por no tener la propiedad de los datos (estudios financiados por la industria, que puede tener interés en que los resultados que no la favorezcan permanezcan en el anonimato).
o Por problemas de diseño o ejecución de un estudio que impidieron la obtención de resultados válidos.
Para controlar el sesgo de publicación se debe vigilar el proceso de revisión de los manuscritos. Se prefiere la evaluación enmascarada (el revisor desconoce a los autores del artículo). Hay que cuantificarlo y existen varios procedimientos estadísticos, pero podemos hacernos una idea mediante la inspección visual de los estimadores individuales de cada estudio frente a la inversa de su variancia o lo que es casi lo mismo, su tamaño muestral. - Estos estudios habitualmente son también menos citados en otras publicaciones, lo que se conoce como sesgo de citación. Ambos sesgos condicionan los registros que se obtienen al realizar una búsqueda bibliográfica y pueden dar lugar a resultados sesgados en un metaanálisis.
- Publicación duplicada.
También puede introducir un sesgo si se incluyen ambas publicaciones, alterando así los resultados del metaanálisis o de la revisión sistemática. - Sesgo del idioma inglés.
El hecho de ignorar los trabajos publicados en un idioma distinto al inglés también introduce un sesgo. Además, es frecuente que cuando un estudio obtiene resultados positivos sea publicado en revistas anglosajonas, al ser estas las que cuentan con mayor factor de impacto y cuando el resultado es negativo, se publique en revistas locales y en idiomas que pueden ser diferentes al inglés. Es más discutible la validez externa de metaanálisis sobre asociaciones de causalidad basadas sólo en estudios en inglés y es frecuente verlo en estudios anglosajones. La calidad superior de las investigaciones en inglés no es un argumento válido. - Sesgo de las bases de datos o sesgo de selección.
Esto es debido a que las revistas editadas en países en vías de desarrollo tienen menos representación en las principales bases de datos. Por este motivo, es importante realizar búsquedas manuales y en la denominada literatura gris. - Calidad de los estudios originales.
La validez de la revisión sistemática se puede ver comprometida por combinar resultados de investigaciones sesgadas o metodológicamente deficientes que pueden introducir un sesgo en la estimación global del efecto. - Heterogeneidad entre los diferentes estudios.
Si las investigaciones se han realizado en distintos contextos, con pacientes de diferentes características o incluso con resultados muy dispares, no siempre será aconsejable realizar un metaanálisis. - Técnicas de análisis erróneas o definición incorrecta de las medidas que se desean combinar.
Los valores de significación, que no informan del sentido ni de la magnitud de la asociación, o los estadísticos de contraste, que tienen en cuenta el sentido del efecto, pero no su magnitud, no deberían considerarse como medidas de entrada al metaanálisis.
Una buena revisión sistemática constituye una herramienta excelente para encontrar la mejor evidencia disponible sobre un tema de interés, si bien una lectura crítica y objetiva de estos trabajos es indispensable para poder valorar en su medida su calidad metodológica y realizar una correcta interpretación de sus conclusiones. La realización de una RS se debe llevar a cabo siguiendo una estricta metodología y un control de calidad para evitar conclusiones sesgadas.
En última instancia, es el clínico quien tiene que tomar la decisión sobre un paciente en particular, y la RS es una herramienta más que se ha de utilizar de forma juiciosa en la toma de decisiones.