Tema 8. Evaluación de los cambios.

El proceso de evaluación es necesario, para valorar la verdadera aplicación de las evidencias por parte de los profesionales y para evaluar su impacto en la atención sanitaria. 

Esta etapa también nos sirve para modificar las recomendaciones que hayamos realizado si fuera necesario. Si detectamos sus ventajas e inconvenientes, debilidades y fortalezas o aspectos no abordados y que sea necesario introducir podremos mejorar la práctica que en principio queríamos apoyar en evidencias.

A la hora de evaluar si todo este recorrido ha sido positivo debemos tener en cuenta que estamos evaluando un proceso complejo e integral, con lo que la evaluación no puede ser simple y ha de tener en cuenta todo este plan como un todo integrado en busca del cambio.

Una buena evaluación debe tener en cuenta no solo los resultados sino que también contempla la estructura del proceso.

¿Qué cuestiones se responden al efectuar la evaluación de los cambios efectuados? De manera simplificada podemos decir que las siguientes:

• ¿Qué queremos cambiar?
• ¿Qué pretendemos conseguir con el cambio?
• ¿En qué periodo de tiempo?
• ¿A qué coste? ¿Qué recursos van a estar implicados?
• ¿Existe evidencia de que el cambio que proponemos funcione o no?
• ¿Qué medidas de proceso y de resultado utilizaremos para determinar si el cambio ha sido exitoso?
• ¿Qué otros aspectos de la práctica se verán afectados por la introducción del cambio? Personas, recursos, horarios...
• ¿Qué personas del equipo se verán implicadas y afectadas por el cambio?
• ¿Qué implicaciones éticas presenta la introducción del cambio?
• ¿Dispone de los recursos necesarios para introducir y mantener el cambio?
• ¿Es realizable el cambio?

Respondiendo a todas estas cuestiones nos hacemos una idea de cómo ha sido el proceso en general y de dónde han podido los elementos facilitadores y las barreras para llevar a cabo el cambio.

Pero solo con preguntas generales no logramos el análisis de esta nueva situación. La evaluación de la efectividad y la eficacia de una nueva intervención se hace con metodología y a través de la recogida y comparación de datos.

1. PASOS PARA LA EVALUACIÓN

Debemos identificar desde el principio, desde la fase de implementación:

1. Qué debe ser evaluado.
2. Fuentes de información y los instrumentos de recogida.
3. Cuál es el diseño más apropiado para la realización de esta evaluación.

1.1. QUE DEBE SER EVALUADO

La implementación de las evidencias puede afectar tanto al proceso asistencial como a los resultados alcanzados con dicho proceso.

Hakkennes y Green revisaron la efectividad de intervenciones basadas en GPC y podemos seguir su mismo esquema para las intervenciones basadas en la implementación de evidencias a través de las herramientas vistas en este curso (protocolos basados en evidencias, revisiones sistemáticas, informes de evidencias…).

Su esquema identifica los tipos de resultados presentados y los métodos utilizados para medir los cambios logrados. Según este esquema los resultados se agrupan en cinco categorías: dos a nivel de paciente, dos a nivel de los profesionales de salud y una a nivel de la organización o del proceso:

1. Nivel de paciente:

• Medidas de cambios en la salud de los pacientes: dolor, depresión, calidad de vida, HbA1c, etc.
• Medidas subrogadas de cambio en la salud de los pacientes: actitudes del paciente, tiempo de estancia en el hospital, etc.

2. Nivel de profesional de la salud:

• Medidas de cambio en la práctica: confianza en las evidencias, cambios en los planes de cuidados, etc.
• Medidas subrogadas de cambio en la práctica: conocimiento y actitudes del profesional, etc.

3. Nivel de organización o de proceso:

• Medidas de cambio en el sistema sanitario (lista de espera): cambios en políticas, costes y utilidad o extensión de la indicación de determinadas intervenciones. 

Qué Información debe recogerse

Los datos que se recogen son los que determinemos tras establecer los indicadores que nos van a mostrar cómo han resultado los cambios efectuados tras la aplicación de las evidencias. La OMS ha definido los indicadores como “variables que sirven para medir cambios” y lógicamente nosotros elegimos esos indicadores en función de los objetivos que nos hayamos marcado al implementar las evidencias científicas en nuestra práctica.

Los elementos clave a evaluar para determinar el resultado de la implementación de las evidencias (GPC, protocolos basados en evidencias etc…) tienen que ver con la evaluación de la estructura, el proceso y los resultados de su utilización mediante estos indicadores.

1. Evaluación de la estructura: ¿se han dispuesto los recursos humanos y físicos necesarios o para implementar las evidencias?
2. Evaluación del proceso: ¿ha funcionado correctamente el plan de implementación? ¿Cuáles han sido las dificultades? ¿Cómo se puede mejorar el proceso?
3. Evaluación del resultado: ¿qué cambios han ocurrido en los pacientes como resultado de la aplicación de las evidencias? ¿Cómo son estos cambios comparándolos con los resultados que se esperaban?

Elegir los indicadores clave es fundamental y estos os deberían surgir de los objetivos principales que se persiguen al implementar las evidencias, considerando la población a la que va dirigida así como los recursos requeridos.

La siguiente tabla se puede utilizar como guía para identificar indicadores de estructura, de proceso y de resultado:

Adaptado de: Registered Nurses Association of Ontario. Toolkit: Implementation of clinical practice guidelines. Toronto, Canada: Registered Nurses Association of Ontario; 2002 Extraido de: Implementación de Guías de Práctica Clínica en el Sistema Nacional de Salud. Manual Metodológico; 2009

En nuestro entorno, la Fundación Avedis Donabedian (FAD) tienen experiencia en el diseño y definición de indicadores clave para la evaluación de la calidad asistencial que nos pueden ser útiles en la evaluación.

1.2. FUENTES DE INFORMACIÓN E INSTRUMENTOS DE RECOGIDA

Existe una gran variedad de técnicas de recogida de información para medir los resultados obtenidos con la implantación de las evidencias científicas, como por ejemplo:

• Auditoría de registros médicos, revisando historias clínicas, informes o mediante registros electrónicos.
• Cuestionarios o entrevistas a profesionales.
• Cuestionarios o entrevistas a pacientes.
• Cuestionario de recogida de datos ad hoc.

Además, es posible recurrir a las siguientes fuentes de datos:

• Bases de datos (por ejemplo, el conjunto mínimo básico de datos, CMBD).
• Registros de un servicio (por ejemplo, registros de la frecuentación al servicio de urgencias).
• Registros clínicos (por ejemplo, resultados de pruebas de laboratorio, evaluación de enfermería).

Cabe mencionar la importancia que hoy en día tiene la Historia Clínica Electrónica (HCE) y las distintas aplicaciones informáticas que de manera rutinaria albergan la información de los pacientes. El hecho de que los datos recogidos por estos soportes informáticos se puedan rescatar y explotar es importantísimo. Con frecuencia para realizar estas evaluaciones es necesario realizar cambios en estas aplicaciones que permitan el registro de los datos pertinentes y su posterior explotación. 

1.3. ELECCIÓN DEL DISEÑO DE EVALUACIÓN

¿Qué hacemos con los datos de los indicadores una vez recogidos? Pues tenemos que evaluarlos a través del diseño de estudio que más se adecue. 

La elección del diseño dependerá del objetivo: probar el progreso en la implementación de las evidencias y cambios en el proceso de atención (estudios observacionales), o proveer información generalizable del valor de una nueva estrategia o intervención para la implementación de las evidencias (estudios de intervención).

En la siguiente tabla se muestra la clasificación de los distintos diseños de estudios:

2. CONSIDERACIONES FINALES

Favorecer la traslación del conocimiento a la práctica es el objetivo de proyectos como el de “Implantación de Buenas Prácticas en Centros Comprometidos con la Excelencia en Cuidados” y si no evaluamos los resultados de esa implementación no seremos capaces de discernir si el camino avanzado ha traído los resultados esperados.
Se pueden evaluar los resultados producidos debido a la implementación de una GPC, de un protocolo o de una intervención aislada… pero todas las evaluaciones son igual de importantes (aunque unas sean más complejas que otras).

¿Qué sucede si la evaluación nos da resultados negativos?

Si al implementar por ejemplo una GPC obtuviéramos resultados negativos deberemos analizar la situación para intentar determinar qué es lo que ha fallado o debemos cambiar:

• ¿Se han logrado implementar las recomendaciones de la GPC de manera homogénea?
• ¿Todos los profesionales han adoptado los cambios?
• ¿Se han aplicado los cambios a todos los pacientes susceptibles (o a la muestra determinada y sin sesgo)?
• ¿La estructura utilizada ha sido la adecuada?
• ¿Los indicadores se han podido recoger de manera adecuada y sin sesgos?
• ¿Ha habido alguna circunstancia externa que haya influido en la implementación de las evidencias?
• El diseño de la evaluación, ¿ha sido el correcto?

En el caso de que lleguemos a la conclusión de que la metodología de implantación y evaluación han sido las adecuadas, tal vez tengamos que plantearnos la pertinencia de esas evidencias a nuestro entorno.