Bias

 Modelos para la estimaci ón del Bias y desempeño del  método

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Introducción  Los

temas a abordar abordar en esta esta presentación presentación son temas que suelen generar conflicto.  Existen

distintas formas de estimar el Bias.

 Los

distintos modelos arrojan distintos resultados. Vamos  Foco:

a presentar los distintos modelos.

Utilidad Clínica de los resultados.

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Errores Analíticos  Error Aleatorio - Error Error Aleator Aleatorio io (Random error, RE o imprecisión) - Error (positivo (positivo o negativo) cuya magnitud y dirección dirección no pueden ser predichas. - Se puede expresar expresar como desvío desvío estándar (SD) o como porcentaje porcentaje de la media (CV). - Disp Disper ersi sión ón.. Media Observada

Error Aleatorio

www.westgard.com www.westgard.com

Errores Analíticos  Error Sistemático - Error Error Siste Sistemát mático ico (Sistematic Error, SE) - Error Error que se produce en una dirección dirección y que provoca provoca un desplazamien desplazamiento to (BIAS o sesgo) de la media de una distribución de su valor real. - Distri Distribuc bución ión Centra Central. l.  Valor -Proporcional Media  Verdader Observada (Depende de la concentración) o -Constante (No depende de la concentración)

Bias

www.westgard.com www.westgard.com

Errores Analíticos Error aleatorio Error Sistemático Constante

Error Sistemático Proporcional Resultado del método de comparación www.westgard.com www.westgard.com

Errores Analíticos TE: Error Total 

“Combinación de errores analíticos (aleatorio y sistemático) que estima la magnitud de error que puede ser esperado de una medición simple” 

TE = SE + (n * RE) n:

2 (95 % de confidencia) 3 (99,7% de confidencia) 4,5 (99,9997% de confidencia)

Errores Analíticos

TE < TEa TE: Error Total  TEa: Error Máximo Tolerable

Errores Analíticos  Error Total   El TE por s í solo no nos dice si los resultados cumplen con los requerimientos requerimien requerimienttos os de calidad.   Para lograr esa información debo definir previamente los requerimientos de calidad. ( TEa TEa ) 

Performance Performance Driven Quality Quality Control Control Zoe C Brooks

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Definiciones” BIAS Proporcional

Error Sistemático

Constante

Bias: “Definiciones” Conceptos relacionados: relacionados: - Can Cantida tidad d - Valor Valor verdade verdadero ro de una canti cantidad dad - Valor Valor convenci convencional onal de de una cantida cantidad d - Error Error Sistem Sistemáti ático co - Bias - Vera Veraci cida dad d - Exac Exacti titu tud d

Bias: “Definiciones”

Bias: “Definiciones”

Cantidad Propiedad de un fenómeno, cuerpo o sustancia, donde la propiedad tiene una magnitud que puede ser expresada como un número y una referencia.

Bias: “Definiciones”

Valor verdadero de una cantidad Valor Verdadero Valor de una cantidad consistente con la definición de la cantidad.

Bias: “Definiciones”

Valor convencional de una cantidad Valor convencional Valor de una cantidad atribuido por acuerdo a dicha cantidad para un propósito dado.

Bias: “Definiciones”

Medición del Bias Bias Estimación del error sistemático de la medición.

Bias: “Definiciones”

Error sistemático de la medición Error Sistemático Componente del error de la medición que en mediciones replicadas permanece constante, o varia en una forma predecible.

Bias: “Definiciones”

Medición de la veracidad Veracidad de la medición Veracidad Grado de acuerdo entre la media de un numero infinito de replicados de valores de la medición de un cantidad y el valor de referencia de dicha cantidad.

Bias: “Definiciones”

Medición de exactitud Exactitud de la medición Exactitud Grado de acuerdo entre el valor medido de una cantidad y el valor verdadero de la cantidad medida.

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Modelos de Estimación” Error de Medida

Bias

Importante!!!!!!!!

Bias: “Modelos de Estimación” ES L: Error Sistemático del laboratorio ES T: Error sistemático del procedimiento de medida del laboratorio ES M: Error Sistemático del método

XmLab: Media del laboratorio XmMet: Media del Método XmGlob: Media Global verdadera

Control de la Calidad en el Laboratorio Clínico 2° Edición F.-Javier Gella

 ES L

 ES M 

ES T

 XmLab

 XmMet 

 XmGlob

Bias: “Modelos de Estimación” Valor Verdadero

 Medida

Control de la Calidad en el Laboratorio Clínico 2° Edición F.-Javier Gella

 ES   EA

 Imprecisi ón

 Error M á ximo de Medida

Bias: “Modelos de Estimación” ¿De que forma podemos estimar el Bias de nuestros métodos?  1)- Comparac Comparación ión de Métodos. Métodos. 2)- Esque Esquema mass Interl Interlab abora orator torio io o Peer Peer Group. Group. 3)- Control Control de Calida Calidad d Externo Externo.. - Regr Regres esió ión n - T test 4)- Estudios de Recuperación, Recuperación, verificación verificación de la veracidad . 5)- Otr Otros. os.

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Comparación de Métodos”  Los estudios de comparación de métodos se llevan a cabo a efectos de determinar el error sistemático del ensayo (canti (ca ntidad dad)) que est está á sien siendo do eval evaluado uado.. 

Se realizan analizando muestras con el nuevo método y un método de comparación.



Sobre la base de las diferencias observadas entre los dos métodos se calcula el error sistemático.



Las diferencias observadas se analizan en los distintos niveles de decisión médica de la cantidad (analito) en cuestión, para juzgar sobre la aceptabilidad del método.



Brindan información importante sobre la naturaleza del error (sistemático o constante).

Bias: “Comparación de Métodos” Objetivo “El propósito fundamental de los estudios de comparación de métodos es determinar si dos métodos son estadísticamente comparables” Para que esto sea cierto se deben dar tres condiciones: 1- La 1- La pendiente no debe ser significativamente diferente de 1. 1. 2- La 2- La intersección no debe ser significativamente diferente de 0. 3- No 3- No debe existir diferencia significativa en los niveles de decisión médica.

Bias: “Comparación de Métodos”  Factores a Considerar  Considerar  1)- Métod Método o de Compara Comparació ción. n. 2)- Número Número de muestras muestras a analiza analizar. r. 3)- Corrida Corrida Simpl Simple e Vs. Duplicad Duplicados. os. 4)- Duraci Duración ón del del estudi estudio. o. 5)- Estabili Estabilidad dad de las las muest muestras. ras.

Bias: “Comparación de Métodos”  Método de Comparación -Se habla de método de comparación. -Debería seleccionarse un método de referencia para asegurar la veracidad de los resultados que genera. -Si el método de comparación es un método de referencia, las diferencias encontradas son asignadas al método en estudio. -Al momento de interpretar los resultados es muy importante saber cual es la referencia que estamos empleando. - Conceptos Conceptos relacionados relacionados : “Trazabilida “Trazabilidad”; d”; “Método “Método Definitivo Definitivo o de Referencia”

Bias: “Comparación de Métodos”  Número de muestras a analizar  - Deben seleccionar seleccionarse se entre entre 20 y 40 muestra muestrass de pacientes, pacientes, de manera tal que se cubra el rango de trabajo del ensayo en estudio. - La calida calidad d de las muestr muestras as seleccion seleccionadas adas es más más importan importante te que la cantidad. - Factor Factor crít crítico ico:: “Distr “Distribu ibució ción n de las las muestr muestras” as”..

Bias: “Comparación de Métodos” Corrida Simple Vs. Duplicados -Los duplicados brindan una verificación sobre la validez de las mediciones. -Incrementan costos. - Si no se trabaja trabaja con duplica duplicados dos se deben verificar verificar los pares pares de de datos al momento que son obtenidos.

Bias: “Comparación de Métodos”  Duración del estudio -Mínimo 5 días. -Optimo 20 días. -2 a 5 muestras por día.

Bias: “Comparación de Métodos”  Estabilidad de las muestras -Genéricamente se recomienda no dejar pasar más de 2 horas para procesar las muestras por ambos métodos. - La estabilid estabilidad ad del analito analito en la muestra muestra puede puede ser una una limitante. - Ejemplos: Ejemplos: Bicarbonato Bicarbonato,, lactato, amonio, amonio, gases gases en sangre.

Bias: “Comparación de Métodos”  Interpretación de resultados Existen 4 razones o motivos por los cuales se realizan estudios de comparación entre métodos: -Clínico -Analítico -Investigación -Armonización

Bias: “Comparación de Métodos”  Interpretación de resultados

Lab Statis Statistic tics, s, Fun and Easy  Easy  By David G. Rhoads

Bias: “Comparación de Métodos”  Interpretación de resultados  Std. Err. Est. (SEE) - Describe Describe la dispersi dispersión ón de los puntos puntos x,y alrededor alrededor de la línea de tendencia central. - Cuanto más chico sea el SEE mejor correlacionan los métodos. - Si el desvío estándar de ambos métodos es idéntico, el SEE será aproximadamente 1,4 veces el desvío estándar típico.

Bias: “Comparación de Métodos”  Interpretación de resultados  Std. Err. Est. (SEE)

Lab Lab Statis Statistic tics, s, Fun Fun and Easy  Easy  By David G. Rhoads

Bias: “Comparación de Métodos”  Análisis Gr á fico Asociado M  é   t    o  d   o  e n  e  s  t    u  d  i    o  o  d   e  c  a m  p  o

Grafico de Comparaci ó  ón  n   

Permite identificar outliers Verificar la calidad de las muestras Respuesta lineal en el rango analítico Acuerdo entre los métodos M é  étodo  todo de Referencia o de  comparaci ó  ón  n   

www.westgard.com 

Bias: “Comparación de Métodos”  Análisis Gr á fico Es inicialmente útil para detectar outliers. Para los métodos que supuestamente tienen un grado de acuerdo importante se utiliza utiliza el el “Difference “Difference plot”.  c D  o  m i    f   r  p  e  a  e  n r  c  a  c  i    a  i    ó   (    n  e  n  )   s  a  y  o -

Gr á fico de diferencias

Permite identificar outliers Permite visualizar errores  Lí nea nea de cero

 M étodo de Referencia o de comparación www.westgar  d.com 

Bias: “Comparación de Métodos”  Diferentes modelos de regresión:  Regresión lineal 



 Regresión de Deming



 Passing-Bablok



Bias: “Comparación de Métodos”  Interpretación de resultados -Ambos modelos funcionan minimizando la suma de los cuadrados de los residuales. -La regresión regular asume para hacerlo que le método de comparación es exacto. -Angulo definido por el cociente de los errores relativos de los 2 métodos.

Lab Stati Statisti stics cs,, Fun and Easy  Easy  By David G. Rhoads

Bias: “Comparación de Métodos”  Interpretación de resultados  Pas  P assi sing ng Ba Babl blok ok - Es una aproximación diferente. - Calcula las pendientes de cada uno de los pares de puntos. - Descarta las pendientes horizontales y verticales y estima la media del resto. - Descarta outliers.

Bias: “Comparación de Métodos” Coeficiente de correlación (r) “   Describe el ancho relativo de la elipse que engloba los puntos de la serie de datos. ”  - Es sensible al error aleatorio, al rango de datos y  al signo de la pendiente. - Mide el el grado de asociac asociación ión entre entre dos variab variables. les.

Bias: “Comparación de Métodos”  Interpretación de resultados ¿Cómo estimar el Bias en unidades de concentración y  porcentaje a partir de la ecuación de la recta obtenida del estudio de comparación de métodos? 

 Pendiente:  Intercepto:

1,0377 (m) 5,37

 Ecuación de la recta:

(b)  Y = m x X + b  Y = pendiente x X + Intercepto  Y = 1,0377 x X + 5,37

X : Concentraci ó  ón   a la cual se va a evaluar el  bias  Deber í  ía   representar un nivel de decisi ó  ón   m é  édica   dica 

Bias: “Comparación de Métodos”  Interpretación de resultados Y = 1,0377    X + 5,37   x 

 Lo que quiero saber es: -  Para una muestra que tenga un valor verdadero de “X”  que valor voy a obtener yo de acuerdo al Bias de mi método .

-  X = 100 mg/dl  - Y = 1,0377   100 + 5,37  - Y = 109,1 109,1 mg mg/dl  /dl   x 

-  Para una muestra con un valor verdadero de 100 mg/dl  con mi método yo obtendría un valor de 109,1 mg/dl.

Bias: “Comparación de Métodos”  Interpretación de resultados   X = 100 100 mg/d mg/dll (val (valor or verd verdad ader ero) o) Y = 109, 109,1 1 mg mg/d /dll (val (valor or ob obte teni nido do)) ¿Cuál es el Bias en unidades de concentraci ón?   Bias  Bias = Valor Obteni Obtenido do – Valor Valor Verdadero Verdadero  Bias  Bias = 109,1 109,1 – 100 = 9,1 mg/dl  mg/dl 

Bias: “Comparación de Métodos”  Interpretación de resultados   X = 100 100 mg/d mg/dll (val (valor or verd verdad ader ero) o) Y = 109, 109,1 1 mg mg/d /dll (val (valor or ob obte teni nido do)) ¿Cuál es el Bias en porcentaje?   Bias  Bias = Valor Obten Obtenido ido – Valor Valor Verdadero Verdadero Valor Verdadero   Bia Bias s=

109, 109,1 1 – 100 100  100

 Bias = 9,1 %

1oo 

x 

 1oo

 x 

Bias: “Comparación de Métodos”

Bias: “Comparación de Métodos”

Bias: “Comparación de Métodos”

Efecto del error sistemático proporcional

Bias: “Comparación de Métodos”

Efecto del error sistemático constante

Bias: “Comparación de Métodos”

Efecto del error aleatorio

Bias: “Comparación de Métodos” Efecto del error aleatorio

Bias: “Comparación de Métodos” Efecto de no linealidad

Bias: “Comparación de Métodos” Efecto de “outliers”

Bias: “Comparación de Métodos”

Rango de datos inadecuado

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Esquemas Interlaboratorio”  Interpretación de resultados “Los esquemas esquemas interlab interlabora oratori torio o brindan brindan una información muy útil para la estimación del Bias” 

Puntos críticos: -Contra que me comparo. -Valor verdadero. -Trazabilidad. -Tamaño del grupo de comparaci ón. - Niveles de decisi ón médica evaluados.

Bias: “Esquemas Interlaboratorio”

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media grupo par Lab: 40,07  Media grupo par: 39,05 Bias: ( 40,07 - 39,05) = 1,02 Bias %: (1,02 / 39,05)*100= 2,61

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media Acumulada del laboratorio Lab: 40,07  Media acum. Lab.: 40,08 Bias: ( 40,07 - 40,08) = -0,01 Bias %: (0,01 / 40,08)*100= 0,02

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 1: Supongamos valor verdadero: Media del Método Lab: Media del Método: Bias: Bias %:

40,07  37,72 ( 40,07 - 37,72) = 2,35 (2,35 / 37,72)*100= 6,2

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media grupo par Lab: 185,6 Media grupo par: 188,1 Bias: ( 185,6 – 188,1) = -2,5 Bias %: (2,5 / 188,1)*100= 1,3

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media Acumulada del laboratorio Lab: 185,6 Media acum. Lab.: 186,4 Bias: ( 185,6 - 186,4) = -0,8 Bias %: (0,8 / 186,4)*100= 0,4

Bias: “Esquemas Interlaboratorio” Evaluemos Nivel 2: Supongamos valor verdadero: Media del Método Lab: Media del Método: Bias: Bias %:

185,6 188,1 ( 185,6 – 188,1) = -2,5 (2,5 / 188,1)*100= 1,3

Bias: “Esquemas Interlaboratorio”

Bias en porcentaje evaluado frente a: Media Grupo Par

Media Acumulada del Laboratorio

Media del Método

Nivel 1

2,61

0,02

6,2

Nivel 2

1,3

0,4

1,3

Bias: “Esquemas Interlaboratorio”  Interpretación de resultados - Menos retrospectivo. - Depende del tamaño del grupo. - F ácil seguimiento. - Se estima Bias y Cv empleando la misma fuente de datos lo cual facilita el seguimiento de desempeño del   M étodo en función del tiempo. - La estimación se hace a 2 o 3 niveles de decisión médica.

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Control de Calidad Externo”  Existen dos alternativas -  Regresión Lineal  ¿Son las concentraciones evaluadas los suficientemente buenas para cubrir el rango reportable?  - T test  ¿Es el Bias independiente de la concentración evaluada?  ¿C ómo se estimó el valor verdadero del material enviado para la encuesta?   Estudio retrospectivo. ¿C ómo esta formado el grupo?  Trazabilidad.

Bias: “Control de Calidad Externo”

 Existen dos alternativas - Regresión Lineal  - T test 

Bias: “Control de Calidad Externo”

Bias: “Control de Calidad Externo”

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9 Pendiente: Intercepto: X Y B i as Bias %

1,021 2,9 70 74,4 4,4 6,2

mg/dl   mg/dl   mg/dl   %

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9 Pendiente: Intercepto: X Y B i as Bias %

1,021 2,9 15 0 156,1 6,0 4,0

mg/dl   mg/dl   mg/dl   %

Bias: “Control de Calidad Externo”

Y = 1,021 * X + 2,9 Pendiente: Intercepto: X Y B i as Bias %

1,021 2,9 300 309,2 9,2 3,1

mg/dl   mg/dl   mg/dl   %

Bias: “Control de Calidad Externo”

 Existen dos alternativas - Regresión Lineal  - T test 

Bias: “Control de Calidad Externo” Encuesta 1

Valor  informado 100

Valor Veradadero

Bias relativo

Bias %  

103

0,0291

2,9126

0,0500

5,0000

0,0725

7,2464

 Valor informado-Valor verdadero 2 76 80 *100  Valor Verdadero 3 64 69 4

232

240

0,0333

3,3333

5

115

121

0,0496

4,9587

6

98 103  Valor Informado-Valor verdadero 0,0485  Valor Verdadero 70 76 0,0789

4,8544

7

7,8947

8

76

80

0,0500

5,0000

9

178

183

0,0273

2,7322

10

321

331

0,0302

3,0211

Media

0,0470

4,6954

SD

0,0179

1,7862

Mediana

0,0491

4,9065

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Verificación de Veracidad” Recuperación F A B R I C A N T E

U S U A R I O

Precisión

Validación frente a TEa

Especificaciones Precisión

Bias

Especificaciones Bias

Verificación

Bias: “Verificación de Veracidad” Recuperación El EP 15 A2 propone dos modelos diferentes para verificar las especificaciones de veracidad volcadas por el fabricante de los ensayos: 1)- Emplean Empleando do muestra muestrass de paciente pacientess 2)- Emplean Empleando do material materiales es de referenc referencia ia

Bias: “Verificación de Veracidad” Recuperación 

Materiales de referencia con valores asignados

- CRM “Materi “Materiales ales de Referenc Referencia ia Certificad Certificados” os” - Materiales de referencias referencias con valores asignados asignados a partir de ensayos de aptitud. (PT) - Materiales de fabricantes fabricantes con valores asignados. - Materiales provistos por por terceras terceras partes con valores valores asignados asignados por consenso después de ser procesados en distintos laboratorios. laboratorios. (materiales que participan en esquemas de comparación Interlaboratorio) - Estándares preparados preparados para obtener concentracione concentracioness conocidas. conocidas.

Bias: “Verificación de Veracidad” Recuperación 

2 Materiales de diferente concentración.  Deben representar en la medida de lo posible niveles de decisión médica. Deben prepararse respetando las condiciones del proveedor. Día 1

Rep.1

Día 2

Rep.2

Rep.1

Día 3

Rep.2

Rep.1

Día 4

Rep.2

Rep.1

Media  Desvío estándar  Limites de confianza para la verificación del valor asignado 

Día 5

Rep.2

Rep.1

Rep.2

Bias: “Verificación de Veracidad” Recuperación

Bias: “Verificación de Veracidad” Recuperación

Bias: “Verificación de Veracidad” Recuperación 

Si el intervalo de verificación incluye el valor asignado por el fabricante, la especificación de veracidad ha sido verificada. 

Si el Bias o Bias % obtenido es muy diferente al declarado por el fabricante aunque este se encuentre dentro del intervalo de  verificación se debería agregar mas poder estadístico al protocolo incorporando mas replicados y días. 

Si el intervalo de verificación no incluye al valor asignado por el fabricante, no se verifica la especificación de veracidad.

Bias: “Verificación de Veracidad” Recuperación

X = Media (de los 10 replicados) Sa = Desvío estándar del valor asignado Sx = Desvío Estándar 

t1-α,2n-1 = 2,821

Depende del material seleccionado

Bias: “Verificación de Veracidad” Recuperación 

Si el fabricante declara la incertidumbre estándar o combinada que corresponde a la asignación de valor verdadero al material:



Si el fabricante declara el intervalo de confianza del 95 % (CI) correspondiente correspondiente a la asignación del valor verdadero del material:

Bias: “Verificación de Veracidad” Recuperación 

Si el fabricante del material de referencia expresa la incertidumbre asociada a la asignación del valor verdadero del material en el formato de Incertidumbre expandida existen 2 opciones a saber: K=2

K=3

Bias: “Verificación de Veracidad” Recuperación 

Si el material de referencia es una muestra de un esquema de evaluación externa de la calidad o un ensayo de aptitud tenemos:

S = Desvío Estándar del grupo n = Número de resultados remitidos al grupo

Bias: “Verificación de Veracidad” Recuperación 

Si el material de referencia a emplear es una muestra que participa de un programa programa de comparación comparación interlaboratorio interlaboratorio se Debe proceder de la siguiente forma:

S = Desvío Estándar del grupo n = Número de laboratorios laboratorios participantes del grupo

Caso de Aplicación: Veracidad

SDg

Sa= √Ng

Caso de Aplicación: Veracidad

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Bias: “Modelo Alternativo” Este modelo es una simplificación.  Se emplea en EEUU   Aparece en varios ejemplos de planificación de la página del Dr. Westgard 

Bias: “Modelo Alternativo”  









Se corren los controles en el período inicial. Se establece una media inicial que se considera la mejor estimación del valor verdadero del material de control. Durante el primer mes se considera que el Bias del método es igual a “0”. Durante el segundo mes se establece una nueva media para el material. La diferencia entre la nueva media y la inicial es el Bias del segundo mes. El tercer mes se establece nuevamente la media y la diferencia de esta media con la del ciclo inicial es el Bias de ese mes.

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Desempeño del Método 

Premisa:

“Establecer los Requisitos de Calidad” 

Conocemos el desempeño de nuestros métodos en condiciones estables a partir de la verificaciones y   validaciones analíticas de métodos.



Una vez conocido el método como aceptable (cumple con nuestro requisitos de calidad), trabajamos con control de calidad para asegurarnos que el método permanece estable en función del tiempo.



Operando correctamente los datos de desempeño analítico del método obtenidos de las corridas de los controles (esquemas interlaboratorio), interlaboratorio), junto con los requisitos de calidad podemos seguir cual es el comportamiento del método de acuerdo a nuestras expectativas.

Desempeño del Método  Validación /  Verificación (Bias-CV)

Requisitos de Calidad TEa TE Sigma Método  Aceptado

Método Rechazado

Planificación de control de Calidad / Control de calidad Interno Esquemas Interlaboratorio Control Externo de Calidad TEa

Bias CV 

TEa Bias CV 

Seguimiento del Desempeño (TE y/o Sigma)

Desempeño del Método 





Los errores calculados son: - Error Aleatorio: Aleatorio: A partir de los protocolos de Precisión Simple y Compleja. SD y CV  Sistemático: A partir del protocolo de - Error Sistemático: Comparación de Métodos.  Y = Pendiente * X + Intersección De la combinación de conceptos y errores surge la decisión acerca de la aceptabilidad del método en estudio. Existen varios modelos para esta combinación. Los más apropiados son: 1-Me 1-Meth thod od Desi Desici cion on Char Chartt 2-Six -Six Sig Sigma

Desempeño del Método  Method  Desicion  Desicion Chart  - Recomendaciones Recomendaciones para combinación combinación de errores: •  bia  bias s + 2SD 2SD < TEa TEa •  bia  bias s + 3SD 3SD < TEa TEa •  bia  bias s + 4SD 4SD < TEa TEa - A partir de los protocolos de evaluación evaluación obtenemos obtenemos los siguientes datos: BIAS CV  - BIAS y CV se calculan calculan en concentraciones concentraciones consideradas consideradas niveles de decisión médica.

Desempeño del Método  

El TE a debe expresarse en porcentaje. Si TE a está expresa expresado do en concent concentraci ración, ón, debe debe transformarse en porcentaje considerando el nivel de decisión médica seleccionado: TE a: a: 1 mg/d mg/dll (Calci (Calcio) o) Nivel de decisión médica: 11 mg/dl TE a%: (1/11)*100 = 9.1 % TE a: 0.5 mEq/l (Potasio) Nivel de decisión médica: 3.0 mEq/l TE a%: (0.5/3.0)*100 = 16.7 %

Desempeño del Método Crear el gr á fico: - Rotular Rotular el eje eje Y como Inexac Inexactitud titud permiti permitida da ( BIAS %) y  establecer una escala de 0 a TE a%. - Rotular el el eje X como Imprecisión Imprecisión permitida ( CV %) y  establecer una escala de 0 a TE a.0.5 (la mitad) - Dibu Dibuja jarr la lín línea ea b  bia ias s + 2SD uniendo el TE a en el eje Y con el TE a.0.5 en el eje X. - Dibu Dibuja jarr la lín línea ea b  bia ias s + 3SD uniendo el TE a en el eje Y con el TE a.0.33 en el eje X. - Dibu Dibuja jarr la lín línea ea b  bia ias s + 4SD 4SD uniendo TE a en el eje Y con el TE a.0.25 en el eje X. - Rotular Rotular las zonas zonas ( de derech derecha a a izquierda izquierda)) como Pobre, Marginal, Bueno y Excelente.

Desempeño del Método

www.westgard.com

Desempeño del Método 

Pobre: El método no cumple con los requerimientos de calidad, ni siquiera trabajando en condiciones de base, por lo tanto, es inapropiado para ser empleado como método de rutina.



Marginal: El método provee la calidad requerida solo bajo condiciones muy controladas controladas.. Será difícil trabajar trabajarlo lo como método de rutina y debe establecerse una estrategia de calidad total.(entrenamiento de operadores, QC exhaustivo, plan de mantenimiento frecuente, control de resultados)



Bueno: Cumple Cumple con los requerimien requerimientos tos de calidad calidad y puede ser empleado empleado en forma rutinaria rutinaria con un QC planificad planificado.(mul o.(multiregl tiregla a o N:4)



Excelente: Cumple con los requerimientos de calidad y es fácil de manejar con un QC mínimo.

Desempeño del Método  Six  Sigma  Sigma “Está “Está dirigida dirigida al mejoram mejoramien iento to de procesos procesos” ” El nombr nombree de Six Six Sigma Sigma deriva deriva de un “gold standard” de standard” de calidad que apunta a lograr que, entre los límites de tolerancia de un proceso dado, puedan alojarse seis unidades de desvío estándar.

www.westgard.com www.westgard.com

Desempeño del Método  Six  Sigma  Sigma Si reemplazamos en la definición anterior el término “toler “toleranc ancia ia del del proces proceso”  o” por por el de “requerimientos “requerimientos de calidad” hemo calidad” hemoss logrado logrado trasladar trasladar el concep concepto to Six Sigma Sigma a la evaluación de desempeño de los métodos analíticos.

Six Sigma=(TEa-Bias Sigma=(TEa-Bias%)/CV %)/CV Six Sigma=(TEa-Bia Sigma=(TEa-Bias)/SD s)/SD

Desempeño del Método C álculo de la M étrica Six  Sigma  Sigma - Definir los requerimientos de Calidad Ejemplo 12% - Eje Eje Y: de o a TEa (Bia (Biass %) Ejemplo de o a 12% X: de 0 a 0.5 0.5 TEa TEa (CV %) - Eje X: Ejemplo de 0 a 6% - Dibujar Dibujar las líneas líneas para para 2,3,4,5 2,3,4,5 y 6 σ ¿Cómo? Todas las líneas parten del eje Y en el TEa, en el ejemplo desde el 12%.

 2 σ  : Intercepta x en TEa /2 (Ej.6%)  3 σ  : Intercepta x en TEa /3 (Ej.4%)  4 σ  : Intercepta x en TEa /4 (Ej.3%)  5 σ  : Intercepta x en TEa /5 (Ej.2.4%) 6 σ  : Intercepta x en TEa /6 (Ej.2 %)

Desempeño del Método

www.westgard.com www.westgard.com

Desempeño del Método  Interpretación (del desempeño): Por debajo de 2 σ: Inaceptable Entre 2 σ y 3 σ: Marginal no válido para procesos de rutina. Entre 3 σ y 4 σ: Pobre Entre 4 σ y 5 σ: Bueno Entre 5 σ y 6 σ: Muy Bueno  Por encima de 6 σ : Gold Estandard 

Desempeño del Método Consideraciones

- 3.0 σ es el menor sigma permitido para procesos de rutina. - 4.0 σ es el sigma promedio de los procesos comerciales e industriales. - 5.0 σ es el primer objetivo de los procesos de mejoramiento. - 6.0 σ es el “Gold Standard”.

Desempeño del Método  Six  Sigma  Sigma Normalizado: Calcio

EP Eva Evalua luato torr Relea Release se 8 EP Eval Evalua uato torr Re Rele leas ase e8

Desempeño del Método  Six  Sigma  Sigma Normalizado: Calcio

EP Eva Evalu luato atorr Rele Releas ase e8 EP Eva Evalua luato torr Re Relea lease se 8

Desempeño del Método  Six  Sigma  Sigma Normalizado: M ás ejemplos…

Desempeño del Método  Six  Sigma  Sigma Normalizado: M ás ejemplos…

 Agenda   

 

Introducción Errores Analíticos Bias: - Defi Defini nici cion ones es - Mode Modelos los de de estim estimaci ación ón “Comparación de Métodos” “Esquemas Interlaboratorio” “Control de Calidad Externo” “Verificación de Veracidad” “Modelo Alternativo” Desempeño del Método Conclusiones

Conclusiones Existen Todos

distintos modelos para la estimación del Bias.

los modelos tienen puntos fuertes y débiles.

El

concepto de trazabilidad es muy importante i mportante al momento de estimar el Bias. El

modelo de estimación del Bias seleccionado debe permitir una estimación periódica a efectos de hacer un seguimiento del desempeño del método en forma permanente.

 MUCHAS GRACIAS!

¿ Preguntas?   www.gmigliarino.com [email protected]