Artículo completo
RESUMEN

La estimación de la incertidumbre de las medidas es un elemento fundamental del control de calidad en los laboratorios. En este trabajo se comparan dos métodos para calcular la incertidumbre: el método delta y el bootstrap. La comparación se realiza mediante cinco series de simulaciones por ordenador de las mediciones de la temperatura de una estufa de cultivo. Con las incertidumbres obtenidas, se calculan los intervalos de confianza al 95%; a continuación se comprueba el porcentaje real de mediciones incluido dentro de este intervalo de confianza. Tanto el bootstrap como el método delta obtuvieron intervalos de confianza con coberturas medias ligeramente inferiores al 95%. En todas las series, el bootstrap presenta un gran número de simulaciones en torno al 95%, y la distribución de los resultados del bootstrap no se afecta por la inclusión de variables extrañas ni por la correlación entre dos componentes de la medida. En cambio, la distribución de los intervalos de confianza conseguidos por el método delta es muy dispersa; además, la validez del método delta resultó ser muy sensible a los cambios de condiciones externas. En conclusión, el bootstrap es un procedimiento más robusto que el método delta para la estimación de la incertidumbre en laboratorios. Palabras clave: bootstrap, control de calidad, error estándar, incertidumbre, método delta. ABSTRACT

Estimating uncertainty is a major point in laboratory quality control. In this work, we compare two methods to estimate uncertainty: delta method and boostrap. The comparison was performed using five computerized simulation series on incubator temperatures. Next, 95% confidence intervals were estimated and compared with the actual percentage covered by the confidence interval. Both bootstrap and delta methods obtained confidence intervals a bit lower than the 95% nominal. In all five series, the bootstrap shows a great number of simulations near 95%, and their distribution is not affected by neither the inclusion of strange variables nor the correlation between any two-measure components. However, the distribution of the confidence intervals obtained by the delta method is sparse; furthermore, the validity of the delta method was sensible to changes in external conditions. In conclusion, the bootstrap method is more robust than the delta method for estimating uncertainty in laboratory quality control. Key words: bootstrap, delta method, quality control, standard error, uncertainty. INCERTIDUMBRE DE LA MEDIDA

Un gran número de empresas públicas y privadas dedicadas a los análisis de laboratorio se están viendo sometidas a procedimientos de acreditación (bien por razones de prestigio, bien por motivos legales) llevados a cabo por organismos nacionales de acreditación (ENAC en España, DAR en Alemania, etc.). Estas acreditaciones se rigen por la normativa aprobada por la International Organization for Standardization (ISO); en la actualidad, la norma aplicable en los laboratorios de ensayo es la ISO-17025. Uno de los elementos clave en la acreditación de los laboratorios de ensayo es la determinación de la incertidumbre del ensayo o de los equipos que se han utilizado.Consideremos un ejemplo: para determinar si un alimento contiene Listeria monocytogenes es necesario emplear balanzas para pesar las muestras, fungible volumétrico para realizar diluciones y estufas de cultivo para incubar las muestras. Antes de la existencia de los programas de acreditación de laboratorios, era habitual dar por sentado que la pesada realizada en la balanza es correcta, que el fungible volumétrico tiene el volumen indicado y que la estufa de cultivo se mantiene a una temperatura constante (la indicada en su termostato). La realidad es mucho más compleja; las balanzas, las pipetas y las estufas son imperfectas y no pesan / miden / incuban de manera exacta sino que están sometidas a cierta variabilidad. Esta inexactitud es inevitable, y una de las funciones de la acreditación es garantizar que la inexactitud no excede de ciertos límites. Para ello es necesario el cálculo de la incertidumbre de medida.La ISO publicó en 1993 el documento «Guide to the Expresion of the Uncertainty in Measurement »,¹ en la que señalaba la utilidad de la desviación típica como estimador de la incertidumbre. Previamente, en 1990, se había producido cierta confusión sobre si la incertidumbre debía calcularse como la desviación típica de la distribución de medidas o como la desviación típica de las medias (también conocida como error estándar de la media),² aunque las fórmulas 4, 9 y 10 de la referencia número 2 aclaran que realmente se está utilizando el error estándar de la media. Finalmente, el European Co-operation for Accreditation of Laboratories (EAL) publicó en 1999 el documento «Expression of the Uncertainty of Measurement in Calibration»³ en el que se confirma que la medida de la incertidumbre es el error estándar de la media. CALCULO DE LA INCERTIDUMBRE MEDIANTE EL METODO DELTA

De manera sistemática, los documentos de EAL calculan la incertidumbre de la medida utilizando un antiguo instrumento matemático, conocido como método delta, en el que se realiza un desarrollo de la medida en una serie de Taylor de primer orden para estimar su error estándar. El método delta es el procedimiento más comúnmente utilizado para estimar de forma aproximada los errores estándar.4 El método se aplica a estadísticos de la forma ƒ(µ₁, µ₂, ..., µ_k), donde ƒ(...)es una función conocida y cada µ_i es una media observada. El método delta consiste en (a) expandir ƒ en una serie de Taylor de primer orden sobre las medias de las µ_i, y (b) evaluar el error estándar de la serie de Taylor utilizando las expresiones habituales para las varianzas y covarianzas de las medias.⁵Este método es aplicable sólo cuando la medida no se obtiene directamente sino que es el resultado de operar con una serie de variables intermedias; por ejemplo, la densidad de un líquido no se mide directamente sino que se obtiene dividiendo su masa entre su volumen. Es decir:(INSERTAR EL ARCHIVO llorca_ecu1.GIF)En este caso es adecuado el método delta; en cambio, para una medición que se realiza de forma directa, el método delta carece de base racional. Entre los inconvenientes del método delta figuran que requiere asumir que la medida se distribuye de forma normal, que todas las variables que influyen en la medida son conocidas, se conocen las varianzas y las covarianzas de cada una de las variables, y la relación entre las variables originales es diferenciable. CÁLCULO DE LA INCERTIDUMBRE MEDIANTE BOOTSTRAP

En la era informática se han desarrollado otros métodos para estimar el error estándar de una medida; destaquemos entre ellos el jackknife y el bootstrap, desarrollado por Efron en 1979.⁶ Para ilustrar la forma de realización del bootstrap, supóngase que se realizan 50 determinaciones de la densidad de un líquido (figura 1). De este grupo de determinaciones se seleccionan 50 al azar con reemplazo (es decir, unas determinaciones figurarán varias veces en la muestra y otras no figurarán ninguna vez). Llamaremos a este grupo seleccionado al azar «muestra bootstrap». En la muestra bootstrap se calcula la media (la denominaremos «densidad bootstrap»). Este procedimiento de selección de una muestra con reemplazo se repite un número determinado de veces (en el ejemplo de la figura 1, n = 1 000), con lo que se dispone de 1 000 densidades bootstrap. Por último, se calcula la desviación estándar de las densidades bootstrap: este resultado es el valor de la incertidumbre.(INSERTAR LA FIGURA 1)Figura 1. Algoritmo para la realización de un bootstrap de 1.000 iteraciones sobre una muestra de 50 valores.El bootstrap no requiere realizar ninguna asunción sobre las variables que forman parte de la medida ni sobre su distribución. Varios estudios han mostrado la superioridad del bootstrap sobre el método delta en diferentes aplicaciones.^4,7,8METODO

En nuestro trabajo realizamos una comparación entre el bootstrap y el método delta para estimar la incertidumbre de la temperatura de trabajo de una estufa de cultivo. Para ello, asumimos que la verdadera temperatura de la estufa es una función en la que se combinan de forma lineal la precisión y escala de medida del termómetro, la uniformidad de la estufa (es decir, las diferencias de temperatura dentro de la estufa en un mismo momento del tiempo) y su estabilidad (las diferencias de temperatura en un mismo lugar de la estufa a lo largo del tiempo). En concreto:(INSERTAR EL ARCHIVO llorca_ecu2.GIF)La comparación consistió en cinco series de 1 000 simulaciones por ordenador en las que se variaban las condiciones de la medición (uniformidad y estabilidad), se introducían cambios en la covarianza entre ellas y se incluían variables externas no controlables. La tabla 1 describe las condiciones en que se realizó cada serie.(INSERTAR llorca_tab1)En cada una de las series de simulación, se calculó la incertidumbre de la temperatura por dos procedimientos: un bootstrap con 1 000 repeticiones del muestreo y el método delta. La aplicación del bootstrap es idéntica a la indicada en la figura 1, pero con 1 000 determinaciones en la muestra inicial y en cada muestra bootstrap. Para el método delta, se consideró que la incertidumbre de la estufa en cada simulación viene dada por:(INSERTAR EL ARCHIVO llorca_ecu3.GIF)Para admitir esta fórmula se asumió que los diferentes componentes de la temperatura (uniformidad, estabilidad, etc.) son independientes. Si así no fuera, sería necesario introducir términos adicionales con las covarianzas correspondientes.Con las incertidumbres obtenidas por ambos métodos se calcularon los correspondientes intervalos de confianza del 95%. Llamaremos «porcentaje de cobertura» al porcentaje de las medias de cada simulación que están incluidas en el intervalo de confianza. El porcentaje de cobertura teórico es del 95%. Si el porcentaje de cobertura real es mayor del 95% de las medias, tendremos un procedimiento que calcula un valor de la incertidumbre superior al real; en cambio, si la cobertura está por debajo del 95% de las medias, el método infraestima la verdadera incertidumbre de la medida. RESULTADOS

En las cinco series de simulaciones, el porcentaje medio de cobertura de los intervalos de confianza obtenidos por bootstrap varió de 93.74% a 94.15%. En cambio, con el método delta la media de cobertura varió entre el 91.32% y el 94.91%. En cuatro de las cinco series, el bootstrap tuvo coberturas medias más cercanas al 95% teórico que el método delta.La figura 2 muestra la distribución de los porcentajes de cobertura obtenidos con el método bootstrap. La figura 3 muestra la misma distribución para el método delta. Las diferentes líneas representan cada una de las series de simulación.INSERTAR LA FIGURA 2Figura 2. Distribución de los porcentajes de cobertura obtenidos por el bootstrap. Cada línea representa una serie de simulaciones. En todas las series, la mayor parte de los valores se acumulan en torno al 95%, lo que indica una cobertura próxima a la teórica. Además, todas las líneas tienen una forma similar; es decir, el resultado del bootstrap tiene la misma validez aunque cambien las condiciones de medida (por inclusión de una variable extraña o porque haya correlación entre dos variables).INSERTAR LA FIGURA 3Figura 3. Distribución de los porcentajes de cobertura obtenidos por el método delta. Cada línea representa una serie de simulaciones. En varias series se produce un alto número de simulaciones con valores extremos del porcentaje de cobertura (del 100% o por debajo del 90%) lo que sugiere poca validez del método. Además, las líneas tienen diferente forma, lo que indica que la validez del método delta varía con las condiciones de medida.Dos aspectos de las figuras son especialmente destacables: En primer lugar, las distribuciones procedentes del bootstrap (figura 2) tienen todas la misma forma, mientras que las del método delta tienen formas muy variables (figura 3). Este resultado indica que el bootstrap es un procedimiento robusto, mientras que el método delta es muy sensible a condiciones externas a la medición. Por ejemplo, la forma de la distribución en el método delta cambia si las variables medidas (uniformidad y estabilidad de la temperatura, por ejemplo) están correlacionadas o si existe algún factor no controlado que influye en la temperatura; mientras que el bootstrap no modifica su distribución en ninguna de estas dos situaciones.En segundo lugar, las distribuciones obtenidas con el bootstrap tienen un máximo en el 95% de cobertura y pocos valores extremos. En cambio, las obtenidas con el método delta presentan formas irregulares con un porcentaje grande de resultados en valores extremos: Del 4 al 12% de las incertidumbres calculadas tienen un porcentaje de cobertura del 100% (es decir, son incertidumbres excesivamente altas) y en muchas ocasiones se obtienen porcentajes inferiores al 90% (incertidumbres excesivamente bajas).CONCLUSIONES

El cálculo de incertidumbres por el método bootstrap permite obtener intervalos de confianza próximos al 95% y es poco sensible a los cambios de las condiciones externas a la calibración; como inconveniente, el bootstrap hace un uso intensivo de recursos informáticos, aunque varios paquete estadísticos de uso común incorporan comandos que permiten su realización. En cambio, el método delta es muy sensible a estos cambios y los intervalos de confianza que se obtienen con él tienen coberturas muy variables que pueden estar tanto por encima del 95% teórico (incluso en muchas ocasiones en el 100%) como por debajo del 95%; como ventaja, el método delta es más fácil de emplear siempre que se conozca de forma precisa la relación entre la magnitud medida y sus componentes. En consecuencia, consideramos que, siempre que sea posible, el bootstrap debería tener preferencia sobre el método delta para la estimación de la incertidumbre en el laboratorio. El método delta debería restringirse para las situaciones en las que la relación entre la magnitud medida y sus componentes es bien conocida, y cuando la existencia o no de correlación entre estos componentes está establecida sobre bases firmes.BIBLIOGRAFIA

1. ISO Technical Advisory Group, Working Group 3. Guide to the Expresion of Uncertainty in Measurement. Ginebra: International Organization for Standardization; 1993
2. Guía para la expresión de la incertidumbre de medida en las calibraciones. Traducción del documento WECC-19-1990. Madrid. Entidad Nacional de Acreditación; 1991
3. EAL. Expression of the Uncertainty of Measurement in Calibration. Documento EA-4/02. European Cooperation for Accreditation of Laboratories; 1999
4. Efron B, Tibshirani R. Bootstrap methods for standard errors, confidence intervals, and other measures of statistical accuracy. Statistical Science 1986; 1:54-77
5. Cramer H. Mathematical methods of statistics. Princeton University Press, Princeton, New Jersey, 1946; p. 359
6. Efron B. Bootstrap methods: another look at the jackknife. Annals of Statistics 1979; 7:1-26
7. Llorca J, Delgado-Rodríguez M. A comparison of several procedures to estimate the confidence interval of attributable risk in case-control studies. Statistics in Medicine 2000; 19:1089-99
8. Llorca J, Dierssen Sotos T. Comparación de dos métodos para el cálculo de la incertidumbre en los análisis de laboratorio. Gaceta Sanitaria 2000; 14:458-63