Por: Lic. Mabel Delgado
Supervisora de la Unidad de Metrología Química
IBMETRO organiza ensayos de
aptitud desde el año 2010,en el marco del Programa “Fomento a la infraestructura de
la calidad que apoya a las mediciones y ensayos en agua potable”, el
cual se desarrolla entre el Instituto Boliviano de Metrología (IBMETRO) y el
Instituto de Metrología de Alemania, el Physikalisch-Technische Bundesanstalt
(PTB). Hasta el año 2012 el alcance de estos ensayos de aptitud estuvo
orientado a evaluar los resultados de los ensayos físico-químicos, como por
ejemplo pH y conductividad electrolítica entre otros.
Desde el pasado año, para los parámetros microbiológicos y para el cloro residual, las muestras del Ensayo de Aptitud fueron preparadas en el Laboratorio Central de la Empresa Pública de Agua. La preparación demandó una logística que garantice que el valor se mantenga durante el tiempo que dure el ensayo, considerando que estas muestras son conocidas por su inestabilidad y esto es crucial para el éxito del ejercicio.
Vale aclarar que las
muestras para algunos parámetros como cloro residual y microbiología, por
ejemplo, son estables por un lapso de 3 días, razón por la que se tuvo que
entregar la muestra al laboratorio participante antes de este tiempo, para
descartar que el laboratorio participante reporte un valor sesgado debido a la
inestabilidad de la muestra.
Otros
factores muy importantes en la organización del ensayo, es la homogeneidad de
la muestra, aspectos que debe ser probada antes del envío de las muestras, de
acuerdo con los lineamientos establecidos en la norma ISO 13528:2005 “Statistical
methods for use in proficiency testing by interlaboratory comparisons”.
Una vez que
los laboratorios ensayaron las muestras, enviaron los resultados obtenidos para
que IBMETRO realice el procesamiento estadístico. Existe una variedad de formas
en las que se pueden evaluar estos resultados, pero la más aplicada es conocida
como Zscore, la cual responde a la
siguiente fórmula:
Hay varias
maneras de obtener el valor de referencia, xref, según se describe en la Norma
ISO 13528, este valor puede ser obtenido antes del envío de las muestras en
función del:
-
Valor del resultado de una formulación: Este
valor es obtenido utilizando un procedimiento para preparar una muestra,
ejemplo: procedimientos gravimétricos o volumétricos
-
Valor de un material de referencia certificado:
Se usan los valores reportados en el certificado de material de referencia.
-
Valor de referencia: Se prepara el material y
se mide la propiedad a la par del material de referencia certificado.
Por otra
parte si el valor se determina a partir de los resultados del ejercicio, se
puede usar:
-
Valor de consenso de laboratorios expertos: Se
prepara el material y se selecciona un grupo de laboratorios competentes, que
participan en el ensayo de aptitud, luego se determina el valor de consenso
usando una estadística robusta, asumiendo que si todos son competentes se
ponderan todos los resultados con la misma importancia.
-
Valor de consenso de los participantes: se usa
también estadística robusta usando todos los resultados de todos los
laboratorios participantes, es muy útil cuando todos los laboratorios usan
métodos de medición operacionalmente definidos, siempre y cuando sean
normalizados
Hasta aquí
se ha explicado uno de los parámetros de la ecuación descrita anteriormente,
pero ahora queda definir como se medirá la aptitud o desempeño de los
laboratorios y esto se puede hacer a través del parámetro σ, el cual puede ser
obtenido de varias maneras, pero siempre prestando especial cuidado, por
ejemplo:
¿Qué
pasaría si asignamos un valor grande a σ?
Cómo σ es
inversamente proporcional a Zscore,
se podría evaluar como “competentes” a laboratorios que no necesariamente hayan
obtenido buenos resultados.
¿Qué
pasaría en caso contrario?
Se asigna
un valor pequeño a σ, en este caso el riesgo es que muchos laboratorios
obtendrían resultados de Zscore
insatisfactorios.
Resulta
crítico entonces contar con criterios fundamentados para definir este valor, la
norma sugiere las siguientes posibilidades:
-
Valores prescritos, se puede tomar de un
requisito definido en una legislación
-
Valores por percepción o experiencia de
expertos, cuando se lo usa, se corre el riesgo que el valor definido no sea
realista en cuanto a la reproducibilidad del método de medición
-
Valores obtenidos de un modelo general,
ejemplo Horwitz
-
Valores a partir de un experimento de precisión: en este
caso se necesita trabajar con un método normalizado, donde se puede obtener
información sobre la repetibilidad y la reproducibilidad. La desviación
estándar interlaboratorio se calcula como:
Siendo
Desviación estándar de la
repetibilidad reportada en el método normalizado
Desviación estándar de la
reproducibilidad reportada en el método normalizado
y
la desviación estándar para evaluar el desempeño como:
- Valores obtenidos de los datos de los participantes: se
obtienen usando una estadística robusta
Los
resultados obtenidos de Zscore se
representan en un gráfico de barras. A continuación, se presenta un ejemplo de
los resultados obtenidos para el parámetro conductividad electrolítica,
obtenido en el Ensayo de Aptitud del 2014. Las barras representan el resultado Zscore obtenido para cada laboratorio,
se las interpreta de la siguiente manera:
A menor valor absoluto de “Z” mejor es el
desempeño del laboratorio.
|z| ≤ 2 Satisfactorio
2 < |z| < 3 Cuestionable
|z| ≥ 3 Insatisfactorio
Con el resultado obtenido el laboratorio debe
ser capaz de tomar acciones oportunas para corregir las desviaciones
Cuando
se iniciaron los primeros Ensayos de Aptitud en Agua, en Bolivia no había una
referencia establecida de cómo podrían ser evaluados los laboratorios, por lo
que se tuvo que usar un valor robusto de σ, calculado a partir de
todos los resultados, al no contar con datos establecidos en normas bolivianas
o el consenso de expertos en el área de los ensayos.
Como se aprecia en la tabla a
continuación, a lo largo de los años ha existido una evolución natural de la
mejora del σ. Esta evolución demuestra como los ensayos de aptitud son útiles
como herramienta para mejorar el desempeño general.
σ de consenso usado a través de los años
para evaluar el desempeño de los laboratorios
|
||||||
Parámetro
|
2010
|
2011
|
2012
|
2013
|
2014
|
2015
|
pH
(unidades de pH)
|
0,17
|
0,22
|
0,11
|
0,063
|
0,025
|
0,05
|
Conductividad
Electrolítica (µS/cm)
|
8,94
|
6,95
|
7,150
|
5,12
|
5,750
|
5,00
|
Dureza
(mg CaCO3/L)
|
5,17
|
11,22
|
2,74
|
2,58
|
1,875
|
1,9
|
Cloruros
(mg/L)
|
3,30
|
2,41
|
1,260
|
1,82
|
1,089
|
1,00
|
Calcio
(mg/L)
|
2,03
|
1,63
|
0,66
|
0,740
|
1,875
|
0,8
|
Sulfatos
(mg/L)
|
5,60
|
3,57
|
2,74
|
1,80
|
1,750
|
1,5
|
A partir del 2014, se cuentan con
datos que permitieron fijar el valor de σ como meta para evaluar el desempeño.
Estos valores se pueden ver en la columna 2015 de la tabla anterior, los cuales
fueron fijados en un Taller de Cierre del Ensayo de Aptitud del año 2014, estos
talleres se realizan al finalizar cada
Ensayo. En el mismo se retroalimenta a los participantes de cómo pueden ir
mejorando los resultados, sus incertidumbres, el control de calidad, la
validación de métodos, etc.
En el anterior gráfico se puede
apreciar la evolución en el desempeño de los laboratorios a lo largo de los
últimos años, donde el valor de σ tuvo una tendencia a la disminución.
IBMETRO ha fortalecido significativamente
sus capacidades técnicas en los últimos tres años, para mejorar la
organización, ejecución y evaluación de los ensayos de aptitud y ofrecer a los laboratorios materiales de
referencia preparados en el país, evitando los costos de importación y los demoras
que podrían representar la importación de los mismos, que impactan
negativamente en la estabilidad de las muestras y a su vez en la calidad de los
resultados.
El trabajo sostenido con los
profesionales del Laboratorio Central de EPSAS La Paz ha sido muy importante para
lograr materiales adecuados y evitar gastos y esfuerzos excesivos en logística.
Los
informes generados en cada Ensayo de Aptitud se pueden encontrar en
www.ibmetro.gob.bo
