Selección del umbral ROC

No existe un umbral ROC que sea el mejor en todos los casos. El umbral adecuado depende del coste de los casos positivos no detectados, del coste de las falsas alarmas y de si el umbral se eligió para exploración, cribado, confirmación o validación de una regla existente.

Elige el objetivo del umbral antes de interpretar el resultado

Umbral equilibrado mediante el índice de Youden

J = sensibilidad + especificidad − 1

Maximizar J otorga la misma importancia a la sensibilidad y a la especificidad. Es un resumen exploratorio útil cuando los falsos negativos y los falsos positivos tienen consecuencias comparables. No tiene en cuenta la prevalencia, los costes posteriores ni las consecuencias de una decisión, por lo que «óptimo» debe entenderse como óptimo para esta regla matemática.

Cribado: priorizar la sensibilidad

El cribado busca dejar sin detectar el menor número de casos positivos posible. Introduce la sensibilidad mínima aceptable. numiqo elige entonces el umbral observado con la mayor especificidad entre aquellos que alcanzan la sensibilidad solicitada. Si ningún umbral observado cumple la petición, no se informa de ningún punto de operación.

El mínimo solicitado se aplica a la estimación en la muestra actual. Su intervalo de confianza puede extenderse por debajo del valor solicitado, por lo que el resultado no garantiza el rendimiento en la población.

Prueba confirmatoria: priorizar la especificidad

Un umbral confirmatorio o de inclusión pretende limitar las clasificaciones falsamente positivas. Introduce la especificidad mínima aceptable. numiqo selecciona el umbral observado admisible con la mayor sensibilidad. Se aplica la misma advertencia sobre la incertidumbre: que una estimación muestral cumpla el objetivo no demuestra que el valor poblacional también lo cumpla.

Evaluar un umbral preespecificado

Introduce un umbral definido antes de examinar los datos de resultado actuales: por ejemplo, un umbral publicado, la regla de un fabricante o un umbral procedente de una muestra de desarrollo. numiqo evalúa el valor exactamente tal como se ha introducido y no busca un umbral que parezca mejor. Esto separa la validación de una regla existente de la optimización guiada por los datos.

Medidas informadas en el umbral seleccionado

El VPP y el VPN dependen de la prevalencia representada en los datos analizados. Pueden cambiar sustancialmente cuando la misma prueba y el mismo umbral se aplican en una población con una prevalencia distinta. La LR+ y la LR− no utilizan la prevalencia de forma directa.

Intervalos de confianza bootstrap

numiqo utiliza 2000 remuestreos bootstrap estratificados, extrayendo por separado los casos positivos y los negativos. Para un umbral optimizado, el paso de selección del umbral se repite dentro de cada remuestreo. Para un umbral existente, en cada remuestreo se evalúa el mismo umbral introducido. Se informan intervalos percentiles del 95 % para el umbral cuando se estima, así como para la sensibilidad, la especificidad, la J de Youden, la LR+, la LR−, el VPP y el VPN cuando están definidos.

Evita afirmaciones optimistas sobre el umbral

Seleccionar y evaluar un umbral sobre las mismas observaciones suele dar una impresión optimista del rendimiento. Indica que el umbral se derivó de los datos, incluye su incertidumbre y, cuando la decisión sea importante, valídalo con datos independientes. Señala también si son los valores altos (valor ≥ umbral) o los valores bajos (valor ≤ umbral) los que indican el resultado positivo.

Guías ROC relacionadas

• Visión general de la calculadora de curvas ROC
• Comparar curvas ROC pareadas e independientes
• Métodos y validación de referencia con pROC
• Tutorial sobre la curva ROC y el AUC

Referencias

• Youden WJ. Index for rating diagnostic tests. Cancer. 1950.
• Hajian-Tilaki K. Receiver operating characteristic curve analysis for medical diagnostic tests.