Métodos y validación de la calculadora ROC

Esta página documenta cómo calcula numiqo los resultados ROC y cómo se comprueba la implementación frente al paquete de código abierto pROC para R. La comparación es una prueba de referencia estadística; numiqo no está afiliado al proyecto pROC ni respaldado por él.

Población de análisis y dirección

Una curva se calcula a partir de las filas que contienen tanto un resultado binario válido como un valor de prueba finito. El resultado positivo seleccionado define los casos; todas las demás categorías de resultado válidas cuentan como controles. En un análisis con valores altos como positivos, un resultado es positivo cuando el valor de la prueba es mayor o igual que el umbral. En un análisis con valores bajos como positivos, es positivo cuando el valor es menor o igual que el umbral.

La dirección la especifica quien realiza el análisis. Elegir automáticamente la dirección que produce el AUC mayor utilizaría dos veces el resultado observado y puede sesgar al alza la discriminación aparente.

AUC e incertidumbre de DeLong

El AUC empírico se calcula a partir de la ordenación de las puntuaciones positivas y negativas, y los pares positivo–negativo empatados contribuyen con la mitad. numiqo calcula la varianza no paramétrica de DeLong a partir de los valores de posición de casos y controles. La tabla del AUC contiene el error estándar, un intervalo de confianza del 95 % por aproximación normal y una prueba bilateral de H₀: AUC = 0.5. Se requieren al menos dos observaciones positivas válidas y dos negativas válidas para estimar la varianza de DeLong.

Comparaciones de AUC pareadas y no pareadas

Para curvas pareadas se utilizan las filas completas específicas de cada comparación y se incluye la covarianza entre las dos estimaciones del AUC basadas en valores de posición. Para curvas independientes, la varianza de la diferencia de AUC se obtiene a partir de las varianzas separadas de cada curva. Cuando se comparan varios pares de curvas, se informan los valores p ajustados por Holm junto a los valores sin ajustar.

Cálculo del umbral e intervalos bootstrap

Los umbrales candidatos optimizados se derivan de los valores de puntuación observados distintos. El análisis de Youden maximiza sensibilidad + especificidad − 1. Los análisis de cribado y confirmatorio imponen primero la restricción de sensibilidad o especificidad seleccionada y después maximizan la medida complementaria. Un umbral preespecificado se evalúa tal como se ha introducido.

Los intervalos del punto de operación utilizan 2000 remuestreos bootstrap estratificados con una semilla fija reproducible. Las observaciones positivas y negativas se remuestrean por separado. Los umbrales optimizados se vuelven a seleccionar dentro de cada remuestreo; un umbral preespecificado se mantiene fijo. Los intervalos mostrados son intervalos percentiles. Los resultados bootstrap costosos se calculan de forma diferida y se almacenan en caché para los datos y ajustes actuales.

Bandas de confianza ROC puntuales

Cuando se solicitan, numiqo calcula la sensibilidad en una malla de valores fijos de especificidad en cada una de las 2000 muestras bootstrap estratificadas y muestra los percentiles 2,5 y 97,5. Se trata de intervalos puntuales, comparables en su finalidad al flujo de trabajo ci.se() de pROC. No son bandas de confianza simultáneas y no deben interpretarse como si contuvieran la curva ROC poblacional completa con una probabilidad del 95 %.

Pruebas de referencia basadas en pROC

Los conjuntos de datos de referencia automatizados comparan numiqo con los resultados de pROC para observaciones perdidas, curvas pareadas, curvas independientes y datos agrupados. Las pruebas de referencia cubren las estimaciones del AUC, la incertidumbre de DeLong y las comparaciones pareadas o no pareadas. El alcance de la comparación se indica de forma explícita porque coincidir con determinados flujos de trabajo de pROC no implica que estén implementadas todas sus opciones o métodos.

Límites de alcance importantes

• El módulo calcula curvas ROC empíricas completas; no ajusta un modelo ROC suavizado.
• Actualmente no informa del AUC parcial.
• El AUC mide la discriminación y no evalúa la calibración de las probabilidades.
• Las bandas puntuales no proporcionan cobertura simultánea de toda la curva.
• La optimización del umbral sobre la muestra de análisis requiere validación externa.
• Los grupos sin casos positivos y negativos válidos no pueden producir un AUC interpretable.

Reproducibilidad e informe de resultados

Un informe reproducible debería identificar el resultado real, la categoría positiva, la puntuación de la prueba, la dirección de la puntuación, las observaciones válidas y excluidas, el método del AUC, el objetivo del umbral y cualquier sensibilidad o especificidad mínima. Para varias curvas, informa también de si el diseño fue pareado o independiente y de si los valores p se ajustaron por Holm.

Guías ROC relacionadas

• Visión general de la calculadora de curvas ROC
• Elegir y evaluar un umbral
• Comparar curvas pareadas e independientes
• Tutorial sobre la curva ROC y el AUC

Referencias principales

• DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under correlated ROC curves. Biometrics. 1988.
• Robin X et al. pROC: an open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics. 2011.
• Documentación de referencia de pROC para roc.test.