Comparar curvas ROC

Las curvas ROC son pareadas cuando las pruebas se midieron en los mismos participantes e independientes cuando las curvas proceden de muestras de participantes separadas. Esta distinción determina cómo debe calcularse la incertidumbre de la diferencia de AUC.

Selecciona el diseño de comparación correcto

Curvas ROC pareadas

Selecciona un resultado real y todas las pruebas que se registraron en las mismas filas de participantes. numiqo representa las curvas conjuntamente y compara cada par mediante el método de DeLong pareado. Se conserva la covarianza entre las estimaciones del AUC; tratar estas observaciones como independientes descartaría información sobre los participantes que comparten.

Cada AUC individual utiliza los pares resultado–prueba válidos disponibles para esa prueba. Una comparación pareada utiliza las filas en las que el resultado y ambas pruebas de esa comparación son válidos. Por tanto, cuando la falta de datos difiere entre pruebas, la diferencia de AUC de la comparación puede diferir de la resta de las dos estimaciones de AUC mostradas en la tabla de resultados individuales.

Curvas ROC independientes de muestras separadas

Selecciona el mismo número de resultados reales y de valores o puntuaciones de la prueba. numiqo los empareja según su orden de columnas de izquierda a derecha y muestra la correspondencia antes de los resultados. Cada par puede tener su propia categoría positiva y su propia dirección de valores altos o bajos. Como los participantes no se comparten entre curvas, las comparaciones utilizan la varianza de DeLong no pareada.

Comparar el rendimiento mediante una variable de agrupación

Para datos ordenados como grupo, enfermedad, marcador, selecciona enfermedad como resultado real, marcador como valor o puntuación de la prueba y grupo en Comparar por grupo. Se calcula una curva para cada grupo que contenga al menos una observación positiva válida y una negativa válida. Las filas con valores de agrupación perdidos se informan por separado. Los grupos degenerados se suprimen en lugar de mostrarse como análisis ROC válidos.

Qué informa la tabla de comparación

• Diferencia de AUC para cada par de curvas
• Error estándar e intervalo de confianza del 95 % para la diferencia
• Valor p bilateral para la hipótesis nula de AUC iguales
• Diseño pareado o no pareado utilizado en la comparación
• Valor p ajustado por Holm cuando se contrasta más de una hipótesis por pares

No deduzcas que existe una diferencia de AUC por el mero hecho de que un AUC individual sea significativo y el otro no, o porque dos intervalos de confianza individuales parezcan solaparse. La comparación directa tiene en cuenta la incertidumbre de la diferencia y, en datos pareados, la covarianza entre las estimaciones del AUC.

Comparaciones múltiples

Con tres o más curvas se contrastan varias hipótesis por pares. numiqo informa del valor p sin ajustar y aplica el ajuste secuencial de Holm a las comparaciones mostradas. El ajuste controla la tasa de error por familia manteniendo la ordenación y las estimaciones del efecto necesarias para la interpretación. Informa de las diferencias de AUC y de los intervalos de confianza, y no solo de si un valor p ajustado cruza un umbral.

Bandas de confianza e interpretación

Las bandas sombreadas opcionales son intervalos bootstrap percentiles puntuales del 95 % para la sensibilidad en valores fijos de especificidad, basados en 2000 remuestreos estratificados por curva. Muestran la incertidumbre dentro de cada curva, pero no constituyen una región simultánea ni sustituyen a la prueba de DeLong sobre una diferencia de AUC.

Guías ROC relacionadas

• Visión general de la calculadora de curvas ROC
• Elegir un umbral ROC según el objetivo
• Métodos y validación de referencia con pROC
• Tutorial sobre la curva ROC y el AUC

Referencias

• DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under correlated ROC curves. Biometrics. 1988.
• Holm S. A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics. 1979.