ImageNet: ¿cuál es la tasa de error top-1 y top-5?

En los documentos de clasificación de ImageNet, las tasas de error top-1 y top-5 son unidades importantes para medir el éxito de algunas soluciones, pero ¿cuáles son esas tasas de error?

En la clasificación de ImageNet con redes neuronales convolucionales profundas por Krizhevsky et al. todas las soluciones basadas en un solo CNN (página 7) no tienen tasas de error de top 5 mientras que las que tienen 5 y 7 CNN tienen (y también la tasa de error para 7 CNN es mejor que para 5 CNN).

¿Significa esto que la tasa de error de top-1 es la mejor tasa de error individual para una sola CNN?

¿Es la tasa de error de los 5 principales simplemente la tasa de error acumulada de cinco CNN?

[...] donde la tasa de error de top 5 es la fracción de imágenes de prueba para la cual la etiqueta correcta no se encuentra entre las cinco etiquetas consideradas más probables por el modo.

Primero, realiza una predicción utilizando el CNN y obtiene la distribución multinomial de clase pronosticada ( ).$\sum p_{class} = 1$

Ahora, en el caso del puntaje top-1 , verifica si la clase superior (la que tiene la mayor probabilidad) es la misma que la etiqueta objetivo.

En el caso del puntaje de los 5 primeros , verifica si la etiqueta del objetivo es una de sus 5 predicciones principales (las 5 con las probabilidades más altas).

En ambos casos, la puntuación más alta se calcula como las veces que una etiqueta pronosticada coincide con la etiqueta objetivo, dividida por el número de puntos de datos evaluados.

Finalmente, cuando se usan 5-CNNs, primero promedias sus predicciones y sigues el mismo procedimiento para calcular las puntuaciones de top 1 y top 5.

Su clasificador le da una probabilidad para cada clase. Digamos que solo teníamos "cat", "dog", "house", "mouse" como clases (en este orden). Entonces el clasificador da algo como

0.1; 0.2; 0.0; 0.7

como resultado. La clase Top-1 es "mouse". Las dos clases principales son {mouse, dog}. Si la clase correcta era "perro", se contabilizaría como "correcta" para la precisión Top-2, pero como incorrecta para la precisión Top-1.

Por lo tanto, en un problema de clasificación con $k$ clases posibles, cada clasificador tiene 100% de top-$k$exactitud. La precisión "normal" es top-1.