¿Cómo se calcula la precisión y la recuperación para la clasificación multiclase utilizando la matriz de confusión?

Me pregunto cómo calcular la precisión y la recuperación utilizando una matriz de confusión para un problema de clasificación de varias clases. Específicamente, una observación solo se puede asignar a su clase / etiqueta más probable. Me gustaría calcular:

• Precisión = TP / (TP + FP)
• Recuperación = TP / (TP + FN)

para cada clase, y luego calcule la medida F micro-promedio.

En un caso de 2 hipótesis, la matriz de confusión suele ser:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

donde he usado algo similar a tu notación:

• TP = verdadero positivo (declarar H1 cuando, en verdad, H1),
• FN = falso negativo (declarar H0 cuando, en verdad, H1),
• FP = falso positivo
• TN = verdadero negativo

A partir de los datos sin procesar, los valores de la tabla normalmente serían los recuentos de cada aparición sobre los datos de prueba. A partir de esto, debería poder calcular las cantidades que necesita.

Editar

La generalización de los problemas de varias clases es sumar sobre filas / columnas de la matriz de confusión. Dado que la matriz está orientada como anteriormente, es decir, que una fila dada de la matriz corresponde a un valor específico para la "verdad", tenemos:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

Es decir, la precisión es la fracción de eventos en los que correctamente declaramos de todos los casos en los que el algoritmo declarada . Por el contrario, recordar es la fracción de eventos en los que declaramos correctamente de todos los casos en los que el verdadero estado del mundo es .$i$$i$$i$$i$

Buen documento de resumen, mirando estas métricas para problemas de varias clases:

• Sokolova, M. y Lapalme, G. (2009). Un análisis sistemático de las medidas de desempeño para las tareas de clasificación. Procesamiento y gestión de la información, 45 , p. 427-437. ( pdf )

El resumen lee:

Este documento presenta un análisis sistemático de veinticuatro medidas de rendimiento utilizadas en el espectro completo de las tareas de clasificación de Machine Learning, es decir, binario, multiclase, multi-etiquetado y jerárquico. Para cada tarea de clasificación, el estudio relaciona un conjunto de cambios en una matriz de confusión con características específicas de los datos. Luego, el análisis se concentra en el tipo de cambios en una matriz de confusión que no cambia una medida, por lo tanto, preserva la evaluación de un clasificador (invariancia de medida). El resultado es la taxonomía de invariancia de medida con respecto a todos los cambios relevantes de distribución de etiquetas en un problema de clasificación. Este análisis formal está respaldado por ejemplos de aplicaciones en las que las propiedades de invariancia de las medidas conducen a una evaluación más confiable de los clasificadores.

Usando sklearn y numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

Para obtener medidas generales de precisión y recuperación, use

np.mean(recall)
np.mean(precision)