¿Cuál es la diferencia entre una función de pérdida y una función de decisión?

Respuestas:

45

Una función de decisión es una función que toma un conjunto de datos como entrada y da una decisión como salida. Cuál puede ser la decisión depende del problema en cuestión. Ejemplos incluyen:

  • Problemas de estimación: la "decisión" es la estimación.
  • Problemas de prueba de hipótesis: la decisión es rechazar o no rechazar la hipótesis nula.
  • Problemas de clasificación: la decisión es clasificar una nueva observación (u observaciones) en una categoría.
  • Problemas de selección de modelos: la decisión es elegir uno de los modelos candidatos.

Típicamente, hay un número infinito de funciones de decisión disponibles para un problema. Si, por ejemplo, estamos interesados ​​en estimar la altura de los varones suecos con base en diez observaciones , podemos usar cualquiera de las siguientes funciones de decisión d ( x ) :X=(X1,X2,...,X10)re(X)

  • La media muestral: .re(X)=110yo=110Xyo
  • re(X)=mediana(X)
  • re(X)=X1X1010
  • re(X)=1X

¿Cómo podemos determinar cuál de estas funciones de decisión usar? Una forma es utilizar una función de pérdida , que describe la pérdida (o costo) asociada con todas las decisiones posibles. Las diferentes funciones de decisión tenderán a conducir a diferentes tipos de errores. La función de pérdida nos dice qué tipo de errores deberíamos preocuparnos más. La mejor función de decisión es la función que produce la pérdida más baja esperada . Lo que se entiende por pérdida esperada depende del entorno (en particular, si estamos hablando de estadísticas frecuentistas o bayesianas ).

En resumen:

  • Las funciones de decisión se utilizan para tomar decisiones basadas en datos.
  • Las funciones de pérdida se utilizan para determinar qué función de decisión utilizar.
MånsT
fuente
Para las funciones de decisión paramétricas (por ejemplo: regresión logística, decisión de umbral), básicamente tiene una función posible para cada combinación de parámetros, y la función de pérdida se utiliza para encontrar la mejor. Ejemplo común: si usa la pendiente de gradiente para explorar el espacio de parámetros, deriva la pérdida con respecto a los parámetros y desciende a un mínimo (local) de la pérdida.
pixelou
7

La función de pérdida es lo que se minimiza para obtener un modelo que sea óptimo en algún sentido. El modelo en sí tiene una función de decisión que se utiliza para predecir.

Por ejemplo, en clasificadores SVM:

  • L(w,ξ)=12w2+doyoξyo
  • función de decisión: distancia firmada al hiperplano de separación:F(X)=wTX+si
Marc Claesen
fuente
¿No es la norma igual a la distancia, o mezclo algo aquí ... Entonces, la función de decisión es siempre una parte de la función de pérdida que uso para "comparar" con los valores reales a los que trato de arreglar un modelo? ¿Y el objetivo es minimizar esta "diferencia"?
www.pieronigro.de
@Hiato, la norma del hiperplano de separación (que se optimiza al entrenar un SVM) no se utiliza en la función de decisión. Se utiliza el propio hiperplano. Minimizar la norma durante el entrenamiento es básicamente una forma de regularización.
Marc Claesen
Sería mejor dar una respuesta más genérica que no esté vinculada a ningún clasificador específico.
smci