¿Cuál es la diferencia entre una función de pérdida y una función de decisión?

Veo que ambas funciones son parte de los métodos de minería de datos, como los regresores de aumento de gradiente . Veo que esos son objetos separados también.

¿Cómo es la relación entre ambos en general?

Una función de decisión es una función que toma un conjunto de datos como entrada y da una decisión como salida. Cuál puede ser la decisión depende del problema en cuestión. Ejemplos incluyen:

• Problemas de estimación: la "decisión" es la estimación.
• Problemas de prueba de hipótesis: la decisión es rechazar o no rechazar la hipótesis nula.
• Problemas de clasificación: la decisión es clasificar una nueva observación (u observaciones) en una categoría.
• Problemas de selección de modelos: la decisión es elegir uno de los modelos candidatos.

Típicamente, hay un número infinito de funciones de decisión disponibles para un problema. Si, por ejemplo, estamos interesados ​​en estimar la altura de los varones suecos con base en diez observaciones , podemos usar cualquiera de las siguientes funciones de decisión d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• La media muestral: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• $d(\mathbf{x})=1$$\mathbf{x}$

¿Cómo podemos determinar cuál de estas funciones de decisión usar? Una forma es utilizar una función de pérdida , que describe la pérdida (o costo) asociada con todas las decisiones posibles. Las diferentes funciones de decisión tenderán a conducir a diferentes tipos de errores. La función de pérdida nos dice qué tipo de errores deberíamos preocuparnos más. La mejor función de decisión es la función que produce la pérdida más baja esperada . Lo que se entiende por pérdida esperada depende del entorno (en particular, si estamos hablando de estadísticas frecuentistas o bayesianas ).

En resumen:

• Las funciones de decisión se utilizan para tomar decisiones basadas en datos.
• Las funciones de pérdida se utilizan para determinar qué función de decisión utilizar.

La función de pérdida es lo que se minimiza para obtener un modelo que sea óptimo en algún sentido. El modelo en sí tiene una función de decisión que se utiliza para predecir.

Por ejemplo, en clasificadores SVM:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• función de decisión: distancia firmada al hiperplano de separación:$f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$