Una función utilizada para cuantificar la diferencia entre los datos observados y los valores pronosticados según un modelo. La minimización de las funciones de pérdida es una forma de estimar los parámetros del modelo.
Estoy entrenando una red neuronal para clasificar un conjunto de objetos en n-clases. Cada objeto puede pertenecer a múltiples clases al mismo tiempo (multi-clase, multi-etiqueta). Leí que para problemas de varias clases generalmente se recomienda usar softmax y entropía cruzada categórica como la...
En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases a través de una codificación en caliente. ¿Es esto correcto? Sin embargo, ¿es la entropía cruzada binaria solo para predicciones con una sola clase? Si tuviera que usar una pérdida...
La función de costo de la red neuronal es , y se afirma que no es convexa . No entiendo por qué es así, ya que, como veo, es bastante similar a la función de costo de la regresión logística, ¿verdad?J(W,b)J(W,b)J(W,b) Si no es convexo, entonces la derivada de segundo orden ,...
Estoy un poco confundido con una conferencia sobre regresión lineal dada por Andrew Ng en Coursera sobre el aprendizaje automático. Allí, le dio una función de costo que minimiza la suma de cuadrados como: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m...
Leí sobre dos versiones de la función de pérdida para regresión logística, ¿cuál de ellas es correcta y por qué? De Machine Learning , Zhou ZH (en chino), con :β=(w,b) and βTx=wTx+bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx
¿Es el término "pérdida" sinónimo de "error"? ¿Hay alguna diferencia en la definición? Además, ¿cuál es el origen del término "pérdida"? NB: La función de error mencionada aquí no debe confundirse con el error
Explicaré mi problema con un ejemplo. Suponga que desea predecir el ingreso de un individuo dados algunos atributos: {Edad, Sexo, País, Región, Ciudad}. Tienes un conjunto de datos de entrenamiento como este train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2,...
Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol '...
Al entrenar una red neuronal de segmentación de píxeles, como redes completamente convolucionales, ¿cómo toma la decisión de utilizar la función de pérdida de entropía cruzada versus la función de pérdida de coeficiente de dados? Me doy cuenta de que esta es una pregunta corta, pero no estoy muy...
Sabemos que algunas funciones objetivas son más fáciles de optimizar y otras son difíciles. Y hay muchas funciones de pérdida que queremos usar pero difíciles de usar, por ejemplo, pérdida 0-1. Entonces encontramos algunas funciones de pérdida de proxy para hacer el trabajo. Por ejemplo, usamos...
Mi pérdida de entrenamiento baja y luego vuelve a subir. Es muy raro La pérdida de validación cruzada rastrea la pérdida de entrenamiento. Que esta pasando? Tengo dos LSTMS apilados de la siguiente manera (en Keras): model = Sequential() model.add(LSTM(512, return_sequences=True,...
Estoy tratando de implementar un descenso de gradiente básico y lo estoy probando con una función de pérdida de bisagra, es decir, lhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) . Sin embargo, estoy confundido sobre el gradiente de la...
Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para...
Problema En la regresión, generalmente se calcula el error cuadrado medio (MSE) para una muestra: MSE = 1norte∑i = 1norte( g( xyo) - gˆ( xyo) )2MSE=1norte∑yo=1norte(sol(Xyo)-sol^(Xyo))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 para medir la calidad de un...
Estoy tratando de entender la regresión cuantil, pero una cosa que me hace sufrir es la elección de la función de pérdida. ρτ( u ) = u ( τ- 1{ u < 0 })ρτ(u)=u(τ−1{u<0})\rho_\tau(u) =
He visto dos tipos de formulaciones de pérdida logística. Podemos mostrar fácilmente que son idénticos, la única diferencia es la definición de la etiqueta yyy . Formulación / notación 1, y∈{0,+1}y∈{0,+1}y \in \{0, +1\} : L ( y, βTx ) = - yIniciar sesión( p ) - ( 1 - y) registro( 1 - p...
La gente dice que el margen suave SVM utiliza la función de pérdida de bisagra: . Sin embargo, la función objetivo real que SVM de margen blando intenta minimizar es \ frac {1} {2} \ | w \ | ^ 2 + C \ sum_i \ max (0,1-y_i (w ^ \ intercal x_i + b) ) Algunos autores llaman al regularizador de...
Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma de costo de diferencia al...
Esta pregunta ya tiene respuestas aquí : ¿Cómo puede ser positivo el cambio en la función de costos? (1 respuesta) ¿Qué debo hacer cuando mi red neuronal no aprende? (5 respuestas) Cerrado el mes pasado . Estoy entrenando un modelo (red neuronal...
¿Es posible controlar el costo de una clasificación errónea en el paquete R randomForest ? En mi propio trabajo, los falsos negativos (por ejemplo, fallar por error que una persona puede tener una enfermedad) son mucho más costosos que los falsos positivos. El paquete rpart permite al usuario...