Función exponencial normalizadora que transforma un vector numérico de manera que todas sus entradas se vuelven entre 0 y 1 y juntas suman 1. A menudo se utiliza como la capa final de una red neuronal que realiza una tarea de clasificación.
¿Qué decide la elección de la función (Softmax vs Sigmoid) en un clasificador logístico? Supongamos que hay 4 clases de salida. Cada una de las funciones anteriores da las probabilidades de que cada clase sea la salida correcta. Entonces, ¿cuál tomar para un
Leí esta página: http://neuralnetworksanddeeplearning.com/chap3.html y dijo que la capa de salida sigmoidea con entropía cruzada es bastante similar a la capa de salida softmax con log-verosimilitud. ¿Qué sucede si uso sigmoide con log-verosimilitud o softmax con entropía cruzada en la capa de...
He estado trabajando con las redes neuronales convolucionales (CNN) durante algún tiempo, principalmente en datos de imágenes para la segmentación semántica / segmentación de instancias. A menudo he visualizado el softmax de la salida de la red como un "mapa de calor" para ver qué tan altas son las...
La aplicación de la función softmax en un vector producirá "probabilidades" y valores entre y . 000111 Pero también podemos dividir cada valor por la suma del vector y eso producirá probabilidades y valores entre y .000111 Leí la respuesta aquí, pero dice que la razón es porque es diferenciable,...
Tengo una red neuronal configurada para predecir algo donde la variable de salida es ordinal. Describiré a continuación usando tres salidas posibles A <B <C. Es bastante obvio cómo usar una red neuronal para generar datos categóricos: la salida es solo un softmax de la última capa...
Parece haber mucha confusión en la comparación de usar glmnetdentro caretpara buscar una lambda óptima y usar cv.glmnetpara hacer la misma tarea. Se plantearon muchas preguntas, por ejemplo: Modelo de clasificación train.glmnet vs. cv.glmnet? ¿Cuál es la forma correcta de usar glmnet con...
Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada
Estoy estudiando e intentando implementar redes neuronales convolucionales, pero supongo que esta pregunta se aplica a los perceptrones multicapa en general. Las neuronas de salida en mi red representan la activación de cada clase: la neurona más activa corresponde a la clase predicha para una...
La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Esperando el próximo curso de Andrew Ng en...
En la literatura de aprendizaje automático, para representar una distribución de probabilidad, a menudo se usa la función softmax. ¿Hay alguna razón para esto? ¿Por qué no se usa otra
En la wiki, la función softmax se define como el gradiente-log-normalizador de la distribución de probabilidad categórica . Aquí se encuentra una explicación parcial del log-normalizador , pero ¿qué significa gradiente-log-normalizador
Observé que Caffe (un marco de aprendizaje profundo) utilizó la capa de pérdida Softmax SoftmaxWithLoss como capa de salida para la mayoría de las muestras de modelos . Hasta donde sé, la capa de pérdida Softmax es la combinación de la capa de pérdida logística multinomial y la capa Softmax...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 10 meses . Necesito aplicar la función de activación...
En este https://cs231n.github.io/neural-networks-case-study/ ¿por qué menciona que "el clasificador Softmax interpreta que cada elemento de ff contiene las probabilidades de registro (no normalizadas) de las tres clases". Entiendo por qué no está normalizado, pero no por qué es un registro. ¿Qué...
Esta pregunta sigue en stats.stackexchange.com/q/233658 El modelo de regresión logística para las clases {0, 1} es P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y =...
Estoy tratando de entender por qué la función softmax se define como tal: mizjΣKk = 1mizk= σ(z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Entiendo cómo esto normaliza los datos y se asigna correctamente a algún rango (0, 1), pero la diferencia entre las...