La idea "fundamental" de las estadísticas para estimar los parámetros es la máxima probabilidad . Me pregunto cuál es la idea correspondiente en el aprendizaje automático. Qn 1. ¿Sería justo decir que la idea 'fundamental' en el aprendizaje automático para estimar parámetros es: 'Funciones de...
Estoy tratando de comprender cuál es el propósito de la función de pérdida y no puedo entenderlo. Entonces, hasta donde yo entiendo, la función de pérdida es para introducir algún tipo de métrica con la que podamos medir el "costo" de una decisión incorrecta. Digamos que tengo un conjunto de...
Trabajo en un dominio problemático donde la gente suele informar ROC-AUC o AveP (precisión promedio). Sin embargo, recientemente encontré documentos que optimizan la pérdida de registro , mientras que otros informan pérdida de bisagra . Si bien entiendo cómo se calculan estas métricas, me resulta...
Con un previo plano, coinciden los estimadores ML (frecuentista - máxima verosimilitud) y MAP (Bayesiano - máximo a posteriori). Sin embargo, en términos más generales, estoy hablando de estimadores puntuales derivados como optimizadores de alguna función de pérdida. Es decir (Bayesiano) x...
Estoy tratando de usar la pérdida al cuadrado para hacer una clasificación binaria en un conjunto de datos de juguete. Estoy usando mtcarsun conjunto de datos, uso millas por galón y peso para predecir el tipo de transmisión. El gráfico a continuación muestra los dos tipos de datos del tipo de...
Estoy tratando de obtener una perspectiva global sobre algunas de las ideas esenciales en el aprendizaje automático, y me preguntaba si existe un tratamiento integral de las diferentes nociones de pérdida (cuadrado, log, bisagra, proxy, etc.). Estaba pensando en algo similar a una presentación más...
Estoy tratando de entender la función de pérdida Yolo v2: λc o o r d∑i = 0S2∑j = 0si1o b jyo j[ ( xyo- x^yo)2+ ( yyo- y^yo)2]+ λc o o r d∑i = 0S2∑j = 0si1o b jyo j[ ( wyo--√- w^yo--√)2+ ( hyo--√- h^yo--√)2]+ ∑i = 0S2∑j = 0si1o b jyo j( Cyo- C^yo)2+ λn o o b j∑i = 0S2∑j = 0si1n o o b jyo j( Cyo-...
Estoy tratando de entender mejor la pérdida de registro y cómo funciona, pero una cosa que parece que no puedo encontrar es poner el número de pérdida de registro en algún tipo de contexto. Si mi modelo tiene una pérdida de registro de 0.5, ¿es bueno? ¿Qué se considera un puntaje bueno y malo?...
Tensorflow tiene un tutorial de ejemplo sobre la clasificación de CIFAR-10 . En el tutorial, la pérdida de entropía cruzada promedio en todo el lote se minimiza. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits:...
Sé que k-means generalmente se optimiza usando Maximización de Expectativas . Sin embargo, podríamos optimizar su función de pérdida de la misma manera que optimizamos cualquier otra. Encontré algunos documentos que en realidad usan el descenso de gradiente estocástico para medios k a gran escala,...
La pérdida de bisagra se puede definir usando y la pérdida de registro se puede definir comomax ( 0 , 1 - yyowTXyo)max(0 0,1-yyowTXyo)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log ( 1 + exp( - yyowTXyo) )Iniciar sesión(1+Exp(-yyowTXyo))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) Tengo...
En la sección 3.2 de Reconocimiento de patrones y Aprendizaje automático de Bishop , analiza la descomposición de la variación de sesgo, indicando que para una función de pérdida al cuadrado, la pérdida esperada puede descomponerse en un término de sesgo al cuadrado (que describe qué tan lejos...
Estoy tratando de entrenar una red neuronal para la clasificación, pero las etiquetas que tengo son bastante ruidosas (alrededor del 30% de las etiquetas están equivocadas). La pérdida de entropía cruzada realmente funciona, pero me preguntaba si hay alguna alternativa más efectiva en este caso. o...
El clasificador Naive Bayes es el clasificador que asigna elementos a una clase función de la maximización de la posterior para la pertenencia a clases, y supone que las características de los elementos son independientes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La pérdida 0-1 es la pérdida que...
En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente...
Haría una pregunta relacionada con este . Encontré un ejemplo de escritura de la función de pérdida personalizada para xgboost aquí : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada
La solución al problema: minmetromi[ | m - XEl | ]minmE[|m−X|] \min_{m} \; E[|m-X|] se sabe que es la mediana de XXX , pero ¿cómo se ve la función de pérdida para otros percentiles? Ej: el percentil 25 de X es la solución para: minmetromi[ L ( m , X) ]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ]...
En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada
Quiero usar el aprendizaje profundo para entrenar una detección binaria facial / no facial, qué pérdida debo usar, creo que es SigmoidCrossEntropyLoss o Hinge-loss . ¿Es correcto, pero también me pregunto si debería usar softmax pero con solo dos