Tengo un conjunto de datos con variable continua y una variable objetivo binaria (0 y 1). Necesito discretizar las variables continuas (para la regresión logística) con respecto a la variable objetivo y con la restricción de que la frecuencia de observación en cada intervalo debe estar...
En Random Forest, cada árbol se cultiva en paralelo en una muestra boostrap única de los datos. Debido a que se espera que cada muestra de boostrap contenga aproximadamente el 63% de las observaciones únicas, esto deja aproximadamente el 37% de las observaciones, que se pueden usar para probar el...
Estoy tratando con un problema relacionado con encontrar el gradiente de la función de pérdida de entropía cruzada wrt el parámetro donde:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Donde, y es una entrada...
En el aprendizaje por refuerzo, tenemos una función de recompensa que informa al agente qué tan bien están funcionando sus acciones y estados actuales. En una configuración general, la función de recompensa es una función de tres variables: Estado actual SSS Acción actual en el estado actual...
Preguntas: ¿Cuál es la diferencia (s) entre los árboles de regresión potenciados (BRT) y los modelos potenciados generalizados (GBM)? ¿Se pueden usar indistintamente? ¿Es una una forma específica de la otra? ¿Por qué Ridgeway usó la frase "Modelos de regresión aumentada generalizada" (GBM) para...
De acuerdo con la documentación del objeto StandardScaler en scikit-learn: Por ejemplo, muchos elementos utilizados en la función objetivo de un algoritmo de aprendizaje (como el núcleo RBF de Support Vector Machines o los regularizadores L1 y L2 de modelos lineales) suponen que todas las...
¿Es racional (teórico, sustancial, estadístico) optar por el aprendizaje automático o los modelos de peligro al modelar la rotación de clientes (o más general,
Las redes de autoencoder parecen ser mucho más difíciles que las redes MLP clasificadoras normales. Después de varios intentos de usar Lasagne, todo lo que obtengo en la salida reconstruida es algo que se asemeja en su mejor momento a un promedio borroso de todas las imágenes de la base de datos...
Estaba pensando en resolver Lasso a través de métodos de subgrado de vainilla. Pero he leído personas que sugieren usar el descenso de gradiente proximal. ¿Alguien puede resaltar por qué se usa GD proximal en lugar de los métodos de subgradiente de vainilla para
Estoy un poco desconcertado por una fórmula presentada en "Introducción al aprendizaje estadístico" de Hastie. En el Capítulo 6, página 212 (sexta impresión, disponible aquí ), se indica que: Un yoC=R SSnorteσ^2+2 dnorteAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Para modelos...
Supongo una configuración general de regresión, es decir, una función continua se elige de una familia { h θ } θ para ajustarse a los datos dados ( x i , y i ) ∈ X × R n , i = 1 , ... , k ( X puede ser cualquier espacio como el cubo [ 0 , 1 ] mo de hecho cualquier espacio topológico razonable) de...
Después de leer muchos documentos de aprendizaje profundo, una especie de sentimiento brusco es que existen muchos trucos en el entrenamiento de la red para obtener un rendimiento mejor de lo normal. Desde la perspectiva de la aplicación de la industria, es muy difícil desarrollar este tipo de...
Coeficiente de correlación de Matthews (MCCMCC\textrm{MCC}) es una medida para medir la calidad de una clasificación binaria ([Wikipedia] [1]). MCCMCC\textrm{MCC}La formulación se da para la clasificación binaria utilizando verdaderos positivos (TPTPTP), falsos positivos (FPFPFP), falsos negativos...
De acuerdo con "Efficient Backprop" de LeCun et al (1998) , es una buena práctica normalizar todas las entradas para que estén centradas alrededor de 0 y se encuentren dentro del rango de la segunda derivada máxima. Entonces, por ejemplo, usaríamos [-0.5,0.5] para la función "Tanh". Esto es para...
Supongamos que quiero entrenar una red neuronal profunda para realizar una clasificación o regresión, pero quiero saber qué tan segura será la predicción. ¿Cómo podría lograr esto? Mi idea es calcular la entropía cruzada para cada dato de entrenamiento, en función de su rendimiento de predicción...
Estoy aprendiendo sobre el aprendizaje profundo (específicamente CNN) y cómo normalmente requiere una gran cantidad de datos para evitar el sobreajuste. Sin embargo, también me han dicho que cuanto mayor capacidad / más parámetros tiene un modelo, más datos se requieren para evitar el sobreajuste....
Cuando podemos diferenciar la función de costo y encontrar parámetros resolviendo ecuaciones obtenidas a través de la diferenciación parcial con respecto a cada parámetro y descubrir dónde la función de costo es mínima. También creo que es posible encontrar múltiples lugares donde las derivadas son...
Antecedentes: estoy usando la aproximación del valor Q de la red neuronal en mi tarea de aprendizaje de refuerzo. El enfoque es exactamente el mismo que el descrito en esta pregunta , sin embargo, la pregunta en sí es diferente. En este enfoque, el número de resultados es el número de acciones...
Siempre me he suscrito a la sabiduría popular de que la disminución de la tasa de aprendizaje en un gbm (modelo de árbol impulsado por gradiente) no perjudica el rendimiento de la muestra fuera del modelo. Hoy no estoy tan seguro. Estoy ajustando modelos (minimizando la suma de los errores al...
Sé cómo implementar la función objetivo lineal y los aumentos lineales en XGBoost. Mi pregunta concreta es: cuando el algoritmo se ajusta al residual (o al gradiente negativo), ¿está usando una característica en cada paso (es decir, modelo univariante) o todas las características (modelo...