Suponga la siguiente secuencia unidimensional: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Las letras A, B, C, ..aquí representan eventos 'ordinarios'. Los símbolos #, $, %, ...aquí representan eventos 'especiales' El espacio temporal entre todos los eventos no es uniforme (cualquier cosa,...
De acuerdo con "Efficient Backprop" de LeCun et al (1998) , es una buena práctica normalizar todas las entradas para que estén centradas alrededor de 0 y se encuentren dentro del rango de la segunda derivada máxima. Entonces, por ejemplo, usaríamos [-0.5,0.5] para la función "Tanh". Esto es para...
Estoy aprendiendo sobre el aprendizaje profundo (específicamente CNN) y cómo normalmente requiere una gran cantidad de datos para evitar el sobreajuste. Sin embargo, también me han dicho que cuanto mayor capacidad / más parámetros tiene un modelo, más datos se requieren para evitar el sobreajuste....
Cuando se aplica el abandono en redes neuronales artificiales, uno debe compensar el hecho de que en el momento del entrenamiento una parte de las neuronas se desactivaron. Para hacerlo, existen dos estrategias comunes: escalar la activación en el momento de la prueba invertir el abandono durante...
Digamos que tengo una arquitectura de modelo de aprendizaje profundo, así como un tamaño de mini lote elegido. ¿Cómo obtengo de estos los requisitos de memoria esperados para entrenar ese modelo? Como ejemplo, considere un modelo (no recurrente) con entrada de dimensión 1000, 4 capas ocultas...
Mientras leía los documentos de segmentación semántica, así como sus implementaciones correspondientes, descubrí que algunos enfoques usan softmax, mientras que otros usan sigmoide para el etiquetado a nivel de píxeles. Por ejemplo, con respecto al papel u-net , la salida es un mapa de...
Quiero calcular la importancia de cada característica de entrada usando el modelo profundo. Pero solo encontré un artículo sobre la selección de características mediante el aprendizaje profundo: la selección de características profundas . Insertan una capa de nodos conectados a cada entidad...
¿Una función en la forma tiene un nombre estándar? Por ejemplo, es una función lineal.ex/(1+ex)ex/(1+ex)e^x/(1+e^x)y=a+bxy=a+bxy = a +
Estoy entrenando una red neuronal convolucional simple para la regresión, donde la tarea es predecir la ubicación (x, y) de un cuadro en una imagen, por ejemplo: La salida de la red tiene dos nodos, uno para xy otro para y. El resto de la red es una red neuronal convolucional estándar....
¿Cómo interpreta una curva de supervivencia del modelo de riesgo proporcional de Cox? En este ejemplo de juguete, supongamos que tenemos un modelo de riesgo proporcional de Cox ageen kidneydatos variables y generamos la curva de supervivencia. library(survival) fit <- coxph(Surv(time,...
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Hola, estoy estudiando técnicas de regresión. Mis datos tienen 15 características y 60 millones de ejemplos (tarea de regresión). Cuando probé muchas técnicas de regresión conocidas (árbol impulsado por gradiente, regresión de árbol de decisión, AdaBoostRegressor, etc.), la regresión lineal...
Recientemente vi esta charla de Eric J. Ma y revisé su entrada de blog , donde cita a Radford Neal, que los modelos bayesianos no se sobreajustan (pero pueden sobreajustar ) y cuando los usamos , no necesitamos conjuntos de prueba para validarlos (para Me parece que las citas hablan más bien sobre...
Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la...
Acabo de comenzar a usar el paquete autoencoder en R. Las entradas a la autoencode()función incluyen lambda, beta, rho y epsilon. ¿Cuáles son los límites de estos valores? ¿Varían para cada función de activación? ¿Se llaman estos parámetros "hiperparámetros"? Suponiendo un autoencoder disperso,...
¿Cuál es la diferencia entre la red de creencias profundas y la red convexa profunda
Soy nuevo en el aprendizaje profundo, por lo que esta podría ser una pregunta trivial. Pero me pregunto por qué el aprendizaje profundo (o red neuronal) no funciona muy bien en datos pequeños etiquetados. Cualesquiera que sean los trabajos de investigación que he leído, sus conjuntos de datos son...
https://www.tensorflow.org/ Todos los proyectos en TensorFlow que he visto en GitHub implementan algún tipo de modelo de red neuronal. Dado que TensorFlow es una mejora con respecto al DAG (ya no es acíclico), me preguntaba si alguna deficiencia inherente lo hace inadecuado para el modelo general...
Como calentamiento con redes neuronales recurrentes, estoy tratando de predecir una onda sinusoidal a partir de otra onda sinusoidal de otra frecuencia. Mi modelo es un RNN simple, su pase directo se puede expresar de la siguiente manera: rtzt= σ(Wyo n⋅Xt+Wr e c⋅rt - 1) )=Wo u...
¿Es posible lograr resultados de vanguardia utilizando solo la propagación hacia atrás (sin entrenamiento previo )? ¿O es para que todos los enfoques de récord utilicen alguna forma de pre-entrenamiento? ¿La retropropagación sola es lo suficientemente