Un extraño al campo ML / DL; comenzó el curso Udacity Deep Learning que se basa en Tensorflow; haciendo la tarea 3 problema 4; tratando de ajustar la velocidad de aprendizaje con la siguiente configuración: Tamaño de lote 128 Número de pasos: suficiente para llenar 2 épocas Tamaños de capas...
El siguiente ejemplo está tomado de las conferencias en deeplearning.ai muestra que el resultado es la suma del producto elemento por elemento (o "multiplicación por elementos". Los números rojos representan los pesos en el filtro: ( 1 ∗ 1 ) + ( 1 ∗ 0 ) + ( 1 ∗ 1 ) + ( 0 ∗ 0 ) + ( 1 ∗ 1 ) + ( 1 ∗...
En el aprendizaje automático (para problemas de regresión), a menudo veo que se usa el error cuadrático medio (MSE) o el error absoluto medio (MAE) como la función de error para minimizar (más el término de regularización). Me pregunto si hay situaciones en las que sería más apropiado usar el...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente...
Estaba leyendo el artículo Aprendizaje residual profundo para el reconocimiento de imágenes y tuve dificultades para comprender con 100% de certeza lo que implica un bloqueo residual computacionalmente. Leyendo su periódico tienen la figura 2: que ilustra lo que se supone que es un Bloque...
Quiero saber la diferencia entre la regresión lineal en un análisis de aprendizaje automático y la regresión lineal en un entorno de "aprendizaje profundo". Qué algoritmos se utilizan para la regresión lineal en el entorno de aprendizaje
Configuré una búsqueda de cuadrícula para un montón de parámetros. Estoy tratando de encontrar los mejores parámetros para una red neuronal Keras que hace una clasificación binaria. La salida es 1 o 0. Hay alrededor de 200 características. Cuando hice una búsqueda en la cuadrícula, obtuve un montón...
Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte del...
Estoy luchando por hacer la conexión matemática entre una red neuronal y un modelo gráfico. En los modelos gráficos, la idea es simple: la distribución de probabilidad se factoriza de acuerdo con las camarillas en el gráfico, y los potenciales generalmente son de la familia exponencial. ¿Existe...
Estaba implementando un documento bastante popular " EXPLICANDO Y APROVECHANDO EJEMPLOS ADVERSARIALES " y en el documento, entrena una función objetiva adversaria J '' (θ) = αJ (θ) + (1 - α) J '(θ). Trata a α como un hiperparámetro. α puede ser 0.1, 0.2, 0.3, etc. Independientemente de este...
Al implementar un codificador automático con red neuronal, la mayoría de las personas usará sigmoide como la función de activación. ¿Podemos usar ReLU en su lugar? (Dado que ReLU no tiene límite en el límite superior, básicamente significa que la imagen de entrada puede tener píxeles mayores que...
En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada
Supongamos que quiero aprender un clasificador que toma un vector de números como entrada y le da una etiqueta de clase como salida. Mis datos de entrenamiento consisten en una gran cantidad de pares de entrada-salida. Sin embargo, cuando vengo a probar algunos datos nuevos, estos datos...
¿Cómo se conectan los mapas de activación en una capa dada a los filtros para esa capa? No estoy preguntando cómo hacer una operación convolucional entre el filtro y el mapa de activación, estoy preguntando sobre el tipo de conectividad que tienen estos dos. Por ejemplo, supongamos que desea hacer...
Quiero usar el aprendizaje profundo para entrenar una detección binaria facial / no facial, qué pérdida debo usar, creo que es SigmoidCrossEntropyLoss o Hinge-loss . ¿Es correcto, pero también me pregunto si debería usar softmax pero con solo dos
Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de...
Estoy interesado en el aprendizaje de refuerzo (profundo) (RL) . Antes de sumergirme en este campo, ¿debería tomar un curso de Teoría de juegos (GT) ? ¿Cómo se relacionan GT y RL
Recientemente, vimos la aparición de la Red Neural Residual, en la que cada capa consta de un módulo computacional y una conexión de acceso directo que preserva la entrada a la capa, como la salida de la capa i-ésima muestra: y i + 1 = c i + y i La red permite extraer características residuales y...
No creo que pueda haber una respuesta para todos los modelos de aprendizaje profundo. ¿Cuál de los modelos de aprendizaje profundo son paramétricos y cuáles no son paramétricos y por