En el curso de aprendizaje automático de Stanford, Andrew Ng mencionó la aplicación de ML en TI. Algún tiempo después, cuando obtuve DDoS de tamaño moderado (alrededor de 20k bots) en nuestro sitio, decidí luchar contra él usando un simple clasificador de red neuronal. Escribí este script de...
El LSTM en el siguiente código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) puede ser representado como Entiendo que cuando llamamos a model.predict(np.array([[[1],[2],[3],[4]]]))la (única) unidad LSTM,...
El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc. ¿Hay algún intento de dejar que...
Descripción: Deje que el dominio del problema sea la clasificación de documentos donde existe un conjunto de vectores de características, cada uno de los cuales pertenece a 1 o más clases. Por ejemplo, un documento doc_1puede pertenecer a Sportsy Englishcategorías. Pregunta: Usando la red...
Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
He estado mirando las conferencias CS231N de Stanford y estoy tratando de entender algunos problemas en las arquitecturas de CNN. Lo que estoy tratando de entender es si hay algunas pautas generales para elegir el tamaño del filtro de convolución y cosas como avances o ¿es esto más un arte que una...
Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <-...
¿Hay alguna diferencia entre los términos "red neuronal" y
Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí P(y=1|x)P(y=1|x)P(y=1|x) se motiva el uso de sigmoide para generar P (y = 1 | x) . Para resumir parte del...
En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente...
Recientemente leí algunos artículos sobre la red neuronal bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que proporciona una relación de probabilidad entre la entrada y la salida en una red neuronal. La capacitación de una red neuronal de este tipo es a través de MCMC, que es diferente del algoritmo...
En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: ¿es...
Estoy estudiando e intentando implementar redes neuronales convolucionales, pero supongo que esta pregunta se aplica a los perceptrones multicapa en general. Las neuronas de salida en mi red representan la activación de cada clase: la neurona más activa corresponde a la clase predicha para una...
Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como de costumbre. En mi caso,...
Lectura Profundizando en convoluciones Me encontré con una capa de DepthConcat , un bloque de construcción de los módulos de inicio propuestos , que combina la salida de múltiples tensores de diferentes tamaños. Los autores llaman a esto "Concatenación de filtro". Parece que hay una implementación...
¿Cómo codificar la fecha y hora de un evento para una red neuronal? No tengo una serie temporal continua, sino algunos eventos con fecha y hora, y analizo algún tipo de interés. Este interés difiere entre las mañanas y las tardes, y difiere entre los días de la semana, y entre el verano y el...
Si procesamos digamos 10 ejemplos en un lote, entiendo que podemos sumar la pérdida para cada ejemplo, pero ¿cómo funciona la propagación hacia atrás en relación con la actualización de los pesos para cada ejemplo? Por ejemplo: Ejemplo 1 -> pérdida = 2 Ejemplo 2 -> pérdida = -2 Esto da...
La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en...
Estaba leyendo el artículo Aprendizaje residual profundo para el reconocimiento de imágenes y tuve dificultades para comprender con 100% de certeza lo que implica un bloqueo residual computacionalmente. Leyendo su periódico tienen la figura 2: que ilustra lo que se supone que es un Bloque...
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada