Soy un principiante en redes neuronales y actualmente estoy explorando el modelo word2vec. Sin embargo, me está costando entender cuál es exactamente la matriz de características. Puedo entender que la primera matriz es un vector de codificación de una sola palabra para una palabra dada, pero...
He leído la explicación de la convolución y la entiendo hasta cierto punto. ¿Alguien puede ayudarme a entender cómo esta operación se relaciona con la convolución en redes neuronales convolucionales? ¿Es el filtro como una función gque aplica
La normalización por lotes se describe en este documento como una normalización de la entrada a una función de activación con variables de escala y desplazamientoγγ\gamma y ββ\beta. Este artículo describe principalmente el uso de la función de activación sigmoidea, que tiene sentido. Sin embargo,...
Me gustaría usar ANNs para mi problema, pero el problema es que mis números de nodo de entradas y salidas no son fijos. Hice una búsqueda en Google antes de hacer mi pregunta y descubrí que el RNN puede ayudarme con mi problema. Pero, todos los ejemplos que he encontrado son de alguna manera...
Actualmente estoy haciendo un curso en Tensorflow en el que utilizaron tf.one_hot (índices, profundidad). Ahora no entiendo cómo estos índices cambian en esa secuencia binaria. ¿Alguien puede explicarme el proceso
Estoy tratando de construir un sistema de reconocimiento de gestos para clasificar los gestos ASL (lenguaje de señas americano) , por lo que se supone que mi entrada es una secuencia de fotogramas, ya sea desde una cámara o un archivo de video, luego detecta la secuencia y la asigna a su...
Actualmente estoy entrenando una red neuronal y no puedo decidir qué usar para implementar mis criterios de detención temprana: pérdida de validación o una métrica como precisión / f1score / auc / lo que se calcule en el conjunto de validación. En mi investigación, encontré artículos que defienden...
Acabo de aprender acerca de la regularización como un enfoque para controlar el sobreajuste, y me gustaría incorporar la idea en una implementación simple de retropropagación y perceptrón multicapa (MLP) que armé. Actualmente para evitar un ajuste excesivo, valido cruzado y mantengo la red con la...
Estoy viendo cómo implementar el abandono en la red neuronal profunda, y encontré algo contradictorio. En la fase de avance, las activaciones de máscara de abandono con un tensor aleatorio de 1s y 0s obligan a net a aprender el promedio de los pesos. Esto ayuda a la red a generalizar mejor. Pero...
¿Hay algún documento publicado que muestre diferencias en los métodos de regularización para redes neuronales, preferiblemente en diferentes dominios (o al menos diferentes conjuntos de datos)? Lo pregunto porque actualmente tengo la sensación de que la mayoría de las personas parecen usar solo el...
Al implementar el descenso de gradiente de mini lotes para redes neuronales, ¿es importante tomar elementos aleatorios en cada mini lote? ¿O es suficiente barajar los elementos al comienzo del entrenamiento una vez? (También me interesan las fuentes que definitivamente dicen lo que...
Estoy tratando de entender el aprendizaje por refuerzo y los procesos de decisión de Markov (MDP) en el caso de que se utilice una red neuronal como aproximador de funciones. Estoy teniendo dificultades con la relación entre el MDP donde se explora el entorno de manera probabilística, cómo esto se...
Al entrenar redes neuronales, hay al menos 4 formas de regularizar la red: L1 Regularización Regularización L2 Abandonar Normalización de lote Además, por supuesto, otras cosas como compartir el peso y reducir el número de conexiones, lo que podría no ser regularización en el sentido más...
Actualmente estoy trabajando en recrear los resultados de este documento . En el documento describen un método para usar CNN para la extracción de características, y tienen un modelo acústico que es Dnn-hmm y pre-entrenado usando RBM. La sección III, subsección A, establece diferentes formas en...
Supongamos que tengo un conjunto de señales en el dominio del tiempo sin absolutamente ninguna etiqueta . Quiero agruparlos en 2 o 3 clases. Los codificadores automáticos son redes sin supervisión que aprenden a comprimir las entradas. Entonces dado una entradax(i)x(i)x^{(i)}pesas W1W1W_1 y...
Estoy tratando de construir y entrenar una red neuronal perceptrón multicapa que predice correctamente qué presidente ganó en qué condado por primera vez. Tengo la siguiente información para los datos de entrenamiento. Población total Edad media% Grados o grados Tasa de desempleo Ingreso per...
Es un hecho bien conocido que una red de 1 capa no puede predecir la función xor, ya que no es separable linealmente. Intenté crear una red de 2 capas, utilizando la función sigmoide logística y el backprop, para predecir xor. Mi red tiene 2 neuronas (y un sesgo) en la capa de entrada, 2 neuronas y...
Quiero extraer parámetros de una imagen usando una red neuronal. Ejemplo: Dada una imagen de una pared de ladrillos, el NN debe extraer el ancho y la altura de los ladrillos, el color y la aspereza. Puedo generar imágenes para parámetros dados para entrenar el NN y quiero usarlo para extraer los...
Estoy usando el paquete Kerasen R para hacer una red neuronal. ¿Cómo puedo extraer el resultado de una capa oculta? Encontré un ejemplo en Python, pero es que no tengo idea de cómo hacerlo en
Tengo una red neuronal simple (NN) para la clasificación MNIST. Incluye 2 capas ocultas, cada una con 500 neuronas. Por lo tanto, las dimensiones de la NN son: 784-500-500-10. ReLU se usa en todas las neuronas, softmax se usa en la salida y la función de pérdida es la entropía cruzada. Lo que me...