La función de costo de la red neuronal es , y se afirma que no es convexa . No entiendo por qué es así, ya que, como veo, es bastante similar a la función de costo de la regresión logística, ¿verdad?J(W,b)J(W,b)J(W,b) Si no es convexo, entonces la derivada de segundo orden ,...
En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases a través de una codificación en caliente. ¿Es esto correcto? Sin embargo, ¿es la entropía cruzada binaria solo para predicciones con una sola clase? Si tuviera que usar una pérdida...
La codificación dispersa se define como el aprendizaje de un conjunto excesivo de vectores base para representar vectores de entrada (<- ¿por qué queremos esto?). ¿Cuáles son las diferencias entre codificación dispersa y autoencoder? ¿Cuándo utilizaremos codificación dispersa y...
El LSTM se inventó específicamente para evitar el problema del gradiente de fuga. Se supone que debe hacer eso con el carrusel de error constante (CEC), que en el diagrama a continuación (de Greff et al. ) Corresponde al bucle alrededor de la celda . (fuente: deeplearning4j.org ) Y entiendo que...
He leído algunos documentos que discuten los pros y los contras de cada método, algunos argumentan que GA no mejora en encontrar la solución óptima, mientras que otros muestran que es más eficaz. Parece que GA generalmente se prefiere en la literatura (aunque la mayoría de las personas lo modifican...
Todos parecen representar variables aleatorias por los nodos y (in) dependencia a través de los bordes (posiblemente dirigidos). Estoy especialmente interesado en el punto de vista de un
Tengo un conjunto de datos de transmisión, los ejemplos están disponibles uno a la vez. Tendría que hacer una clasificación de clases múltiples en ellos. Tan pronto como introduje un ejemplo de capacitación en el proceso de aprendizaje, tengo que descartar el ejemplo. Al mismo tiempo, también estoy...
Soy nuevo en el modelado con redes neuronales, pero logré establecer una red neuronal con todos los puntos de datos disponibles que se ajustan bien a los datos observados. La red neuronal se realizó en R con el paquete nnet: require(nnet) ##33.8 is the highest value mynnet.fit <-...
En el curso de Redes neuronales y aprendizaje profundo de Andrew Ng en Coursera , dice que usar es casi siempre preferible a usar .tanhtanhtanhsigmoidsigmoidsigmoid La razón que da es que las salidas que usan centran alrededor de 0 en lugar de 's 0.5, y esto "hace que el aprendizaje para la...
¿Alguien ha visto alguna literatura sobre pre-entrenamiento en redes neuronales convolucionales profundas? Solo he visto pre-entrenamiento sin supervisión en autoencoder o máquinas boltzman
¿Cómo explicamos la diferencia entre la regresión logística y la red neuronal a una audiencia que no tiene antecedentes en estadísticas?
He estado trabajando en un problema de regresión donde la entrada es una imagen, y la etiqueta es un valor continuo entre 80 y 350. Las imágenes son de algunos químicos después de que ocurre una reacción. El color que resulta indica la concentración de otro químico que queda, y eso es lo que el...
Fondo de introducción Dentro de una red neuronal convolucional, generalmente tenemos una estructura / flujo general que se ve así: imagen de entrada (es decir, un vector 2D x) (La primera capa convolucional (Conv1) comienza aquí ...) Convolucionar un conjunto de filtros ( w1) a lo largo...
He estado estudiando LSTM por un tiempo. Entiendo a alto nivel cómo funciona todo. Sin embargo, al implementarlos usando Tensorflow, he notado que BasicLSTMCell requiere un número de unidades (es decir num_units) parámetro. A partir de esta explicación muy detallada de los LSTM, he deducido que...
Soy completamente nuevo en las redes neuronales pero estoy muy interesado en comprenderlas. Sin embargo, no es nada fácil comenzar. ¿Alguien podría recomendar un buen libro o cualquier otro tipo de recurso? ¿Hay una lectura obligada? Estoy agradecido por cualquier tipo de
Las computadoras han podido jugar al ajedrez durante mucho tiempo utilizando una técnica de "fuerza bruta", buscando a cierta profundidad y luego evaluando la posición. Sin embargo, la computadora AlphaGo solo usa un ANN para evaluar las posiciones (hasta donde yo sé, no realiza ninguna búsqueda...
¿Por qué utilizamos unidades lineales rectificadas (ReLU) con redes neuronales? ¿Cómo mejora eso la red neuronal? ¿Por qué decimos que ReLU es una función de activación? ¿No es la función de activación de softmax para redes neuronales? Supongo que usamos ambos, ReLU y softmax, así: neurona 1 con...
Leí esta página: http://neuralnetworksanddeeplearning.com/chap3.html y dijo que la capa de salida sigmoidea con entropía cruzada es bastante similar a la capa de salida softmax con log-verosimilitud. ¿Qué sucede si uso sigmoide con log-verosimilitud o softmax con entropía cruzada en la capa de...
Estaba leyendo el documento ImageNet Classification with Deep Convolutional Neural Networks y en la sección 3, donde explicaron la arquitectura de su red neuronal convolucional, explicaron cómo preferían usar: no linealidad no saturanteF( x ) = m a x ( 0 , x ) .F(X)=metrounaX(0 0,X).f(x) =...
¿Cuál es la diferencia entre la red neuronal , la red bayesiana , el árbol de decisión y las redes de Petri , a pesar de que todos son modelos gráficos y representan visualmente la relación