Gradient Descent es un algoritmo para encontrar el mínimo de una función. Calcula iterativamente derivadas parciales (gradientes) de la función y desciende en pasos proporcionales a esas derivadas parciales. Una aplicación importante de Gradient Descent es ajustar un modelo parametrizado a un conjunto de datos: la función a minimizar es una función de error para el modelo.
Una forma de entrenar una regresión logística es mediante el uso del descenso de gradiente estocástico, que scikit-learn ofrece una interfaz. Lo que me gustaría hacer es tomar un clasificador SGDC de scikit-learn y hacer que obtenga el mismo puntaje que una regresión logística aquí . Sin embargo,...
¿Cuál es la diferencia entre la pendiente de gradiente y la pendiente de gradiente estocástica? No estoy muy familiarizado con estos, ¿puede describir la diferencia con un breve
Me pregunto si hay algún escenario en el que el descenso de gradiente no converja al mínimo. Soy consciente de que no siempre se garantiza que el descenso de gradiente converja a un óptimo global. También soy consciente de que podría diferir de un óptimo si, por ejemplo, el tamaño del paso es...
Aquí la respuesta se refiere a gradientes de desaparición y explosión que han estado en sigmoidfunciones de activación similares, pero supongo que Relutiene una desventaja y es su valor esperado. no hay limitación para la salida de Reluy, por lo tanto, su valor esperado no es cero. Recuerdo el...
¿Prepararé mi LSTM si lo entreno a través del enfoque de ventana deslizante? ¿Por qué la gente no parece usarlo para LSTM? Para un ejemplo simplificado, suponga que tenemos que predecir la secuencia de caracteres: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z ¿Es malo (o mejor?) Si sigo...
Quiero saber si el descenso de gradiente es el algoritmo principal utilizado en optimizadores como Adam, Adagrad, RMSProp y varios otros optimizadores.
¿Existen reglas generales (o reglas reales) relacionadas con la cantidad mínima, máxima y "razonable" de celdas LSTM que debo usar? Específicamente me relaciono con BasicLSTMCell de TensorFlow y la num_unitspropiedad. Suponga que tengo un problema de clasificación definido por: t - number of time...
supongamos que quiero entrenar un algoritmo de regresión de descenso de gradiente estocástico usando un conjunto de datos que tiene N muestras. Como el tamaño del conjunto de datos es fijo, reutilizaré los datos T veces. En cada iteración o "época", uso cada muestra de entrenamiento exactamente una...
Parece estándar en muchos paquetes de redes neuronales emparejar la función objetivo para minimizarla con la función de activación en la capa de salida. Por ejemplo, para una capa de salida lineal utilizada para la regresión, es estándar (y a menudo la única opción) tener una función objetivo de...
Ahora leo un libro titulado "Aprendizaje automático práctico con Scikit-Learn y TensorFlow" y en el capítulo 11, tiene la siguiente descripción sobre la explicación de ELU (Exponencial ReLU). Tercero, la función es suave en todas partes, incluso alrededor de z = 0, lo que ayuda a acelerar el...
Estoy viendo cómo implementar el abandono en la red neuronal profunda, y encontré algo contradictorio. En la fase de avance, las activaciones de máscara de abandono con un tensor aleatorio de 1s y 0s obligan a net a aprender el promedio de los pesos. Esto ayuda a la red a generalizar mejor. Pero...
Estoy usando tensorflow para escribir redes neuronales simples para un poco de investigación y he tenido muchos problemas con los pesos 'nan' durante el entrenamiento. Probé muchas soluciones diferentes, como cambiar el optimizador, cambiar la pérdida, el tamaño de los datos, etc., pero fue en...
Mientras tomaba un curso en línea sobre aprendizaje automático por Andrew Ng en Coursera, me encontré con un tema llamado sobreajuste . Sé que puede ocurrir cuando se usa el descenso de gradiente en una regresión lineal o logística, pero ¿puede ocurrir cuando se usan algoritmos de optimización...
He estado construyendo algunos modelos para un proyecto, pero no puedo entender los algoritmos matemáticos de Adagrad y Adadelta. Entiendo cómo funciona el descenso de gradiente de vainilla y he escrito un código para que funcione correctamente. Estaré agradecido si alguien me explica estas dos...