Configuré una búsqueda de cuadrícula para un montón de parámetros. Estoy tratando de encontrar los mejores parámetros para una red neuronal Keras que hace una clasificación binaria. La salida es 1 o 0. Hay alrededor de 200 características. Cuando hice una búsqueda en la cuadrícula, obtuve un montón...
Escucho estas palabras cada vez más a medida que estudio el aprendizaje automático. De hecho, algunas personas han ganado la medalla Fields trabajando en regularidades de ecuaciones. Entonces, supongo que este es un término que se traslada de la física estadística / matemáticas al aprendizaje...
Mientras estudio la Estimación de máxima verosimilitud, para hacer inferencia en la Estimación de máxima verosimilitud, necesitamos conocer la varianza. Para descubrir la varianza, necesito conocer el límite inferior de Cramer's Rao, que se parece a una matriz de Hesse con una segunda derivación en...
En un curso de aprendizaje automático, aprendí que un uso común de PCA ( Análisis de componentes principales ) es acelerar otros algoritmos de aprendizaje automático. Por ejemplo, imagine que está entrenando un modelo de regresión logística. Si tiene un conjunto de entrenamiento para i de 1 a n y...
Después de analizar esta pregunta: Intentando emular la regresión lineal usando Keras , he intentado dar mi propio ejemplo, solo para estudiar y desarrollar mi intuición. Descargué un conjunto de datos simple y usé una columna para predecir otra. Los datos se ven así: Ahora acabo de crear un...
Nunca estoy seguro de cuándo usar una codificación única para variables categóricas no ordenadas y cuándo no. Lo uso cuando el algoritmo usa una métrica de distancia para calcular la similitud. ¿Alguien puede dar una regla general sobre qué tipos de algoritmos requerirían que las características...
Las competiciones de Kaggle determinan las clasificaciones finales en función de un conjunto de pruebas extendido. Un conjunto de prueba extendido es una muestra; puede no ser representativo de la población que se está modelando. Dado que cada presentación es como una hipótesis, el algoritmo que...
La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA?...
Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 2 años .
Estoy realizando experimentos en el conjunto de validación EMNIST usando redes con RMSProp, Adam y SGD. Estoy logrando un 87% de precisión con SGD (tasa de aprendizaje de 0.1) y abandono (0.1 problema de abandono), así como la regularización L2 (penalización 1e-05). Al probar la misma configuración...
Me pregunto cuál es el valor intrínseco del uso de la media armónica (por ejemplo, para calcular las medidas F), en oposición a la media aritmética ponderada al combinar precisión y recuperación. Estoy pensando que el promedio aritmético ponderado podría desempeñar el papel de media armónica, ¿o me...
La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes...
¿El uso de "variacional" siempre se refiere a la optimización mediante inferencia variacional? Ejemplos: "Codificador automático variacional" "Métodos Bayesianos Variacionales" "Grupo de renormalización
La función softmax, comúnmente utilizada en redes neuronales para convertir números reales en probabilidades, es la misma función que la distribución de Boltzmann, la distribución de probabilidad sobre las energías para un conjunto de partículas en equilibrio térmico a una temperatura T dada en...
Actualmente estoy tratando de entender las matemáticas de t-SNE . Desafortunadamente, todavía hay una pregunta que no puedo responder satisfactoriamente: ¿Cuál es el significado real de los ejes en un gráfico t-SNE? Si tuviera que hacer una presentación sobre este tema o incluirla en alguna...
He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente...
El LSTM en el siguiente código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) puede ser representado como Entiendo que cuando llamamos a model.predict(np.array([[[1],[2],[3],[4]]]))la (única) unidad LSTM,...
No encontré una definición de función de pérdida en wiki en el contexto del aprendizaje automático. sin embargo, este es menos formal, es bastante claro. En esencia, una función de pérdida es increíblemente simple: es un método para evaluar qué tan bien su algoritmo modela su conjunto de datos....
He estado buscando marcos teóricos para la selección de métodos (nota: no selección de modelos) y he encontrado muy poco trabajo sistemático motivado matemáticamente. Por "selección de método", me refiero a un marco para distinguir el método apropiado (o mejor, óptimo) con respecto a un problema o...
¿Existe algún método estándar para determinar un punto de operación "óptimo" en una curva de recuperación de precisión ? (es decir, determinar el punto en la curva que ofrece una buena compensación entre precisión y