Preguntas etiquetadas con hyperparameter

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...

Actualmente estoy revisando la búsqueda aleatoria de Bengio y Bergsta para la optimización de hiperparámetros [1], donde los autores afirman que la búsqueda aleatoria es más eficiente que la búsqueda de cuadrícula para lograr un rendimiento aproximadamente igual. Mi pregunta es: ¿la gente aquí...

Estoy buscando un documento que pueda ayudar a dar una guía sobre cómo elegir los hiperparámetros de una arquitectura profunda, como codificadores automáticos apilados o redes de confianza profunda. Hay muchos hiperparámetros y estoy muy confundido sobre cómo elegirlos. Además, el uso de la...

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe...

¿Alguien puede explicar cuál es la interpretación natural de los hiperparámetros LDA? ALPHAy BETAson parámetros de distribuciones de Dirichlet para (por documento) tema y (por tema) distribuciones de palabras respectivamente. Sin embargo, ¿alguien puede explicar lo que significa elegir valores más...

Sé que realizar el ajuste de hiperparámetros fuera de la validación cruzada puede conducir a estimaciones sesgadas de validez externa, porque el conjunto de datos que usa para medir el rendimiento es el mismo que usó para ajustar las características. Lo que me pregunto es qué tan grave es este...

Tengo un conjunto de datos de 140000 ejemplos y 30 características para las que estoy entrenando a varios clasificadores para una clasificación binaria (SVM, Regresión logística, Bosque aleatorio, etc.) En muchos casos, el ajuste de hiperparámetros en todo el conjunto de datos mediante Grid o...

Entonces, en una distribución normal, tenemos dos parámetros: media y varianza . En el libro Pattern Recognition and Machine Learning , de repente aparece un hiperparámetro en los términos de regularización de la función de error.μμ\muσ2σ2\sigma^2λλ\lambda ¿Qué son los hiperparámetros? ¿Por qué...

Existe una importante investigación contemporánea sobre la optimización bayesiana (1) para ajustar los hiperparámetros ML. La motivación principal aquí es que se requiere un número mínimo de puntos de datos para tomar decisiones informadas sobre qué puntos vale la pena intentar (las llamadas a...

He leído las siguientes publicaciones para la validación cruzada anidada y todavía no estoy 100% seguro de lo que debo hacer con la selección del modelo con validación cruzada anidada: Validación cruzada anidada para la selección del modelo Selección de modelo y validación cruzada: la forma...

En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a...

Entonces, sabemos que la búsqueda aleatoria funciona mejor que la búsqueda de cuadrícula, pero un enfoque más reciente es la optimización bayesiana (usando procesos gaussianos). Busqué una comparación entre los dos y no encontré nada. Sé que en el cs231n de Stanford solo mencionan la búsqueda...

Mi objetivo es clasificar las señales del sensor. El concepto de mi solución hasta ahora es: i) Características de ingeniería de la señal sin procesar ii) Seleccionar características relevantes con ReliefF y un enfoque de agrupamiento iii) Aplicar NN, Bosque aleatorio y SVM Sin embargo, estoy...

KKij=k(xi,xj)=b-1exp(-1Iniciar sesión( y | X, θ ) = - 12yTK- 1yy - 12Iniciar sesión( det ( K) ) - n2Iniciar sesión( 2 π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2}

Las clases pronosticadas a partir de la regresión logística (binaria) se determinan utilizando un umbral en las probabilidades de pertenencia a la clase generadas por el modelo. Según tengo entendido, normalmente se usa 0.5 por defecto. Pero variar el umbral cambiará las clasificaciones predichas....

¿Existe alguna literatura que examine la elección del tamaño del minibatch al realizar el descenso de gradiente estocástico? En mi experiencia, parece ser una opción empírica, que generalmente se encuentra a través de la validación cruzada o el uso de diferentes reglas generales. ¿Es una buena...

En un modelo jerárquico de datos donde \ lambda \ sim \ textrm {Gamma} (\ alpha, \ beta) parece ser típico en la práctica elegir valores ( \ alpha, \ beta) de modo que la media y la varianza de la distribución gamma coincidan aproximadamente con la media y la varianza de los datos y (por...

Estaba implementando un documento bastante popular " EXPLICANDO Y APROVECHANDO EJEMPLOS ADVERSARIALES " y en el documento, entrena una función objetiva adversaria J '' (θ) = αJ (θ) + (1 - α) J '(θ). Trata a α como un hiperparámetro. α puede ser 0.1, 0.2, 0.3, etc. Independientemente de este...

¿Existe alguna regla general entre la profundidad de una red neuronal y la tasa de aprendizaje? Me he dado cuenta de que cuanto más profunda es la red, más baja debe ser la tasa de aprendizaje. Si eso es correcto, ¿por qué es

A menudo veo personas hablando de validación cruzada 5x2 como un caso especial de validación cruzada anidada . Supongo que el primer número (aquí: 5) se refiere al número de pliegues en el bucle interno y el segundo número (aquí: 2) se refiere al número de pliegues en el bucle externo. Entonces,...