Antecedentes y problema Estoy usando procesos gaussianos (GP) para la regresión y la posterior optimización bayesiana (BO). Para la regresión, uso el paquete gpml para MATLAB con varias modificaciones personalizadas, pero el problema es general. Es un hecho bien conocido que cuando dos entradas...
Estoy realizando experimentos en el conjunto de validación EMNIST usando redes con RMSProp, Adam y SGD. Estoy logrando un 87% de precisión con SGD (tasa de aprendizaje de 0.1) y abandono (0.1 problema de abandono), así como la regularización L2 (penalización 1e-05). Al probar la misma configuración...
En el aprendizaje automático (para problemas de regresión), a menudo veo que se usa el error cuadrático medio (MSE) o el error absoluto medio (MAE) como la función de error para minimizar (más el término de regularización). Me pregunto si hay situaciones en las que sería más apropiado usar el...
Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Este es el problema de desviación menos absoluto en cuestión:. Sé que se puede reorganizar como problema de LP de la siguiente manera:argminwL(w)=∑ni=1|yi−wTx|argminwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min...
Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f (lambda) = error...
Estoy tratando de implementar el algoritmo Nelder-Mead para optimizar una función. La página de Wikipedia sobre Nelder-Mead es sorprendentemente clara sobre todo el algoritmo, excepto por su criterio de detención. Ahí dice tristemente: Verifique la convergencia [se necesita aclaración] . Probé...
Mi peluquera Stacey siempre pone una cara feliz, pero a menudo está estresada por manejar su tiempo. Hoy Stacey estaba retrasada para mi cita y se disculpó mucho. Mientras me cortaba el pelo, me preguntaba: ¿cuánto tiempo deberían durar sus citas estándar? (si la preferencia del cliente por números...
Tengo una función de probabilidad L(d|θ)L(d|θ)\mathcal{L}(d | \theta) para la probabilidad de mis datos ddd dados algunos parámetros del modelo θ∈RNθ∈RN\theta \in \mathbf{R}^N , que me gustaría estimar. Suponiendo anteriores planos sobre los parámetros, la probabilidad es proporcional a la...
Estoy buscando un método de agrupamiento óptimo (discretización) de una variable continua con respecto a una variable binaria de respuesta (objetivo) dada y con un número máximo de intervalos como parámetro. ejemplo: tengo un conjunto de observaciones de personas con variables de "altura" (numeral...
Este es un tema difícil para mí en Google, ya que tener las palabras optimización y estocástico en una búsqueda casi por defecto es automáticamente la búsqueda de optimización estocástica. Pero lo que realmente quiero saber es qué métodos existen para la optimización de los modelos de computadora...
Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara que muestre esa...
El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por...
Me he encontrado con estas diapositivas (diapositiva 16 y 17) en uno de los cursos en línea. El instructor intentaba explicar cómo la Estimación posterior máxima (MAP) es en realidad la solución , donde es el parámetro verdaderoL(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne...
Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de...
Estoy tratando de ajustar un modelo de tiempo discreto en R, pero no estoy seguro de cómo hacerlo. He leído que puede organizar la variable dependiente en diferentes filas, una para cada observación de tiempo, y usar la glmfunción con un enlace logit o cloglog. En este sentido, tengo tres...
El sistema de calificación Elo utiliza un algoritmo de minimización de descenso de gradiente de la función de pérdida de entropía cruzada entre la probabilidad esperada y observada de un resultado en comparaciones pareadas. Podemos escribir las funciones de pérdida general como mi= - ∑n , ipagyoL...
Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se...
Básicamente quiero convertir las medidas de similitud en pesos que se usan como predictores. Las similitudes estarán en [0,1], y restringiré los pesos para que también estén en [0,1]. Me gustaría una función paramterica que haga este mapeo que probablemente optimizaré usando el descenso de...
Estoy siguiendo el tutorial de Tensorflow mnist ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). El tutorial utiliza tf.train.Optimizer.minimize(específicamente tf.train.GradientDescentOptimizer). No veo ningún argumento que se pase a...