He visto diferentes métricas de error utilizadas en las competiciones de Kaggle: RMS, media cuadrática, AUC, entre otras. ¿Cuál es la regla general para elegir una métrica de error, es decir, cómo sabe qué métrica de error usar para un problema determinado? ¿Hay alguna
Estoy usando el paquete gbm para la clasificación. Como se esperaba, los resultados son buenos. Pero estoy tratando de entender la salida del clasificador. Hay cinco términos en la salida. `Iter TrainDeviance ValidDeviance StepSize Improve` ¿Alguien podría explicar el significado de cada término,...
Digamos que tengo un clasificador de regresión logística. En el aprendizaje por lotes normal, tendría un término regularizador para evitar el sobreajuste y mantener mis pesos pequeños. También normalizaría y escalaría mis características. En un entorno de aprendizaje en línea, obtengo un flujo...
Al realizar la clasificación SVM lineal, a menudo es útil normalizar los datos de entrenamiento, por ejemplo restando la media y dividiendo por la desviación estándar, y luego escalar los datos de prueba con la media y la desviación estándar de los datos de entrenamiento. ¿Por qué este proceso...
Las pruebas de permutación (también llamadas prueba de aleatorización, prueba de aleatorización o prueba exacta) son muy útiles y resultan útiles cuando t-testno se cumple el supuesto de distribución normal requerido por ejemplo y cuando se transforman los valores mediante la clasificación de...
Estoy leyendo un artículo científico sobre clasificación de imágenes. En los resultados experimentales hablan de la precisión top-1 y top-5, pero nunca he oído hablar del término, ni puedo encontrarlo usando google. ¿Alguien puede darme una definición o señalarme a algún lado?...
¿Existe algún tesauro de referencia para estadísticas y términos de aprendizaje automático? Sé que los artículos de Wikipedia a menudo contienen sinónimos, pero me gustaría tener un simple diccionario de sinónimos que podría revisar fácilmente (en lugar de una enciclopedia completa) para asegurarme...
Tengo un conjunto de datos con unos pocos millones de filas y ~ 100 columnas. Me gustaría detectar aproximadamente el 1% de los ejemplos en el conjunto de datos, que pertenecen a una clase común. Tengo una restricción de precisión mínima, pero debido al costo muy asimétrico, no estoy muy interesado...
¿Cuál es la diferencia entre un clasificador, modelo y estimador? Por lo que puedo decir: un estimador es un predictor encontrado del algoritmo de regresión un clasificador es un predictor encontrado de un algoritmo de clasificación un modelo puede ser tanto un estimador como un...
Estoy tratando de entender los modelos de factorización matricial para sistemas de recomendación y siempre leo 'características latentes', pero ¿qué significa eso? Sé lo que significa una característica para un conjunto de datos de entrenamiento, pero no puedo entender la idea de las...
Por lo que he visto, la fórmula de suavizado de Kneser-Ney (segundo orden) se da de una forma u otra como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{...
He estado leyendo mucho sobre redes neuronales convolucionales y me preguntaba cómo evitan el problema del gradiente de fuga. Sé que las redes de creencias profundas apilan codificadores automáticos de un solo nivel u otras redes poco profundas previamente entrenadas y, por lo tanto, puedo evitar...
Soy nuevo en aprendizaje automático. Estoy estudiando un curso de aprendizaje automático (Universidad de Stanford) y no entendí qué significa esta teoría y cuál es su utilidad. Me pregunto si alguien podría detallar esta teoría para mí. Esta teoría se basa en esta
Tengo una pregunta específica sobre la validación en la investigación de aprendizaje automático. Como sabemos, el régimen de aprendizaje automático les pide a los investigadores que capaciten a sus modelos en los datos de capacitación, que elijan entre los modelos candidatos por conjunto de...
En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, cuando...
Supongamos que tenemos una respuesta Y y predictores X1, ...., Xn. Si tratamos de ajustar Y a través de un modelo lineal de X1, ..., Xn, y resulta que la verdadera relación entre Y y X1, ..., Xn no era lineal, podríamos ser capaces para arreglar el modelo transformando las X de alguna manera y...
Actualmente estoy ajustando bosques aleatorios para un problema de clasificación usando el randomForestpaquete en R, y no estoy seguro de cómo informar un error de entrenamiento para estos modelos. Mi error de entrenamiento es cercano al 0% cuando lo calculo usando predicciones que obtengo con el...
Estoy tratando de entender la intuición detrás de los SVM del kernel. Ahora, entiendo cómo funciona el SVM lineal, mediante el cual se toma una línea de decisión que divide los datos lo mejor que puede. También entiendo el principio detrás de la transferencia de datos a un espacio de dimensiones...
¿Alguien puede decirme cómo se supone que debo construir una red neuronal utilizando el método por lotes? He leído que, en el modo por lotes, para todas las muestras en el conjunto de entrenamiento, calculamos el error, los delta y, por lo tanto, los pesos delta para cada neurona en la red y...
Soy un ingeniero de software que trabaja en aprendizaje automático. Según tengo entendido, la regresión lineal (como OLS) y la clasificación lineal (como la regresión logística y SVM) hacen una predicción basada en un producto interno entre los coeficientes entrenados y las variables de...