Mi configuración es la siguiente: Estoy siguiendo las pautas en "Modelado predictivo aplicado". Por lo tanto, he filtrado características correlacionadas y termino con lo siguiente: 4900 puntos de datos en el conjunto de entrenamiento y 1600 puntos de datos en el conjunto de prueba. Tengo 26...
He realizado algunas investigaciones sobre el sobreajuste y la falta de adaptación, y he entendido cuáles son exactamente, pero no puedo encontrar los motivos. ¿Cuáles son las principales razones para el sobreajuste y la falta de adaptación? ¿Por qué enfrentamos estos dos problemas al entrenar un...
Digamos que estoy calculando algunos parámetros del modelo, minimizando la suma de los residuos al cuadrado, y supongo que mis errores son gaussianos. Mi modelo produce derivados analíticos, por lo que el optimizador no necesita usar diferencias finitas. Una vez que se completa el ajuste, quiero...
El parámetro de velocidad de aprendizaje ( ) en Gradient Boosting reduce la contribución de cada nuevo modelo base, típicamente un árbol poco profundo, que se agrega en la serie. Se demostró que aumenta drásticamente la precisión del conjunto de pruebas, lo cual es comprensible ya que con pasos más...
Esto no es tan fácil para Google como otras cosas, ya que, para ser claros, no estoy hablando de regresión logística en el sentido de usar la regresión para predecir variables categóricas. Estoy hablando de ajustar una curva de crecimiento logístico a puntos de datos dados. Para ser específicos,...
La regularización en regresión (lineal, logística ...) es la forma más popular de reducir el sobreajuste. Cuando el objetivo es la precisión de la predicción (no explicar), ¿hay alguna buena alternativa a la regularización, especialmente adecuada para grandes conjuntos de datos (mi / billones de...
¿Existe una definición matemática o algorítmica de sobreajuste? Las definiciones que se proporcionan a menudo son el gráfico clásico de puntos en 2-D con una línea que pasa por cada punto y la curva de pérdida de validación que sube repentinamente. ¿Pero hay una definición matemáticamente...
Contexto: De una pregunta sobre Mathematics Stack Exchange (¿Puedo construir un programa) , alguien tiene un conjunto de puntos y , y quiere ajustarle una curva, lineal, exponencial o logarítmica. El método habitual es comenzar eligiendo uno de estos (que especifica el modelo) y luego hacer los...
La impresión que obtuve, en base a varios documentos, libros y artículos que he leído, es que la forma recomendada de ajustar una distribución de probabilidad en un conjunto de datos es mediante el uso de la estimación de máxima verosimilitud (MLE). Sin embargo, como físico, una forma más intuitiva...
¿Alguien puede explicarme las diferencias reales entre el análisis de regresión y el ajuste de curvas (lineal y no lineal), con un ejemplo si es posible? Parece que ambos intentan encontrar una relación entre dos variables (dependiente frente a independiente) y luego determinan el parámetro (o...
Si tengo datos y ejecuto una clasificación (digamos bosque aleatorio en estos datos) con validación cruzada (digamos 5 veces), ¿podría concluir que no hay un ajuste excesivo en mi
¿Cómo ajusto los parámetros de una distribución t, es decir, los parámetros correspondientes a la 'media' y 'desviación estándar' de una distribución normal? Supongo que se llaman 'media' y 'escala / grados de libertad' para una distribución t? El siguiente código a menudo produce errores de...
Digamos que tengo algunos datos, y luego ajusto los datos con un modelo (una regresión no lineal). Luego calculo el R cuadrado ( ).R2R2R^2 Cuando R cuadrado es negativo, ¿qué significa eso? ¿Eso significa que mi modelo es malo? Sé que el rango de puede ser [-1,1]. Cuando R 2 es 0, ¿qué significa...
Si bien los resultados del conjunto de prueba privado no se pueden utilizar para refinar aún más el modelo, ¿no se está seleccionando el modelo de una gran cantidad de modelos basados en los resultados del conjunto de prueba privado? ¿No terminaría usted, solo a través de ese proceso,...
Digamos que tenemos un modelo mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects...
Consideremos el problema de clasificar el conjunto de datos MNIST. Según la página web MNIST de Yann LeCun , 'Ciresan et al.' obtuvo una tasa de error del 0.23% en el conjunto de prueba MNIST usando la red neuronal convolucional. Denotemos el conjunto de entrenamiento MNIST como...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
Actualmente estoy ajustando bosques aleatorios para un problema de clasificación usando el randomForestpaquete en R, y no estoy seguro de cómo informar un error de entrenamiento para estos modelos. Mi error de entrenamiento es cercano al 0% cuando lo calculo usando predicciones que obtengo con el...
Estoy tratando de crear una figura que muestre la relación entre las copias virales y la cobertura del genoma (CCG). Así es como se ven mis datos: Al principio, acabo de trazar una regresión lineal, pero mis supervisores me dijeron que eso era incorrecto y que probé una curva sigmoidea. Así que...
Soy bastante nuevo en los bosques al azar. En el pasado, siempre he comparado la precisión del ajuste contra la prueba contra el ajuste contra el tren para detectar cualquier sobreajuste. Pero acabo de leer aquí que: "En bosques aleatorios, no hay necesidad de validación cruzada o un conjunto de...