Soy bastante nuevo en los bosques al azar. En el pasado, siempre he comparado la precisión del ajuste contra la prueba contra el ajuste contra el tren para detectar cualquier sobreajuste. Pero acabo de leer aquí que: "En bosques aleatorios, no hay necesidad de validación cruzada o un conjunto de...
He escuchado la siguiente expresión antes: "La optimización es la raíz de todo mal en las estadísticas". Por ejemplo, la respuesta principal en este hilo hace esa declaración en referencia al peligro de optimizar demasiado agresivamente durante la selección del modelo. Mi primera pregunta es...
Parece que hay consejos contradictorios sobre cómo manejar la comparación entre el error del tren y la prueba, particularmente cuando hay una brecha entre los dos. Parece que hay dos escuelas de pensamiento que para mí parecen estar en conflicto. Estoy buscando entender cómo conciliar los dos (o...
Cuando eres tú quien hace el trabajo, al darte cuenta de lo que estás haciendo, desarrollas una sensación de cuándo has ajustado demasiado el modelo. Por un lado, puede seguir la tendencia o el deterioro en el cuadrado R ajustado del modelo. También puede realizar un seguimiento de un deterioro...
Mi pregunta principal es con respecto a tratar de entender cómo encaja la validación cruzada k-fold en el contexto de tener conjuntos de capacitación / validación / prueba (si cabe en ese contexto). Por lo general, las personas hablan de dividir los datos en un conjunto de entrenamiento,...
Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la...
En mi opinión, los datos de entrada correlacionados deben conducir a un sobreajuste en las redes neuronales porque la red aprende la correlación, por ejemplo, el ruido en los datos. ¿Es esto
En el libro PRML de Bishop, dice que el sobreajuste es un problema con la Estimación de máxima verosimilitud (MLE), y Bayesian puede evitarlo. Pero creo que el sobreajuste es un problema más sobre la selección del modelo, no sobre el método utilizado para hacer la estimación de parámetros. Es...
Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es una simplificación drástica, pero...
En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: ¿es...
Esto está al borde de una pregunta filosófica, pero estoy interesado en cómo piensan otros con más experiencia sobre la selección de distribución. En algunos casos parece claro que la teoría podría funcionar mejor (las longitudes de la cola de los ratones probablemente se distribuyen normalmente)....
Obviamente tengo una distribución de valores bimodal, que busco ajustar. Los datos pueden ajustarse bien con 2 funciones normales (bimodal) o con 3 funciones normales. Además, hay una razón física plausible para ajustar los datos con 3. Cuantos más parámetros se introduzcan, más perfecto será el...
He leído algo de literatura que los bosques aleatorios no pueden sobreajustar. Si bien esto suena genial, parece demasiado bueno para ser verdad. ¿Es posible que los rf se
Estoy tratando de entender qué es un modelo saturado. AFAIK es cuando tienes tantas características como observaciones. ¿Podemos decir que un modelo saturado es un caso especial de un modelo extremadamente sobreajustado?
Esta podría ser una pregunta básica: ¿Cuál es la diferencia entre sesgo y falta de equipamiento? Y, de manera análoga, ¿cuál es la diferencia entre la varianza y el sobreajuste? ¿Los términos de cada par significan lo mismo? Sí no, ¿Cuál es la
Entiendo que podemos emplear la regularización en un problema de regresión de mínimos cuadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2...
Hoy nuestro profesor declaró en clase que "no es posible sobreajustar con clasificadores lineales". Considero que eso es incorrecto, ya que incluso los clasificadores lineales pueden ser sensibles a los valores atípicos en el conjunto de entrenamiento; tomemos, por ejemplo, un margen duro. ¿O estoy...
Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB se...
Aprendí que se puede detectar el sobreajuste trazando el error de entrenamiento y el error de prueba en comparación con las épocas. Como en: He estado leyendo esta publicación de blog donde dicen que la red neuronal, net5 es demasiado adecuada y proporcionan esta cifra: Lo cual es extraño...
¿No resulta en un ajuste excesivo? ¿Serían mis resultados más confiables si agregara un procedimiento de cuchillo de arranque o arranque como parte del