Actualmente estoy ajustando bosques aleatorios para un problema de clasificación usando el randomForestpaquete en R, y no estoy seguro de cómo informar un error de entrenamiento para estos modelos. Mi error de entrenamiento es cercano al 0% cuando lo calculo usando predicciones que obtengo con el...
¿Hay algún algoritmo documentado para separar secciones de un conjunto de datos dado en diferentes curvas de mejor ajuste? Por ejemplo, la mayoría de los humanos que miran este cuadro de datos lo dividirían fácilmente en 3 partes: un segmento sinusoidal, un segmento lineal y el segmento...
¿Existe una técnica de modelado como LOESS que permita cero, una o más discontinuidades, donde el momento de las discontinuidades no se conoce a priori? Si existe una técnica, ¿existe una implementación existente en
Estoy tratando de reproducir un algoritmo de predicción existente, transmitido por un investigador retirado. El primer paso es ajustar algunos datos observados a una distribución de Weibull, para obtener una forma y una escala que se utilizarán para predecir valores futuros. Estoy usando R para...
Cuando eres tú quien hace el trabajo, al darte cuenta de lo que estás haciendo, desarrollas una sensación de cuándo has ajustado demasiado el modelo. Por un lado, puede seguir la tendencia o el deterioro en el cuadrado R ajustado del modelo. También puede realizar un seguimiento de un deterioro...
Tengo los siguientes datos y me gustaría ajustarle un modelo de crecimiento exponencial negativo: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)),...
Parece que hay consejos contradictorios sobre cómo manejar la comparación entre el error del tren y la prueba, particularmente cuando hay una brecha entre los dos. Parece que hay dos escuelas de pensamiento que para mí parecen estar en conflicto. Estoy buscando entender cómo conciliar los dos (o...
Mi pregunta principal es con respecto a tratar de entender cómo encaja la validación cruzada k-fold en el contexto de tener conjuntos de capacitación / validación / prueba (si cabe en ese contexto). Por lo general, las personas hablan de dividir los datos en un conjunto de entrenamiento,...
He leído que la prueba de Kolmogorov-Smirnov no debe usarse para evaluar la bondad de ajuste de una distribución cuyos parámetros se han estimado a partir de la muestra. ¿Tiene sentido dividir mi muestra en dos y usar la primera mitad para la estimación de parámetros y la segunda para la prueba...
He escuchado la siguiente expresión antes: "La optimización es la raíz de todo mal en las estadísticas". Por ejemplo, la respuesta principal en este hilo hace esa declaración en referencia al peligro de optimizar demasiado agresivamente durante la selección del modelo. Mi primera pregunta es...
Digamos que tenemos los puntos de datos de entrada (predictor) y de salida (respuesta) A, B, C, D, E y queremos ajustar una línea a través de los puntos. Este es un problema simple para ilustrar la pregunta, pero también puede extenderse a dimensiones más altas. Planteamiento del problema El...
En mi opinión, los datos de entrada correlacionados deben conducir a un sobreajuste en las redes neuronales porque la red aprende la correlación, por ejemplo, el ruido en los datos. ¿Es esto
En R (2.15.2) instalé una vez un ARIMA (3,1,3) en una serie de tiempo y una vez un ARMA (3,3) en la serie de tiempo una vez diferenciada. Los parámetros ajustados difieren, lo que atribuí al método de ajuste en ARIMA. Además, ajustar un ARIMA (3,0,3) en los mismos datos que ARMA (3,3) no dará como...
En el libro de Bishop sobre aprendizaje automático, se analiza el problema de ajustar una función polinómica a un conjunto de puntos de datos. Sea M el orden del polinomio ajustado. Dice como eso Vemos que, a medida que M aumenta, la magnitud de los coeficientes generalmente aumenta. En...
Tengo un modelo para predecir una trayectoria (x en función del tiempo) con varios parámetros. Por el momento, calculo el error cuadrático medio (RMSE) entre la trayectoria prevista y la trayectoria registrada experimentalmente. Actualmente, minimizo esta diferencia (el RMSE) usando simplex...
Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la...
Soy relativamente nuevo en estadísticas y agradecería ayuda para entender esto mejor. En mi campo hay un modelo de forma comúnmente utilizado: PAGt= Po( Vt)αPAGt=PAGo(Vt)αP_t = P_o(V_t)^\alpha Cuando las personas ajustan el modelo a los datos, generalmente lo linealizan y ajustan lo...
Entonces, tengo un proceso aleatorio que genera variables aleatorias distribuidas normalmente XXX. Aquí está la función de densidad de probabilidad correspondiente: Quería estimar la distribución de unos pocos momentos de esa distribución original, digamos el primer momento: la media aritmética....
Digamos que tengo un problema de selección de modelo y estoy tratando de usar AIC o BIC para evaluar los modelos. Esto es sencillo para los modelos que tienen algún número de parámetros con valores reales.kkk Sin embargo, ¿qué sucede si uno de nuestros modelos (por ejemplo, el modelo Mallows )...
En primer lugar: lo sé, no se requiere un número general de tamaño de muestra para entrenar una red neuronal. Depende de demasiados factores, como la complejidad de la tarea, el ruido en los datos, etc. Y cuantas más muestras de entrenamiento tenga, mejor será mi red. Pero me preguntaba: ¿es...