Especialmente en el lado orientado a la informática de la literatura de aprendizaje automático, el AUC (área bajo la curva característica del operador receptor) es un criterio popular para evaluar clasificadores. ¿Cuáles son las justificaciones para usar las AUC? Por ejemplo, ¿hay una función de...
Estoy usando el paquete randomForest en R para desarrollar un modelo de bosque aleatorio para tratar de explicar un resultado continuo en un conjunto de datos "amplio" con más predictores que muestras. Específicamente, estoy ajustando un modelo de RF que permite que el procedimiento seleccione de...
Pensando en un problema supuestamente simple pero interesante, me gustaría escribir un código para pronosticar los consumibles que necesitaré en el futuro cercano dado el historial completo de mis compras anteriores. Estoy seguro de que este tipo de problema tiene una definición más genérica y bien...
Tengo acceso a un conjunto de datos muy grande. Los datos provienen de grabaciones MEG de personas que escuchan extractos musicales, de uno de los cuatro géneros. Los datos son los siguientes: 6 sujetos 3 repeticiones experimentales (épocas) 120 ensayos por época 8 segundos de datos por prueba a...
Durante un tiempo, parecía que Fisher Kernels podría volverse popular, ya que parecían ser una forma de construir núcleos a partir de modelos probabilísticos. Sin embargo, rara vez los he visto utilizados en la práctica, y tengo la buena autoridad de que tienden a no funcionar muy bien. Se basan en...
Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos...
Una técnica de procesamiento de señales, la frecuencia de Mel Cepstrum , se usa a menudo para extraer información de una pieza musical para usarla en una tarea de aprendizaje automático. Este método proporciona un espectro de potencia a corto plazo, y los coeficientes se utilizan como entrada. Al...
Un enfoque tradicional de construcción de características para la minería de texto es el enfoque de bolsa de palabras, y puede mejorarse usando tf-idf para configurar el vector de características que caracteriza un documento de texto dado. En la actualidad, estoy tratando de usar el modelo de...
Este es solo un ejemplo que he encontrado varias veces, por lo que no tengo ningún dato de muestra. Ejecutar un modelo de regresión lineal en R: a.lm = lm(Y ~ x1 + x2) x1Es una variable continua. x2es categórico y tiene tres valores, por ejemplo, "Bajo", "Medio" y "Alto". Sin embargo, la salida...
Estoy trabajando en la predicción de series de tiempo. Tengo dos conjuntos de datos y . Tengo tres modelos de predicción: . Todos esos modelos se entrenan utilizando muestras en el conjunto de datos , y su rendimiento se mide utilizando las muestras en el conjunto de datos . Digamos que las...
Hay muchos métodos para llevar a cabo la regularización - , y regularización basada norma, por ejemplo. Según Friedman Hastie & Tibsharani , el mejor regularizador depende del problema: a saber, la naturaleza de la verdadera función objetivo, la base particular utilizada, la relación señal /...
Solo quería ver si alguien tiene alguna experiencia aplicando la regresión de procesos gaussiana (GPR) a conjuntos de datos de alta dimensión. Estoy investigando algunos de los diversos métodos GPR dispersos (por ejemplo, pseudo-entradas GPR dispersas) para ver qué podría funcionar para conjuntos...
Estos son mis datos de entrenamiento: 200,000 Ejemplos x 10,000 Características. Entonces mi matriz de datos de entrenamiento es - 200,000 x 10,000. Logré guardar esto en un archivo plano sin tener problemas de memoria guardando cada conjunto de datos uno por uno (un ejemplo tras otro) a medida...
Cuando se entrena un modelo parametrizado (por ejemplo, para maximizar la probabilidad) a través del descenso de gradiente estocástico en algún conjunto de datos, se supone comúnmente que las muestras de entrenamiento se extraen de la distribución de datos de entrenamiento. Entonces, si el objetivo...
Tengo un conjunto de elementos que puedo describir de acuerdo con n características. Así:XXXnortenn Xyo: { cyo 1, cyo 2, ... , cyo n} ∣ xyo∈ Xxi:{ci1,ci2,…,cin}∣xi∈Xx_i: \{c_{i1}, c_{i2}, \ldots, c_{in}\} \mid x_i \in X donde es la evaluación (numérica) para el elemento acuerdo con las...
Tengo experiencia en programación de computadoras y teoría elemental de números, pero no tengo entrenamiento en estadísticas reales, y recientemente he "descubierto" que el asombroso mundo de toda una gama de técnicas es en realidad un mundo estadístico. Parece que las factorizaciones de matrices,...
Me pregunto si es una buena idea eliminar esas variables con un valor de importancia variable negativo ("% IncMSE") en un contexto de regresión. ¿Y si me da una mejor predicción? ¿Qué
Al dividir mis datos etiquetados en conjuntos de entrenamiento, validación y prueba, he escuchado de todo, desde 25/25/25 hasta 85/5/10. Estoy seguro de que esto depende de cómo va a utilizar su modelo y de cuán propenso es sobreajustar su algoritmo de aprendizaje. ¿Hay alguna forma de decidir o es...
Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos...
Por un simple ejemplo, suponga que hay dos modelos de regresión lineal Modelo 1 tiene tres predictores, x1a, x2b, yx2c El modelo 2 tiene tres predictores del modelo 1 y dos predictores adicionales x2ayx2b Hay una ecuación de regresión poblacional donde la varianza poblacional explicada es para...