Algunas de las características de mis datos tienen valores grandes, mientras que otras tienen valores mucho más pequeños. ¿Es necesario centrar + escalar datos antes de aplicar t-SNE para evitar sesgos hacia los valores más grandes? Uso la implementación sklearn.manifold.TSNE de Python con la...
Supongamos que tenemos variables medibles, , hacemos un número de mediciones y luego deseamos realizar una descomposición de valores singulares en los resultados para encontrar los ejes de mayor varianza para los puntos en el espacio -dimensional. ( Nota: suponga que las medias de ya se han...
¿La normalización de datos (para tener una media de desviación estándar de unidad y cero) antes de realizar una validación cruzada repetida de k veces tiene alguna consecuencia negativa como el sobreajuste? Nota: esto es para una situación donde #cases> total #características Estoy...
En los estudios de expresión génica que utilizan microarrays, los datos de intensidad deben normalizarse para poder comparar las intensidades entre individuos, entre genes. Conceptualmente y algorítmicamente, ¿cómo funciona la "normalización de cuantiles" y cómo se lo explicaría a un no...
Digamos que tengo un clasificador de regresión logística. En el aprendizaje por lotes normal, tendría un término regularizador para evitar el sobreajuste y mantener mis pesos pequeños. También normalizaría y escalaría mis características. En un entorno de aprendizaje en línea, obtengo un flujo...
Estoy tomando el curso de aprendizaje automático de Andrew Ng y no pude obtener la respuesta correcta a esta pregunta después de varios intentos. Amablemente ayuda a resolver esto, aunque he pasado por el nivel. Supongamos que estudiantes han tomado alguna clase, y la clase tuvo un examen...
Estoy usando un script Es para registros centrales. Tengo un marco de datos que muestra las diferentes composiciones elementales en las columnas en una profundidad determinada (en la primera columna). Quiero realizar un PCA con él y estoy confundido sobre el método de estandarización que tengo que...
Entiendo el razonamiento detrás de la normalización de la columna, ya que hace que las características se ponderen por igual, incluso si no se miden en la misma escala; sin embargo, a menudo en la literatura vecina más cercana, las columnas y las filas se normalizan. ¿Para qué sirve la...
Estoy trabajando en un algoritmo que toma un vector del punto de datos más reciente de una serie de flujos de sensores y compara la distancia euclidiana con los vectores anteriores. El problema es que los diferentes flujos de datos provienen de sensores completamente diferentes, por lo que tomar...
Para un conjunto dado de datos, la dispersión a menudo se calcula como la desviación estándar o como el IQR (rango intercuartil). Mientras que a standard deviationestá normalizado (puntajes z, etc.) y, por lo tanto, puede usarse para comparar la propagación de dos poblaciones diferentes, este no...
La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes...
Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <-...
Estoy tratando de encontrar la distribución característica más apropiada de datos de mediciones repetidas de cierto tipo. Esencialmente, en mi rama de la geología, a menudo usamos datación radiométrica de minerales de muestras (trozos de roca) para averiguar cuánto tiempo hace que ocurrió un...
El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por...
Según tengo entendido, la norma de lote normaliza todas las características de entrada a una capa a una unidad de distribución normal, . La media y la varianza se estiman midiendo sus valores para el mini lote actual.norte( μ = 0 , σ= 1 )norte(μ=0 0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu,...
Este es solo un ejemplo que he encontrado varias veces, por lo que no tengo ningún dato de muestra. Ejecutar un modelo de regresión lineal en R: a.lm = lm(Y ~ x1 + x2) x1Es una variable continua. x2es categórico y tiene tres valores, por ejemplo, "Bajo", "Medio" y "Alto". Sin embargo, la salida...
Es bien sabido (por ejemplo, en el campo de la detección de compresión) que la norma es "inductora de la dispersión", en el sentido de que si minimizamos lo funcional (para la matriz fija y el vector ) para lo suficientemente grande \ lambda> 0 , es probable que muchas opciones de A , \ vec {b}...
Los siguientes injertos se toman de este artículo . Soy novato en bootstrap e intento implementar el bootstrapping paramétrico, semiparamétrico y no paramétrico para el modelo mixto lineal con R bootpaquete. Código R Aquí está mi
Estoy usando Dynamic Time Warping para que coincida con una "consulta" y una curva de "plantilla" y tengo un éxito razonable hasta el momento, pero tengo algunas preguntas básicas: Estoy evaluando una "coincidencia" al evaluar si el resultado de DTW es menor que algún valor umbral que...
Sé que hay más de dos tipos de normalización. Por ejemplo, 1- Transformar datos utilizando una puntuación z o una puntuación t. Esto generalmente se llama estandarización. 2- Reescalando datos para tener valores entre 0 y 1. La pregunta ahora si necesito normalizar ¿Qué tipo de...