¿Cómo calcular una medida de precisión basada en RMSE? ¿Se distribuye normalmente mi gran conjunto de datos?

Tengo varios conjuntos de datos del orden de miles de puntos. Los valores en cada conjunto de datos son X, Y, Z que se refieren a una coordenada en el espacio. El valor Z representa una diferencia de elevación en el par de coordenadas (x, y).

Típicamente en mi campo de SIG, se hace referencia al error de elevación en RMSE restando el punto de verdad del terreno a un punto de medida (punto de datos LiDAR). Por lo general, se utilizan un mínimo de 20 puntos de verificación de verificación de terreno. Usando este valor RMSE, de acuerdo con NDEP (National Digital Elevation Guidelines) y FEMA, se puede calcular una medida de precisión: Precisión = 1.96 * RMSE.

Esta precisión se expresa como: "La precisión vertical fundamental es el valor por el cual la precisión vertical puede evaluarse y compararse equitativamente entre los conjuntos de datos. La precisión fundamental se calcula al nivel de confianza del 95 por ciento en función del RMSE vertical".

Entiendo que el 95% del área bajo una curva de distribución normal se encuentra dentro de 1.96 * desviación estándar, sin embargo, eso no se relaciona con RMSE.

En general, hago esta pregunta: usando RMSE calculado a partir de 2 conjuntos de datos, ¿cómo puedo relacionar RMSE con algún tipo de precisión (es decir, el 95 por ciento de mis puntos de datos están dentro de +/- X cm)? Además, ¿cómo puedo determinar si mi conjunto de datos se distribuye normalmente utilizando una prueba que funciona bien con un conjunto de datos tan grande? ¿Qué es "suficientemente bueno" para una distribución normal? ¿Debería p <0.05 para todas las pruebas, o debería coincidir con la forma de una distribución normal?

Encontré muy buena información sobre este tema en el siguiente documento:

http://paulzandbergen.com/PUBLICATIONS_files/Zandbergen_TGIS_2008.pdf

Usando RMSE calculado a partir de 2 conjuntos de datos, ¿cómo puedo relacionar RMSE con algún tipo de precisión (es decir, el 95 por ciento de mis puntos de datos están dentro de +/- X cm)?

Eche un vistazo a una pregunta casi duplicada: ¿ Intervalo de confianza de RMSE ?

¿Se distribuye normalmente mi gran conjunto de datos?

Un buen comienzo sería observar la distribución empírica de los zvalores. Aquí hay un ejemplo reproducible.

set.seed(1)
z <- rnorm(2000,2,3)
z.difference <- data.frame(z=z)

library(ggplot2)

ggplot(z.difference,aes(x=z)) + 
  geom_histogram(binwidth=1,aes(y=..density..), fill="white", color="black") +
  ylab("Density") + xlab("Elevation differences (meters)") +
  theme_bw() + 
  coord_flip()

A primera vista, parece normal, ¿verdad? (en realidad, sabemos que es normal porque el rnormcomando que usamos).

Si se desea analizar muestras pequeñas sobre el conjunto de datos, existe la Prueba de normalidad de Shapiro-Wilk.

z_sample <- sample(z.difference$z,40,replace=T)
shapiro.test(z_sample) #high p-value indicates the data is normal (null hypothesis)

    Shapiro-Wilk normality test

data:  z_sample
W = 0.98618, p-value = 0.8984 #normal

También se puede repetir la prueba SW muchas veces sobre diferentes muestras pequeñas y luego observar la distribución de p-values.

Tenga en cuenta que las pruebas de normalidad en grandes conjuntos de datos no son tan útiles como se explica en esta respuesta proporcionada por Greg Snow.

Por otro lado, con conjuntos de datos realmente grandes, el teorema del límite central entra en juego y para los análisis comunes (regresión, pruebas t, ...) realmente no le importa si la población está normalmente distribuida o no.

La buena regla general es hacer un diagrama qq y preguntar, ¿es esto lo suficientemente normal?

Entonces, hagamos un diagrama QQ:

#qq-plot (quantiles from empirical distribution - quantiles from theoretical distribution)
mean_z <- mean(z.difference$z)
sd_z <- sd(z.difference$z)
set.seed(77)
normal <- rnorm(length(z.difference$z), mean = mean_z, sd = sd_z)

qqplot(normal, z.difference$z, xlab="Theoretical", ylab="Empirical")

Si los puntos están alineados en la y=xlínea, significa que la distribución empírica coincide con la distribución teórica, que en este caso es la distribución normal.