¿Cómo interpretar los valores p de 0 o 1?

9

Ejecuté un ANOVA encontrando, por ejemplo, una interacción entre género y grado de la que quiero saber en qué grados difieren los niños y las niñas, pero en muchos casos encuentro valores p (ajustados) de 0 y 1. ¿Cómo / por qué es esto posible? No parece correcto ...

as.factor(gender)                     1     16    16.2    2.6377  0.104396    
as.factor(grade)                      7  50077  7153.9 1165.4184 < 2.2e-16 ***
as.factor(gender):as.factor(grade)    7    132    18.9    3.0795  0.003056 ** 
Residuals                          7747  47555     6.1                        
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = rating ~ as.factor(gender) * as.factor(grade), data = users_c[users_c$grade %in% 1:8, ])

$`as.factor(gender)`
           diff        lwr        upr     p adj
m-f -0.09135851 -0.2016276 0.01891058 0.1043964

$`as.factor(grade)`
         diff        lwr       upr     p adj
2-1 0.3823566 -0.5454435  1.310157 0.9169296
3-1 1.9796023  1.1649854  2.794219 0.0000000
4-1 3.9558543  3.1534606  4.758248 0.0000000
5-1 5.7843111  4.9829529  6.585669 0.0000000
6-1 7.0752044  6.2708610  7.879548 0.0000000
7-1 8.4868609  7.6776332  9.296089 0.0000000
8-1 9.3867231  8.5626511 10.210795 0.0000000
3-2 1.5972457  1.0395026  2.154989 0.0000000
4-2 3.5734976  3.0337642  4.113231 0.0000000
5-2 5.4019544  4.8637616  5.940147 0.0000000
6-2 6.6928478  6.1502200  7.235476 0.0000000
7-2 8.1045042  7.5546625  8.654346 0.0000000
8-2 9.0043665  8.4329024  9.575831 0.0000000
4-3 1.9762520  1.6694948  2.283009 0.0000000
5-3 3.8047088  3.5006705  4.108747 0.0000000
6-3 5.0956021  4.7837806  5.407424 0.0000000
7-3 6.5072586  6.1830461  6.831471 0.0000000
8-3 7.4071208  7.0474558  7.766786 0.0000000
5-4 1.8284568  1.5588754  2.098038 0.0000000
6-4 3.1193501  2.8410202  3.397680 0.0000000
7-4 4.5310066  4.2388618  4.823151 0.0000000
8-4 5.4308688  5.0998193  5.761918 0.0000000
6-5 1.2908933  1.0155630  1.566224 0.0000000
7-5 2.7025498  2.4132612  2.991838 0.0000000
8-5 3.6024120  3.2738803  3.930944 0.0000000
7-6 1.4116565  1.1141985  1.709114 0.0000000
8-6 2.3115187  1.9757711  2.647266 0.0000000
8-7 0.8998622  0.5525763  1.247148 0.0000000

$`as.factor(gender):as.factor(grade)`
                diff         lwr        upr     p adj
m:1-f:1  0.005917865 -1.77842639  1.7902621 1.0000000
f:2-f:1  0.318074165 -1.28953805  1.9256864 0.9999988
m:2-f:1  0.442924925 -1.11597060  2.0018205 0.9998619
f:3-f:1  1.769000750  0.35262166  3.1853798 0.0020136
m:3-f:1  2.174229216  0.76569156  3.5827669 0.0000147
f:4-f:1  3.738998543  2.34268666  5.1353104 0.0000000
m:4-f:1  4.163719997  2.77146170  5.5559783 0.0000000
f:5-f:1  5.769586591  4.37599400  7.1631792 0.0000000
m:5-f:1  5.816721075  4.42497532  7.2084668 0.0000000
f:6-f:1  7.169439003  5.77317769  8.5657003 0.0000000
m:6-f:1  7.000924045  5.60308216  8.3987659 0.0000000
f:7-f:1  8.330142924  6.92683436  9.7334515 0.0000000
m:7-f:1  8.674488370  7.26930678 10.0796700 0.0000000
f:8-f:1  9.535307293  8.11198164 10.9586329 0.0000000
m:8-f:1  9.251081088  7.82191240 10.6802498 0.0000000
f:2-m:1  0.312156300 -1.12690148  1.7512141 0.9999959
m:2-m:1  0.437007060 -0.94741539  1.8214295 0.9995001
f:3-m:1  1.763082885  0.54136279  2.9848030 0.0000892
m:3-m:1  2.168311350  0.95569081  3.3809319 0.0000001
f:4-m:1  3.733080678  2.53468294  4.9314784 0.0000000
m:4-m:1  4.157802132  2.96412989  5.3514744 0.0000000
f:5-m:1  5.763668726  4.56844048  6.9588970 0.0000000
m:5-m:1  5.810803210  4.61772882  7.0038776 0.0000000
f:6-m:1  7.163521138  5.96518233  8.3618599 0.0000000
m:6-m:1  6.995006180  5.79482611  8.1951862 0.0000000
f:7-m:1  8.324225059  7.11768240  9.5307677 0.0000000
m:7-m:1  8.668570505  7.45984987  9.8772911 0.0000000
f:8-m:1  9.529389428  8.29962271 10.7591561 0.0000000
m:8-m:1  9.245163223  8.00863850 10.4816879 0.0000000
m:2-f:2  0.124850760 -1.02282435  1.2725259 1.0000000
f:3-f:2  1.450926585  0.50586965  2.3959835 0.0000172
m:3-f:2  1.856155050  0.92289131  2.7894188 0.0000000
f:4-f:2  3.420924378  2.50621691  4.3356318 0.0000000
m:4-f:2  3.845645832  2.93713824  4.7541534 0.0000000
f:5-f:2  5.451512425  4.54096139  6.3620635 0.0000000
m:5-f:2  5.498646910  4.59092496  6.4063689 0.0000000
f:6-f:2  6.851364838  5.93673457  7.7659951 0.0000000
m:6-f:2  6.682849880  5.76580854  7.5998912 0.0000000
f:7-f:2  8.012068759  7.08671595  8.9374216 0.0000000
m:7-f:2  8.356414205  7.42822339  9.2846050 0.0000000
f:8-f:2  9.217233128  8.26179669 10.1726696 0.0000000
m:8-f:2  8.933006923  7.96888762  9.8971262 0.0000000
f:3-m:2  1.326075825  0.46649985  2.1856518 0.0000150
m:3-m:2  1.731304290  0.88471145  2.5778971 0.0000000
f:4-m:2  3.296073618  2.46998162  4.1221656 0.0000000
m:4-m:2  3.720795071  2.90157332  4.5400168 0.0000000
f:5-m:2  5.326661665  4.50517434  6.1481490 0.0000000
m:5-m:2  5.373796150  4.55544575  6.1921465 0.0000000
f:6-m:2  6.726514078  5.90050756  7.5525206 0.0000000
m:6-m:2  6.557999120  5.72932364  7.3866746 0.0000000
f:7-m:2  7.887217999  7.04935402  8.7250820 0.0000000
m:7-m:2  8.231563445  7.39056617  9.0725607 0.0000000
f:8-m:2  9.092382368  8.22140761  9.9633571 0.0000000
m:8-m:2  8.808156163  7.92766524  9.6886471 0.0000000
m:3-f:3  0.405228465 -0.13578346  0.9462404 0.4221367
f:4-f:3  1.969997793  1.46166478  2.4783308 0.0000000
m:4-f:3  2.394719246  1.89762897  2.8918095 0.0000000
f:5-f:3  4.000585840  3.49977062  4.5014011 0.0000000
m:5-f:3  4.047720325  3.55206739  4.5433733 0.0000000
f:6-f:3  5.400438253  4.89224417  5.9086323 0.0000000
m:6-f:3  5.231923295  4.71940255  5.7444440 0.0000000
f:7-f:3  6.561142174  6.03389412  7.0883902 0.0000000
m:7-f:3  6.905487620  6.37327442  7.4377008 0.0000000
f:8-f:3  7.766306543  7.18788499  8.3447281 0.0000000
m:8-f:3  7.482080337  6.88942637  8.0747343 0.0000000
f:4-m:3  1.564769328  1.07871270  2.0508260 0.0000000
m:4-m:3  1.989490781  1.51520464  2.4637769 0.0000000
f:5-m:3  3.595357375  3.11716862  4.0735461 0.0000000
m:5-m:3  3.642491860  3.16971239  4.1152713 0.0000000
f:6-m:3  4.995209787  4.50929846  5.4811211 0.0000000
m:6-m:3  4.826694830  4.33626022  5.3171294 0.0000000
f:7-m:3  6.155913709  5.65010831  6.6617191 0.0000000
m:7-m:3  6.500259155  5.98928021  7.0112381 0.0000000
f:8-m:3  7.361078078  6.80213257  7.9200236 0.0000000
m:8-m:3  7.076851872  6.50319055  7.6505132 0.0000000
m:4-f:4  0.424721453 -0.01192015  0.8613631 0.0668946
f:5-f:4  2.030588047  1.58971048  2.4714656 0.0000000
m:5-f:4  2.077722532  1.64271796  2.5127271 0.0000000
f:6-f:4  3.430440460  2.98119847  3.8796825 0.0000000
m:6-f:4  3.261925502  2.80779484  3.7160562 0.0000000
f:7-f:4  4.591144381  4.12045589  5.0618329 0.0000000
m:7-f:4  4.935489827  4.45924616  5.4117335 0.0000000
f:8-f:4  5.796308750  5.26892973  6.3236878 0.0000000
m:8-f:4  5.512082545  4.96913148  6.0550336 0.0000000
f:5-m:4  1.605866594  1.17800058  2.0337326 0.0000000
m:5-m:4  1.653001078  1.23118920  2.0748130 0.0000000
f:6-m:4  3.005719006  2.56923916  3.4421989 0.0000000
m:6-m:4  2.837204048  2.39569420  3.2787139 0.0000000
f:7-m:4  4.166422928  3.70789927  4.6249466 0.0000000
m:7-m:4  4.510768373  4.04654394  4.9749928 0.0000000
f:8-m:4  5.371587296  4.85503631  5.8881383 0.0000000
m:8-m:4  5.087361091  4.55492128  5.6198009 0.0000000
m:5-f:5  0.047134485 -0.37906079  0.4733298 1.0000000
f:6-f:5  1.399852412  0.95913504  1.8405698 0.0000000
m:6-f:5  1.231337454  0.78563790  1.6770370 0.0000000
f:7-f:5  2.560556334  2.09799705  3.0231156 0.0000000
m:7-f:5  2.904901779  2.43669086  3.3731127 0.0000000
f:8-f:5  3.765720703  3.24558412  4.2858573 0.0000000
m:8-f:5  3.481494497  2.94557538  4.0174136 0.0000000
f:6-m:5  1.352717928  0.91787572  1.7875601 0.0000000
m:6-m:5  1.184202970  0.74431204  1.6240939 0.0000000
f:7-m:5  2.513421849  2.05645683  2.9703869 0.0000000
m:7-m:5  2.857767295  2.39508230  3.3204523 0.0000000
f:8-m:5  3.718586218  3.20341827  4.2337542 0.0000000
m:8-m:5  3.434360013  2.90326187  3.9654582 0.0000000
m:6-f:6 -0.168514958 -0.62249009  0.2854602 0.9968060
f:7-f:6  1.160703921  0.69016548  1.6312424 0.0000000
m:7-f:6  1.505049367  1.02895400  1.9811447 0.0000000
f:8-f:6  2.365868290  1.83862318  2.8931134 0.0000000
m:8-f:6  2.081642085  1.53882109  2.6244631 0.0000000
f:7-m:6  1.329218879  0.85401081  1.8044269 0.0000000
m:7-m:6  1.673564325  1.19285330  2.1542753 0.0000000
f:8-m:6  2.534383248  2.00296656  3.0657999 0.0000000
m:8-m:6  2.250157043  1.70328327  2.7970308 0.0000000
m:7-f:7  0.344345446 -0.15203755  0.8407284 0.5648416
f:8-f:7  1.205164369  0.65953016  1.7507986 0.0000000
m:8-f:7  0.920938164  0.36023867  1.4816377 0.0000022
f:8-m:7  0.860818923  0.31038540  1.4112524 0.0000101
m:8-m:7  0.576592718  0.01122178  1.1419637 0.0401330
m:8-f:8 -0.284226205 -0.89329509  0.3248427 0.9688007

fuente
7747 grados residuales de libertad es mucho; ¿Es posible que su conjunto de datos tenga múltiples respuestas por persona? Si ese es el caso, es posible que desee contraer las respuestas de cada persona a una media (realizada automáticamente por ezANOVA desde el paquete ez), o usar algo como modelos de efectos mixtos, que le permiten tener en cuenta las mediciones repetidas (consulte ezMixed de El paquete ez).
Mike Lawrence
Quise decir "o usar algo más poderoso como modelos de efectos mixtos". Además, para la última versión del código ezMixed (que permite una poderosa evaluación de posibles efectos no lineales de variables continuas como el grado, sin mencionar la visualización a través de ezPlot2), obtenga y ejecute esta función ezDev mientras está conectado a Internet: raw.github .com / mike-lawrence / ez / master / R / ezDev.R
Mike Lawrence

Respuestas:

15

Todo lo que significan 0 y 1 es que están muy cerca de 0 o 1. Si observa con atención verá que cuando la p ajustada es 1, el efecto es casi 0 y cuando la p ajustada es 0, el límite más cercano del efecto está muy lejos. Por lo tanto, no hay nada "incorrecto" per se. Ahora mira cuántos dígitos significativos tienes. El 1 o el 0 solo significa que está más cerca de ese valor de lo que puede representarse con un número con tantos dígitos. Siéntase libre de informar algo como <0.0001 o> 0.9999.

Juan
fuente
+1: esos son solo umbrales de redondeo arbitrarios. Y una de las razones por las que realmente odio * los informes de significación basados.
Fomite
3
Con un tamaño de muestra tan grande, no es sorprendente encontrar valores p realmente pequeños. Creo que aquí se plantea la cuestión de la significación práctica frente a la estadística y me interesarían más los intervalos de confianza que los valores p.
Glen
@John, ¿quieres decir que habría un problema al informar un valor p como 1.00 o 1.000? No vería nada malo en hacer esto.
mark999
Glen, estoy de acuerdo ...
John
mark999, entonces debe informarlos de esa manera. El único problema que tendría con eso es que tales números tienden a ser interpretados como especiales. Todos sabemos que cualquier valor sería una estimación, pero 1.0 y 0.0 podrían considerarse especiales o confusos para los principiantes en estadística tal como lo fueron para este interrogador. La confusión que provocó esta pregunta estaría en los lectores del informe.
John