Reproducción de la tabla 18.1 de "Elementos del aprendizaje estadístico"

13

La Tabla 18.1 en los Elementos del aprendizaje estadístico resume el rendimiento de varios clasificadores en un conjunto de datos de 14 clases. Estoy comparando un nuevo algoritmo con el lazo y la red elástica para tales problemas de clasificación multiclase.

glmnetL1

Tenga en cuenta que al comienzo de la Sección 18.3, en la página 654, se describe un cierto procesamiento previo de los datos.

Me he puesto en contacto con los autores, hasta ahora sin respuesta, y pregunto si alguien puede confirmar que hay un problema en la reproducción de la tabla o proporcionar una solución sobre cómo reproducir la tabla.

classification lasso glmnet NRH
fuente
1
glmnet ha experimentado un cambio bastante reciente y ha tenido algunos problemas con los números en el pasado. ¿Es posiblemente debido a esto? ¿Cuánto tiempo hace que contactó a los autores? Veo que la versión actual es 1.7 y se cargó en CRAN hace solo una semana.
cardenal
@cardinal, pasaron aproximadamente cuatro semanas desde que hice los últimos experimentos con glmnet, pero también tenemos una implementación diferente que produce resultados similares que no son consistentes con la tabla en ESL. La tabla es definitivamente más antigua, así que supongo que la tabla no es correcta, pero sería bueno saberlo con certeza.
NRH
Leí brevemente esas secciones y una pregunta que surgió en mi mente fue cómo se realizó la validación cruzada para elegir el parámetro de contracción en (18.19) en la página 661 (tercera impresión). ¿Alguna idea? ¿Tal vez me lo perdí o se describe en otra parte? Ese parece ser un lugar probable donde sus intentos de recrear su análisis podrían ser sensibles a las diferencias en el enfoque.
cardenal
@cardinal, primero gracias por interesarse en esto. Es cierto que el CV puede marcar la diferencia, pero los autores tienen los subconjuntos (índices) utilizados para el CV en la página web junto con los datos. De todos modos, el CV solo se usa para seleccionar el parámetro de penalización óptimo lambda, luego todo el conjunto de datos de entrenamiento se usa para ajustarse al modelo, que luego se evalúa en los datos de la prueba. Por lo tanto, incluso si el paso CV selecciona una lambda diferente, esa lambda está en el camino de la solución para los datos de entrenamiento, y no podemos encontrarla ...
NRH

Respuestas:

2

¿Has consultado el paquete R del libro? contiene todos los conjuntos de datos, funciones y la mayoría de los scripts utilizados allí ...

usuario603
fuente
77
buen intento. Sí, he revisado el paquete, pero afirmar que contiene todos los datos, funciones y la mayoría de los scripts es una exageración. No está completo y no contiene el conjunto de datos en cuestión.
NRH