Estoy leyendo sobre dos técnicas populares de interpretación de modelos post hoc: LIME y SHAP
Tengo problemas para comprender la diferencia clave en estas dos técnicas.
Para citar a Scott Lundberg , el cerebro detrás de SHAP:
Los valores SHAP vienen con las ventajas de estimación local de caja negra de LIME, pero también vienen con garantías teóricas sobre la consistencia y la precisión local de la teoría del juego (atributos de otros métodos que unificamos)
Tengo algunos problemas para entender cuáles son estas ' garantías teóricas sobre la coherencia y la precisión local de la teoría de juegos '. Dado que SHAP se desarrolló después de LIME, supongo que llena algunos vacíos que LIME no aborda. ¿Que son esos?
El libro de Christoph Molnar en un capítulo sobre la Estimación de Shapley afirma:
La diferencia entre la predicción y la predicción promedio se distribuye equitativamente entre los valores de las características de la instancia: la propiedad de eficiencia de shapley. Esta propiedad establece el valor de Shapley aparte de otros métodos como LIME. LIME no garantiza distribuir perfectamente los efectos. Podría hacer que el valor de Shapley sea el único método para entregar una explicación completa
Al leer esto, tengo la sensación de que SHAP no es una explicación local sino glocal del punto de datos. Podría estar equivocado aquí y necesito una idea de lo que significa esta cita anterior. Para resumir mi pregunta: LIME produce explicaciones locales. ¿En qué se diferencian las explicaciones de SHAP de las de LIME?
fuente
Respuestas:
LIME crea un modelo sustituto localmente en torno a la unidad cuya predicción desea comprender. Por lo tanto, es inherentemente local. Los valores bien formados 'descomponen' la predicción final en la contribución de cada atributo; esto es lo que algunos quieren decir con 'consistente' (los valores se suman a la predicción real del modelo verdadero, esto no es algo que obtienes con LIME). Pero para obtener realmente los valores de forma hay que tomar una decisión sobre qué hacer / cómo manejar los valores de los atributos 'excluidos', así es como se llega a los valores. En esta decisión hay alguna opción que podría cambiar la interpretación. Si 'omito' un atributo, ¿promedio todas las posibilidades? ¿Elige alguna 'línea de base'?
Así que Shapely te dice, de manera aditiva, cómo obtuviste tu puntaje, pero hay alguna opción sobre el 'punto de partida' (es decir, la decisión sobre los atributos omitidos).
LIME simplemente le dice, en un sentido local, cuál es el atributo más importante en torno al punto de interés de datos.
fuente