En árboles de decisión, podemos entender el resultado de la estructura de árbol y también podemos visualizar cómo el árbol de decisión toma decisiones. Por lo tanto, los árboles de decisión tienen explicabilidad (su salida se puede explicar fácilmente).
¿Tenemos explicabilidad en redes neuronales como con árboles de decisión?
neural-network
navya
fuente
fuente
Respuestas:
No estoy de acuerdo con la respuesta anterior y con su sugerencia por dos razones:
1) Los árboles de decisión se basan en decisiones lógicas simples que combinadas pueden tomar decisiones más complejas. PERO si su entrada tiene 1000 dimensiones, y las características aprendidas son altamente no lineales, obtendrá un árbol de decisión realmente grande y pesado que no podrá leer / comprender simplemente mirando los nodos.
2) Las redes neuronales son similares a las de la función que aprenden solo si son muy pequeñas. Cuando te haces grande, necesitas otros trucos para entenderlos. Como sugirió @SmallChess, puede leer este artículo llamado Visualizar y comprender las redes convolucionales que explica el caso particular de las redes neuronales convolucionales, cómo puede leer los pesos para comprender cosas como "detectó un automóvil en esta imagen, principalmente debido a ruedas, no el resto de los componentes ".
Estas visualizaciones ayudaron a muchos investigadores a comprender realmente las debilidades en sus arquitecturas neuronales y ayudaron a mejorar los algoritmos de entrenamiento.
fuente
No. La red neuronal es generalmente difícil de entender. Cambia el poder predictivo por la complejidad del modelo. Si bien es posible visualizar gráficamente los pesos NN, no le dicen exactamente cómo se toma una decisión. Buena suerte tratando de entender una red profunda.
Hay un paquete Python popular (y tiene un documento) que puede modelar un NN localmente con un modelo más simple. Es posible que desee echar un vistazo.
fuente
https://arxiv.org/abs/1704.02685 proporciona una herramienta de explicación local específica de NN: elevación profunda. Funciona propagando la diferencia de activación entre la instancia que desea explicar y una instancia de referencia. Obtener una referencia es un poco complicado, pero la herramienta parece ser interpretable y escalable en general. Lo usamos en datos tabulares.
fuente