预测分析-“为什么”因素和模型可解释性

Question

我有包含大量x变量的数据，这些变量主要是分类/标称的，而我的目标变量是一个多类标签。我能够围绕几个模型来预测多类变量，并比较每个变量的执行情况。我有训练和测试数据。培训和测试数据都给了我很好的结果。

现在，我试图找出模型为什么“预测”了某些Y变量？表示是否有天气数据：X变量：城市，州，邮政编码，温度，年份；Y变量：雨，太阳，阴天，雪。我想找出模型为什么要预测的“原因”：分别是降雨，阳光，多云或下雪。我使用了多名词，决策树等分类算法。

这可能是一个广泛的问题，但我需要一个可以开始研究的地方。我可以预测“什么”，但看不到“为什么”被预测为降雨，阳光，多云或下雪的标签。基本上，我试图找到导致预测变量的变量之间的链接。

到目前为止，我想到了使用相关矩阵，主成分分析（在模型构建过程中发生）...至少是要查看哪些是好的预测变量，而哪些不是。有没有办法找出“为什么”因素？

谢谢一群！

Answer 1

模型的可解释性是当前研究的一个活跃和高度活跃的领域（认为圣杯之类的东西），最近提出来的原因不仅仅在于深度学习模型在各种任务中的（通常是巨大的）成功，还有算法公平性和责任制的必要性...

除了深入的理论研究之外，最近还有一些实用的工具箱和库，既适用于神经网络，也适用于其他通用ML模型。以下是部分清单，可以说应该让您忙一段时间：

• Google的What-If工具是开源TensorBoard Web应用程序的一项全新功能（2018年9月），使用户无需编写代码即可分析ML模型（项目页面，博客文章）

• 用于神经网络的分层相关传播（LRP）工具箱（纸张，项目页面，代码，TF Slim包装器）

• FairML：审计黑匣子预测模型，由Cloudera Fast Forward Labs撰写（博客文章，论文，代码）

• LIME：本地可解释模型不可知的解释（论文，代码，博客文章，R port）

• 黑匣子审计，认证和消除完全不同的影响（作者的Python代码）

• Geoff Hinton最近（2017年11月）的论文，将神经网络提炼成软决策树，具有独立的PyTorch实现

• SHAP：解释模型预测的统一方法（论文，作者的Python代码，R包）

• 可解释的卷积神经网络（论文，作者代码）

• Lucid，由Google进行神经网络可解释性研究的基础架构和工具的集合（代码；论文：功能可视化，可解释性的基础）

• 设计透明（TbD）网络（纸张，代码，演示）

• SVCCA：用于深度学习动力学和可解释性的奇异矢量规范相关性分析（论文，代码，Google博客文章）

• TCAV：使用概念激活向量进行测试（ICML 2018论文，Tensorflow代码）

• Grad-CAM：深度网络通过基于梯度的本地化的视觉解释（论文，作者的Torch代码，Tensorflow代码，PyTorch代码，Keras 示例笔记本）

• 网络解剖：由MIT CSAIL量化深度视觉表示的可解释性（项目页面，Caffe代码，PyTorch端口）

• GAN解剖：MIT CSAIL的可视化和理解生成的对抗网络（项目页面，带有纸张和代码的链接）

• 解释修复：解释和纠正DNN对象检测器预测的框架（纸张，代码）

• Microsoft的InterpretML（代码仍为Alpha）

• 锚点：与模型无关的高精度解释（纸张，代码）

最后，随着可解释性逐渐成为主流，已经有框架和工具箱结合了以上提到和链接的一种以上算法和技术。这是Python内容的（再次，部分）列表：

• tf-explain-作为Tensorflow 2.0回调的可解释性方法（代码，文档，博客文章）
• Skater，由Oracle提供（code，docs）
• Alibi，作者SeldonIO（代码，文档）
• IBM的AI Explainability 360（代码，博客文章）

也可以看看：

• 可解释的机器学习，在线Gitbook由克里斯托夫·莫尔纳与R代码里面可用

• 一个Twitter的线程，连接到可用的R.几种解释工具

• Kaggle的短期（4小时）在线课程，Machine Learning Explainability和随附的博客文章

• ...还有一大堆的资源真棒机器学习Interpetability回购