BigQuery Explainable AI を使って予測モデルの評価をしてみた

先日お客様との打ち合わせの中で、某社AIを使ってモデルを作成すると説明変数の重要度が大きく変動してしまい、うまく予測できないというお悩み相談がありました。

ブラックボックス化しがちなAIでの予測。。。
手軽に特徴量の重要度を可視化できるツールがないか探してみたところ Googleが提供している「BigQuery Explainable AI 」というものがありました。

そこで今回は、BigQuery Explainable AI を使って特徴量の重要度を可視化してみようと思います。

Explainable AI とは？

2019年11月21日にGoogleが発表したExplainable AI。
この Explainable AI を用いると、どの特徴がモデルの予測結果にどれだけ貢献しているかを知ることができます。

計算の手法などの詳細は公式ドキュメントを参照ください。
また、チュートリアルが用意されていて、Collaboratoryの形式で配布されているので、簡単に実行することができます。

モデルの評価

早速、GoogleのExplainable AIを使ってモデルを評価してみます。

使い方はとても簡単で、BigQuery ML でモデルの学習時に、OPTIONS に「enable_global_explain ＝ TRUE」と設定するだけでした。

以下は、GoogleのExplainable AI でモデルを評価した結果です。
A〜Dの4つのモデルにおける上位８つの特徴量を色分けしています。

GoogleのExplainable AIでは、「Feature Attribution」という値によってモデルの予測結果を評価します。

4つのモデルの評価結果を比較してみると、お客様が頭を抱えるほど大きな特徴量の重要度の変動はみられませんでした。

このように特徴量の重要度が数値化されるのは非常にわかりやすいですね。
GoogleのExplainable AI を使えば、モデルがどの特徴量を重視しているかが特定でき、重要視されていない特徴を除くことで、予測精度を挙げられそうですね。

今後の予測にうまく活用していきたいと思います。

まとめ

• GoogleのExplainable AI を使うと、モデルの予測にどの特徴量が大きく寄与しているか可視化ができる！
• 直感的にどの特徴量が重要なのか一目で判断でき、特徴量の選択にも便利