AI・データ分析

こんにちは。アイティーシーの東村です。
今回の記事では、学習コンテンツ「Learn」のひとつ、「Machine Learning Explainability」についてご紹介いたします。

機械学習って、基本的にはデータを投入して学習させて予測結果が出て…という流れだと思いますが、ただ学習して結果を出力しただけでは「どの特徴量が予測に大きく影響したのか？」がわかりません。
ブラックボックス状態になってしまうというわけですね。
ですが、どの特徴量がどれくらい予測に影響しているかを可視化することで、ブラックボックスモデルを解釈することができます。
今回は「Machine Learning Explainability」を使って、この手法を学んでいきたいと思います。

■今回学んだ手法
１．Permutation Importance(PI)
→特定の特徴量の重要度を評価する手法です。
数ある特徴量のうち1つをランダムにシャッフルして、学習済みモデルで予測を行い、シャッフル前のスコア(精度や損失)とシャッフル後のスコアの差分を計算します。
これが大きいほどシャッフルした特徴量の重要度が高いことが推測できます。
「eli5」というライブラリを用いて簡単に実装できます。

２．Partial Dependence Plot(PDP)
→特定の特徴量の影響度を評価する手法です。
数ある特徴量のうち1つをピックアップして値を変えながら予測を行います。(その他の特徴量は固定します)
横軸にピックアップした特徴量、縦軸に予測結果をプロットすると、ピックアップした1つの特徴量だけを変えていったときに予測結果がどのように変化するかを可視化できます。
プロット結果が振動していれば、その特徴量は予測結果に影響していることが推測できます。
2つの特徴量をピックアップして同様に予測を行い、予測結果をヒートマップでプロットすれば、2次元のPDPを作成することもできます。
「sklearn」というライブラリを用いて実装可能です。

３．SHapley Additive exPlanations(SHAP)
→各特徴量が予測にどれほど貢献しているかを、Shaplay値を用いて評価する手法です。
ただし、特徴量n個に対してShaplay値を求めようとすると計算量がn!になるため、近似的に算出したSHAP値を用います。
Shaplay値については以下サイトの説明がわかりやすいと思います。
https://qiita.com/KotaYoneda/items/01aa1beeb6bb654219c9
「shap」というライブラリを用いて実装できます。

■所感
予測に影響する特徴量を可視化する手法を3つ学ぶことができました。
とくにPIを計算して各特徴量の重要度を計る手法はシンプルでわかりやすく、コンペにすぐ活かせそうだと感じました。
SHAPはまだまだ奥深そうです…。使いこなせるように研鑽を積みたいと思います。

最後まで読んでいただき、ありがとうございました。
次回もどうぞよろしくお願いいたします。

こんにちは。アイティーシーの藤原です。
前回の更新からかなり日が空いてしまいましたが、今回はKaggleの「Learn」というコンテンツについてご紹介です。

【「Learn」について】
「Learn」とは、Kaggle内にある機械学習やそれに関連した分野を学習できるコンテンツになります。
機械学習やAIの初学者やコンペティションの参加はハードルが高いと感じている方を対象とされています。

ポイントは、ただの読み物コンテンツではなく、手を動かして学習できる点にあります。
それぞれのLessonは、「Tutorial」と「Exercise」の２つで構成されています。
「Tutorial」ではその章で取り扱う内容の説明やコード例が記載されています。
「Exercise」では「Tutorial」で説明された内容についての演習が用意されており、自身でコードを記述・実行することができます。
コースによっては学習した内容を活用できるコンペティションが用意されている場合もあります。

ボリュームも十分に用意されており、Pythonのプログラミング言語の学習からディープラーニングの学習まで幅広く取り扱われています。
今回はその中でも「Intermediate Machinne Learning」についてご紹介いたします。

【Intermediate Machine Learning】
こちらは機械学習のモデル精度を高める上で必要な学習データの前準備や検証時に必要な知識・技術について学習できるコースです。
具体的には欠損値や交差検証、データリーケージについて学ぶことができます。

章構成は以下の通りです。
１Introduction
２Missing Values
３Categoical Variables
４Pipelines
５Cross-Validation
６XGBoost
７Data Leakage

【所感】
モデル精度を高めるためには避けては通れない欠損値やカテゴリ変数について学ぶことができたのは大変良かったです。
データリーケージについては、感覚的に理解できるようになったものの中々に難しい内容でした。
このあたりは経験を積み上げて理解を深める必要性を感じています。

今回このコースを完了し、機械学習の基礎はできるようになっているはずなので、次回の記事では実際にKaggleのコンペ参加した報告ができればと思います。
最後までご精読ありがとうございました。