コンテンツへスキップ

kaggle

社員のKaggle実施レポートを公開しています

Kaggle活動記録-10

こんにちは。アイティーシーの東村です。
今回の記事では、学習コンテンツ「Learn」のひとつ、「Machine Learning Explainability」についてご紹介いたします。

機械学習って、基本的にはデータを投入して学習させて予測結果が出て…という流れだと思いますが、ただ学習して結果を出力しただけでは「どの特徴量が予測に大きく影響したのか?」がわかりません。
ブラックボックス状態になってしまうというわけですね。
ですが、どの特徴量がどれくらい予測に影響しているかを可視化することで、ブラックボックスモデルを解釈することができます。
今回は「Machine Learning Explainability」を使って、この手法を学んでいきたいと思います。

■今回学んだ手法
1.Permutation Importance(PI)
→特定の特徴量の重要度を評価する手法です。
数ある特徴量のうち1つをランダムにシャッフルして、学習済みモデルで予測を行い、シャッフル前のスコア(精度や損失)とシャッフル後のスコアの差分を計算します。
これが大きいほどシャッフルした特徴量の重要度が高いことが推測できます。
「eli5」というライブラリを用いて簡単に実装できます。

2.Partial Dependence Plot(PDP)
→特定の特徴量の影響度を評価する手法です。
数ある特徴量のうち1つをピックアップして値を変えながら予測を行います。(その他の特徴量は固定します)
横軸にピックアップした特徴量、縦軸に予測結果をプロットすると、ピックアップした1つの特徴量だけを変えていったときに予測結果がどのように変化するかを可視化できます。
プロット結果が振動していれば、その特徴量は予測結果に影響していることが推測できます。
2つの特徴量をピックアップして同様に予測を行い、予測結果をヒートマップでプロットすれば、2次元のPDPを作成することもできます。
「sklearn」というライブラリを用いて実装可能です。

3.SHapley Additive exPlanations(SHAP)
→各特徴量が予測にどれほど貢献しているかを、Shaplay値を用いて評価する手法です。
ただし、特徴量n個に対してShaplay値を求めようとすると計算量がn!になるため、近似的に算出したSHAP値を用います。
Shaplay値については以下サイトの説明がわかりやすいと思います。
https://qiita.com/KotaYoneda/items/01aa1beeb6bb654219c9
「shap」というライブラリを用いて実装できます。

■所感
予測に影響する特徴量を可視化する手法を3つ学ぶことができました。
とくにPIを計算して各特徴量の重要度を計る手法はシンプルでわかりやすく、コンペにすぐ活かせそうだと感じました。
SHAPはまだまだ奥深そうです…。使いこなせるように研鑽を積みたいと思います。

最後まで読んでいただき、ありがとうございました。
次回もどうぞよろしくお願いいたします。

Kaggle活動記録-9

こんにちは。アイティーシーの藤原です。
前回の更新からかなり日が空いてしまいましたが、今回はKaggleの「Learn」というコンテンツについてご紹介です。

【「Learn」について】
「Learn」とは、Kaggle内にある機械学習やそれに関連した分野を学習できるコンテンツになります。
機械学習やAIの初学者やコンペティションの参加はハードルが高いと感じている方を対象とされています。

ポイントは、ただの読み物コンテンツではなく、手を動かして学習できる点にあります。
それぞれのLessonは、「Tutorial」と「Exercise」の2つで構成されています。
「Tutorial」ではその章で取り扱う内容の説明やコード例が記載されています。
「Exercise」では「Tutorial」で説明された内容についての演習が用意されており、自身でコードを記述・実行することができます。
コースによっては学習した内容を活用できるコンペティションが用意されている場合もあります。

ボリュームも十分に用意されており、Pythonのプログラミング言語の学習からディープラーニングの学習まで幅広く取り扱われています。
今回はその中でも「Intermediate Machinne Learning」についてご紹介いたします。

【Intermediate Machine Learning】
こちらは機械学習のモデル精度を高める上で必要な学習データの前準備や検証時に必要な知識・技術について学習できるコースです。
具体的には欠損値や交差検証、データリーケージについて学ぶことができます。

章構成は以下の通りです。
1Introduction
2Missing Values
3Categoical Variables
4Pipelines
5Cross-Validation
6XGBoost
7Data Leakage

【所感】
モデル精度を高めるためには避けては通れない欠損値やカテゴリ変数について学ぶことができたのは大変良かったです。
データリーケージについては、感覚的に理解できるようになったものの中々に難しい内容でした。
このあたりは経験を積み上げて理解を深める必要性を感じています。

今回このコースを完了し、機械学習の基礎はできるようになっているはずなので、次回の記事では実際にKaggleのコンペ参加した報告ができればと思います。
最後までご精読ありがとうございました。

Kaggle活動記録-8

こんにちは。アイティーシーの藤原です。

今回も、機械学習初心者の私が取り組んだ、Kaggleコンペティションについてご紹介いたします。
前回、私が挑戦しましたコンペティションに関する記事は以下から閲覧できます。

【今回取り組んだコンペティション】
Housing Prices Competition for Kaggle Learn Users

「家の敷地面積」や「築年数」などの81の特徴量データから家の販売価格を予測するコンペティションとなります。
これらの特徴量の中には欠損値や前処理が必要なものも含まれております。
こちらのコンペティションの特徴は、Kaggleで用意されている学習コース「Intro to Machine Learning」の最終課題として位置づけされていることです。
kaggleではコンペティションの他にも、「Learn」という学習コースが数多く用意されています。
その中に上述しました「Intro to Machine Learning」という、機械学習の基礎や決定木などの手法について学べる入門コースがあります。
全7ステップほどあるコースなのですが、その最終課題として用意されているのが今回のコンペティションです。

【作成したモデル】
アルゴリズムは決定木の手法をベースとしたランダムフォレストを採用いたしました。
(今回の取り組みの主旨として、学習コースで学んだことを使いたかったため)
詳細な説明についてはこちらを参照ください。
https://www.kaggle.com/code/dansbecker/random-forests

まずは、学習コースで学んだとおりにモデルを作成。MAE(平均絶対誤差)は 21857でした。
MAEとは、モデルが出力した予測値と正解値との誤差を計算した予測精度の評価に有効な指標です。
こちらについても詳細はこちらをご参照ください。
https://www.kaggle.com/code/dansbecker/model-validation

その後、もう少し精度を上げようと「YearRemodAdd(改築年月日)」や「OverallCond(全体の品質)」といった欠損値のないかつ精度向上に有効な数値型の特徴量を選定、結果10項目追加し、再度検証。
MAE(平均絶対誤差)は17342でした。
有効な特徴量を用いることで、およそ4500点ほど誤差を少なくすることに成功いたしました。

作成したコードはこちらから
https://www.kaggle.com/code/shutafujiwara/exercise-machine-learning-competitions

【所感】
学習コースの課題として設定されているだけあって、誘導などが分かりやすく非常に取り組みやすかったです。
データ分析経験が全くない方でも、迷うことなく取り組める課題だと思います。
玄人向けのみならず、こういったデータ分析の取っ掛かりのようなテーマも用意されていて大変ありがたいです。
また更なるスコア向上のためには、欠損値のある特徴量の利用や別のアルゴリズムの活用が必要不可欠かと思われますので、
学習と経験を積み重ね、再度取り組んでみたいと思います。

最後までご精読ありがとうございました。

————————————————
自己紹介
所属:株式会社アイティーシー Data Analytics事業部所属
経歴:2022年度入社。
入社後は、ローコード開発ツールを用いたシステム開発やニアショア開発を担当。
kaggleアカウントページはこちら:https://www.kaggle.com/shutafujiwara

Kaggle活動記録-7

はじめまして。アイティーシー ソリューション事業部に所属しております、東村と申します。
今回の記事では、私が取り組んだコンペについてお話しできればと思います。

 

今回取り組んだコンペ

Digit Recognizer

 

コンペ内容

手書きの0~9の数字をモデルに当てさせて正答率を競うコンペです。データを見てみるとこんな感じです。

作成したモデル

データの一つひとつは784の数字の羅列ですが、28×28の画像データとして扱うことができます。今回は画像データとして扱い、畳み込み層を用いたモデルを作成します。

作ったモデルは、 畳み込み→畳み込み→全結合 というシンプルなものです。畳み込み層は一つだと心もとないかな…と思ったので二つ入れました。バッチサイズは適当に32とし、最適化関数はSGDを使ってみます。

作成したコードはこちら

 

結果

スコアは0.97946でした。つまり、未知のデータのうち97.9%はうまく当てられたみたいです。結構良いのではないでしょうか。

 

スコア向上

97.9%は低くないとは言え、コンペ上位の方々は軒並み98~99%超えです。なので、ひとまずは98%超えを目指したいと思います。

すぐに思いつく中で実装が簡単なのが、最適化関数をSGDからAdamにすることです。個人的に分かりやすい最適化関数がSGDなのでこれを使いましたが、計算に時間がかかる上に今は改良された最適化関数がたくさん出ています。いたるところで用いられていると噂のAdam、計算も早く安定して精度が出るらしいのでこちらを使ってみます。

(参考:https://qiita.com/omiita/items/1735c1d048fe5f611f80)

 

結果

スコアは0.98875に伸びました。ただし学習曲線をみてみると、少し訓練データに適応しすぎな気もします。

 

最後に

他にも少し学習回数や学習率をいじってみましたが、あまり精度は伸びませんでした。他に思いつくことは、

・回転・拡大縮小だけでデータ拡張

・モデルの見直し

などでしょうか。今の自己ベストが98.8%なので、次はこれらを試してスコア99%超えを目指したいと思います。

最後まで読んでいただき、ありがとうございました。次回の記事もどうぞよろしくお願いいたします。

 

 

Kaggle活動記録-6

はじめまして。アイティーシーの平垣と申します。
本記事は、Python・機械学習・kaggle全くの初心者である私が取り組んだKaggleコンペティション(おなじみのTitanicですが…)のご紹介です。

今回取り組んだコンペティション
Titanic – Machine Learning from Disaster | Kaggle

コンペティションの内容・目的
タイタニック号の遭難事故での乗客データから、誰が生存し生き残るか?を予測するコンペティションです。
乗客データは、学習用データと訓練用データに分かれており、名前・年齢・性別・社会的地位などの情報が与えられています。
生存には、運の要素のほかにもこれらの要素が関係あったと考えられていて、この問いに答える、より正確な予測モデルを作成することが目的です。

学習・分析データについて
このコンペティションの学習・分析データが以下の3ファイルです。

  • train.csv(学習用の乗客データ)
  • test.csv(分析用の乗客データ)
  • sample_submission.csv(提出ファイルのサンプル)

各ファイル内の項目については、以下をご参照ください。

Titanic – Machine Learning from Disaster | Kaggle

実践
上述の通り私は、Pythonや機械学習については未経験ですが、Titanicのコンペでは有志の方が作成しているチュートリアルガイド(Titanic Tutorial | Kaggle)があるため、その通りに進めることでひとまず予測モデルの作成をすることができました。

<チュートリアルの内容>
チュートリアルでは、特徴量として学習用データの客室のグレード、性別、同乗している配偶者、兄弟、親、子どもの数を使用し、ランダムフォレスト・モデルを構築し、訓練用データの乗客の生存予測を行っていました。
このチュートリアルを完了して、提出した時点のスコアは0.77511でした。

<Fare(旅客運賃)の追加>
このスコアを向上するために、知識がないなりに何かできないかと考えた結果、特徴量として学習用データのFare(旅客運賃)も追加して、再構築してみることにします。

Fare(旅客運賃)を追加した理由としましては

  1. 高い運賃を払える人ほど、生存率が高いのではないかと仮定
  2. 生存率との相関係数を確認したら0.25であり、弱い正の相関があることが判明

以上2点から追加してみることにしました。

ただ、直接チュートリアルのモデルに特徴量として学習用データのFareを追加し、再構築しようしても、訓練用データのFareに欠損値が1つあり、うまくいきませんでした。

解決策について調べてみると、前処理というものが必要らしく、欠損値を埋めるか削除しないといけないそうです。
今回の場合は、欠損値が訓練用データの値なので削除はよくないだろうと考え、欠損値を埋める方向で行きます。
どの値で欠損値を埋めるか決定するために、まず訓練用データのFareの分布図、平均値、中央値を求めました。その結果、平均値と中央値の値に差があり、分布図も歪んでいたので欠損値として、中央値を用いることに決定しました。
そして、モデルを構築して再び実行。スコアは0.77751
気持ちばかりスコアが上昇しました、、、

<Age(年齢)の追加>
さすがにもう少し、スコアが向上してほしいので今度は、Age(年齢)も特徴量として追加してみることにしました。
Ageは欠損値が多くあり使いにくいなと思っていたのですが、生存率には関係があるだろうと仮定し、中央値で欠損値を補完しました。
モデルを構築し、再び実行。スコアは0.78229となりました。
前モデルよりはスコアの上昇が見られたのでやはり年齢は重要な要素であるのかなと予測できます。

所感
その後も、特徴量全部追加(スコアは減少)やAge・Fareの欠損値を平均値で追加(スコアは上昇)などを行いましたが、いずれも微々たる変化でした。
よりスコアを上昇するには、きちんと学習して、前処理やデータの加工方法、新たな分析モデルについての知識を吸収する必要性を感じました。

今回、初めてTitanicのコンペティションに参加しましたが、噂通り機械学習やkaggle初心者の方にとてもおすすめです。
チュートリアルでモデルの作成をするので、知識がなくてもその土台の上で自分なりにモデルの再構築が行えます。
また、スコアという目に見える形で結果がわかるのでモチベーションを保ちやすいのもいい点ですね。

以上で本コンペティションの取り組みは終了とします。
今回作成したコードはこちら(My first Titanic | Kaggle

最後まで拝読頂き、ありがとうございました。
今後も精進してまいりますのでまたの更新をお待ちください。

Kaggle活動記録-5

KaggleのCompetitionsで手書き数字認識に挑戦!
MNISTデータセットを使って99%の予測精度を達成

こんにちは、アイティーシーの平野です。
普段は基幹システムの保守運用を行っていますが、
今回はKaggleのCompetitionsに挑戦してみました。

【今回取り組んだコンペティション】
画像処理に興味があったので、GettingStartedの中から「digit recognizer」と呼ばれる
画像処理の課題にチャレンジしてみました。

【コンペの概要】
手書き数字が書かれた0から9までの数字を学習し、
与えられた画像から数字を判断できるモデルを作成するというものです。

この課題では、有名なデータセットであるMNISTが使用されています。
MNISTは、機械学習や画像処理の世界におけるHello Worldとも言われるほどポピュラーなデータセットです。

【取り組み結果】
CNN(畳み込みニューラルネットワーク)を利用してモデルをトレーニングしました。
詳しいコードや実際の結果は、以下のURLからご覧いただけます。
→ URL: https://www.kaggle.com/code/katsuya1112/digit-recognizer/edit

なんと、予測精度は99.096%に達しました!
現時点でのリーダーボードは402位でした。リーダーボードを見ると、驚くべきことに100%の予測精度を達成している参加者もいるようですね。すごいです!

100%の精度を出すにはどうすればよいのかと考えてみましたが、CNNのアーキテクチャの変更、学習回数を増やすなどしか思いつきませんでした。
どんな方法を使ったらそこまでの精度が出るのか気になります。

Kaggleには、多くの参加者が公開しているコードや情報があります。
これらを参考にしながら取り組むことで、意外と簡単に動かすことができました。
わからないコードは、今はやりのChatGPTに教えてもらったので、理解がスムーズに進みました。

画像処理に興味がある方はぜひこのコンペに参加してみてください!

————————————————–
自己紹介
経歴:2019年度入社。入社後から現在まで、電力業界向けSAPパッケージ(ERP,BW)の運用保守を担当。
kaggleアカウントページはこちら:https://www.kaggle.com/katsuya1112

 

Kaggle活動記録-4

はじめまして。
アイティーシーの門田と申します。
今回は私が取り組んだKaggleコンペのご紹介です。

今回のコンペ
Spaceship Titanic

コンペの内容
久しぶりにKaggleを触るため、リハビリがてらに、初心者向けと名高いタイタニックに参加しました。
「またタイタニックやんけ」と思われるかもしれませんが、なんと今回のタイタニック号は宇宙船です。
そして、時空の歪みと衝突して異次元へ転送されてしまった乗客の被害状況を分析するのが、今回の課題です。

学習・分析データについて
このコンペのInputとして提供されるのが、以下の3ファイルです。
・train.csv(学習用の乗客データ)
・test.csv(分析用の乗客データ)
・sample_submission.csv(提出ファイルのサンプル)

各ファイル内の項目については、以下をご参照ください。
配布データ

train.csvを使って学習して、test.csvに対して予測して、sample_submission.csvと同じ形式のファイルを作って提出するのが、このコンペの目的です。
こちらも乗客データが表形式で分かりやすいのが、触りやすくていいですね。

考察
実際に記載したコードとスコアはこちら
スコアの向上案の1つとして、値が抜けていた項目の補完処理を考えています。
現在のコードではシンプルにバックフィルで補完していますが、乗客のデッキごとに特徴量の傾向が分かれていたため、これは活用出来そうですね。
この仮説検証で、またこのNotebookを随時更新していきます。

今回の活動記録は以上となります。
最後までご拝読頂きましてありがとうございました。
またの更新をお待ちください。

kaggle活動記録-2

こんにちは。アイティーシーの藤原です。
今回は新卒社会人1年目、python・機械学習初心者の私が取り組んだ、Kaggleコンペティションについてご紹介いたします。

今回取り組んだコンペティション
Titanic – Machine Learning from Disaster

コンペティションの内容
タイタニック号の遭難事故での乗客データから、誰が生存者生き残るか?を予測するコンペティションです。
乗客データは訓練用データとテストデータに分かれており、それぞれの乗客者データには名前、年齢、性別、社会的地位の情報が与えられました。

所感
Titanic Tutorialはkaggle初学者が一番初めに取り組むべきコンペティションだと思います。理由は以下の通りです。
・kaggleプラットフォームに慣れることを目的として作成されたコンペティションであること。
・有志の方がチュートリアルガイドを作成していること。

kaggleでコンペティションに参加するためには、用意されたデータを取得して、学習モデルを構築し、それらから得た分析結果を提出する必要があります。
チュートリアルガイドでは、これらのステップについて順を追って解説しているので、kaggleの使い方について簡単に理解することができました。
こちらのチュートリアルガイドは、このコンペティション用に作成されたものなので、書かれた通りに作業を進めるだけでコンペティションを完了させることができました。
私が今回取り組んだコードはこちらから参照することができます。ご興味ある方はぜひご覧ください。

私はPythonや機械学習については研修を受けた程度で、高度なスキルや現場での経験を持っているわけではありません。
こちらのチュートリアルガイドにはコーディングも記載されていますので、機械学習そのものに不安を持たれている方でも問題ありません。それでも不安に思われる方は、kaggle内にPythonや機械学習についての学習コースも用意されていますので、そちらから取り組まれてもいいかもしれません。


(↑kaggleの学習コースページ。初歩から学習することができます。)

kaggleに登録はしたものの、どこから手をつけたらいいのかわからないという方にはぜひ、こちらのコンペティションに参加することをお勧めいたします。

————————————————–
自己紹介
所属:株式会社アイティーシー ソリューション事業部所属
経歴:2022年度入社。新卒一年目。
現在、一人前のSE・DSになるため日々の業務に勤しんでおります。
kaggleアカウントページはこちら:https://www.kaggle.com/shutafujiwara