どんな情報を渡せば良いんだろう。。
片っ端から渡して色々と試せばいいんだろうか。。
こんにちは、古賀です！
本記事は、
はてな
「Python機械学習でホームラン数を予測する」のデータ分析編
です！
機械学習をするために「データ」を取ってきた後は、
そのデータを分析して、機械に渡すための材料を選ぶ必要があります。
材料選びを間違えると、正しく「ホームラン数」を予測することができません。
正しく「ホームラン数」を予測できるように「データ分析」の基本を学びましょう！
前回の続きになりますので、
前回の記事を読まれていない方はこちらをご覧ください！
-
-
Python機械学習「ホームラン数予測②」データ収集「WEBスクレイピング」編！
PythonのプログラミングでWEBサイトの情報を取ってきたいけど、 どうやってやればいいんだろう。。 CSVデータに出力したいんだけど。。 こんにちは、古賀です！ &nb ...
続きを見る
また、実行環境は「JupyterLab」を使っていきますので、
「JupyterLab」の記事を読まれていない方は、こちらもご確認ください！
-
-
JupyterLabとは？Python実行環境「JupyterLab」の概要と基本的な使い方！
Pythonの実行環境「JupyterLab」が起動できるところまできたけど、 どういう風に使っていけばいいんだろう？？ そもそも「JupyterLab」ってなんだ？？ こ ...
続きを見る
自己紹介が遅れましたが、
わたしは大学卒業後、上場IT企業に就職し、プログラマー、システムエンジニアとして
約１０年間働いておりまして、その後は様々な活動をしております。
プロフィールの詳細はこちらです。
-
-
プロフィール
こんにちは、古賀正雄です。現在３６歳です。 簡単ではありますが、こちらのページで自己紹介とこのブログについてお話します。 高校時代 学生時代は主に野球をしていました。 進学先の高校も野球で選びました。 ...
続きを見る
※YouTubeに同内容を公開しております。
Python機械学習「データ分析」の概要
前回の記事で、WEBサイトから「2020年のプロ野球データ」をCSVファイルに出力しました。
今回はそのデータを使って、「ホームラン数」と関連性が高い項目を調べて、
「説明変数(特徴量)」を作成します。
用語のおさらいですが「説明変数(特徴量)」は、
予測するためのデータ「試合数」や「打席数」、「ヒット数」といった項目です。
この「説明変数(特徴量)」が適切でないと、
予測精度が低くなってしまうので、
ホームランを予測する際に必要のないデータは省いて、
ホームラン数を予測する際に関連性のあるデータだけを渡す必要があります。
「ホームランと関連性の高いデータをどのように調べるか？」
についてですが、「相関係数」を使います。
「相関係数」のおさらいですが、
「-1～1」を取る値のことで、
「-1」に近ければ負の相関があると言って、片方の値が小さければもう片方の数値が大きくなります。
逆に「1」に近ければ正の相関があると言って、片方の値が大きければもう片方の数値も大きくなります。
相関係数が「0」付近であれば、ホームランの数には影響しないデータなので、
「説明変数(特徴量)」からは外すようにします。
野球に詳しい方は、
「どの項目がホームラン数と相関が強いか？」
予想してみてください！
具体的な手順としては、
- プロ野球データを保存したCSVデータを読み込む
- データを巨人と11球団のデータに分ける
- ホームラン数と各項目の相関係数を調べる
- どのデータを説明変数(特徴量)とするか選ぶ
です！
Python機械学習「データ分析」をしてみる！
今回のコード全体です。
今からこのコードを１から説明していきます！
途中、分析用に他のコードも書いていきます！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
# 表形式データを扱うライブラリ import pandas as pd # CSVデータ読み込み df = pd.read_csv('playerData.csv', sep = ',') # 巨人以外の11球団データを抽出 df11 = df[df['チーム'] != '巨人'] # 巨人のデータ df_g = df[df['チーム'] == '巨人'] # 本塁打との相関係数をDataFrameとして変数に保存 df_homerun = pd.DataFrame(df11.corr()['本塁打']) # 相関係数「0.8」以上の項目名を抽出 X_columns = df_homerun[df_homerun['本塁打'] >= 0.8].index.tolist() # 本塁打は目的変数のため除外 X_columns.remove('本塁打') # 説明変数と目的変数をセット X = df11[X_columns] y = df11['本塁打'] |
CSVファイルの読み込み
まずは、前回ファイル出力した「2020年プロ野球データ」を保存しているCSVファイルを読み込みます。
|
1 2 3 4 5 |
# 表形式データを扱うライブラリ import pandas as pd # CSVデータ読み込み df = pd.read_csv('playerData.csv', sep = ',') |
１行目は前回もお話しましたが、表形式データを扱うためのライブラリ「Pandas」を宣言しています。
２行目で前回出力したCSVファイルを読み込んでいます。
列の項目名を変えたり、読み込むデータのデータ型を指定できたりと、
色々とオプションがあるのですが、
今回は単純に「ファイル名」と「区切り文字(CSVなのでカンマ)」を指定して、
CSVファイルを読み込みます。
読み込んだ結果は表形式データ「DataFrame」型で変数に格納しています。
前回もお話した「type」関数を使って確認してみると、
|
1 2 3 4 5 |
# データ型確認 print(type(df)) 結果 <class 'pandas.core.frame.DataFrame'> |
「DataFrame」型だということが確認できます。
読み込んだデータを色々と確認してみましょう。
まず読み込んだ「項目名」と「データ型」を「DataFrame変数.dtypes」で確認できます。
実行結果を確認すると、こんな感じです。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
# 項目名とデータ型 print(df.dtypes) 結果 順位 int64 選手名 object チーム object 打率 float64 試合 int64 打席数 int64 打数 int64 得点 int64 安打 int64 二塁打 int64 三塁打 int64 本塁打 int64 塁打 int64 打点 int64 盗塁 int64 盗塁刺 int64 犠打 int64 犠飛 int64 四球 int64 敬遠 int64 死球 int64 三振 int64 併殺打 int64 出塁率 float64 長打率 float64 dtype: object |
続いて「データ数」と「項目数」を「DataFrame変数.shape」で確認できます。
|
1 2 3 4 5 |
# データ数と項目数確認 print(df.shape) 結果 (328, 25) |
結果を確認すると、「328行のデータがあって、25列の項目がある」ということがわかります。
最後にデータの中身を確認します。
「DataFrame」の変数を直接見てみると、
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
#データの中身を確認 print(df) 結果 順位 選手名 チーム 打率 試合 打席数 打数 得点 安打 二塁打 ... 盗塁刺 犠打 犠飛 \ 0 1 鈴木 大地 楽天 0.297 119 541 474 71 141 27 ... 3 12 3 1 2 大島 洋平 中日 0.316 118 525 462 58 146 21 ... 8 9 3 2 3 浅村 栄斗 楽天 0.282 119 524 429 71 121 25 ... 1 0 2 3 4 西川 遥輝 日本ハム 0.307 114 518 417 82 128 16 ... 7 4 3 4 5 柳田 悠岐 ソフトバンク 0.341 118 511 425 89 145 23 ... 2 0 3 .. ... ... ... ... ... ... ... .. ... ... ... ... .. .. 323 321 山崎 勝己 オリックス 0.000 2 1 1 0 0 0 ... 0 0 0 324 321 吉田 裕太 ロッテ 0.000 1 1 0 0 0 0 ... 0 1 0 325 321 加藤 脩平 巨人 0.000 1 1 1 0 0 0 ... 0 0 0 326 327 白崎 浩之 オリックス 0.000 3 0 0 1 0 0 ... 0 0 0 327 327 細谷 圭 ロッテ 0.000 1 0 0 0 0 0 ... 0 0 0 四球 敬遠 死球 三振 併殺打 出塁率 長打率 0 46 0 6 57 17 0.365 0.384 1 47 3 4 51 5 0.382 0.381 2 89 2 4 108 15 0.408 0.564 3 92 1 2 84 5 0.432 0.396 4 82 8 1 103 2 0.446 0.616 .. .. .. .. ... ... ... ... 323 0 0 0 0 0 0.000 0.000 324 0 0 0 0 0 0.000 0.000 325 0 0 0 1 0 0.000 0.000 326 0 0 0 0 0 0.000 0.000 327 0 0 0 0 0 0.000 0.000 [328 rows x 25 columns] |
前回取ってきたプロ野球選手のデータが読み込めています。
これで今回の第一段階クリアです！
データを巨人と11球団のデータに分ける
読み込んだプロ野球選手データですが、現状だと全12球団のデータがひとまとまりになっています。
改めて確認ですが、今回のゴールは、
「11球団のデータを使って機械学習させて、巨人の選手のホームラン数を当てる！」
ことです。
なので、機械学習を終えるまで、一旦巨人のデータは別に退避させておいて、
「教師データ」となる「11球団のデータ」と分けておく必要があります。
おさらいになりますが「教師データ」は機械学習するためのデータのことです。
以下のように「11球団のデータ」と「巨人のデータ」を別々の変数にセットします。
|
1 2 3 4 |
# 巨人以外の11球団データを抽出 df11 = df[df['チーム'] != '巨人'] # 巨人のデータ df_g = df[df['チーム'] == '巨人'] |
このように書くことで、それぞれ「df11」、「df_g」の変数にデータを分けることができます。
もう少し「DataFrame」の操作を細かく説明しておきます。
先程、CSVファイルから読み込んだデータの中身を確認しましたが、
一部の項目だけ確認したい場合は「df[列名]」とすることで、指定した項目だけ確認することができます。
「チーム」のみ確認したい場合は、このような感じです。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# チーム名のみ表示 print(df['チーム']) 結果 0 楽天 1 中日 2 楽天 3 日本ハム 4 ソフトバンク ... 323 オリックス 324 ロッテ 325 巨人 326 オリックス 327 ロッテ Name: チーム, Length: 328, dtype: object |
ちなみに「１列のみ」、「１行のみ」取り出したデータは、
「DataFrame」型ではなく「Series」型と呼ばれるので覚えておきましょう！
複数列指定したい場合は、「df[[列名,列名,・・・,列名]]」
と列指定を配列型とすることで、複数列のデータを確認できます。
※配列については、前回の記事で説明しています。
「選手名」と「チーム」を指定すると、このような感じです。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
# 選手名、チームを表示 print(df[['選手名','チーム']]) 結果 選手名 チーム 0 鈴木 大地 楽天 1 大島 洋平 中日 2 浅村 栄斗 楽天 3 西川 遥輝 日本ハム 4 柳田 悠岐 ソフトバンク .. ... ... 323 山崎 勝己 オリックス 324 吉田 裕太 ロッテ 325 加藤 脩平 巨人 326 白崎 浩之 オリックス 327 細谷 圭 ロッテ [328 rows x 2 columns] |
これを踏まえて上で、巨人以外のデータを取り出したい場合を考えます。
まず各行データが「巨人以外」か調べたい時は、
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# 巨人以外の行データを調べる print(df['チーム'] != '巨人') 結果 0 True 1 True 2 True 3 True 4 True ... 323 True 324 True 325 False 326 True 327 True Name: チーム, Length: 328, dtype: bool |
とこのようにすることで、「巨人以外」であれば「True」が返ってきます。
そして「df[ ]」の中に、この結果を入れるとファルターの役割を果たしてくれるので、
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
# 巨人以外の11球団データを抽出 print(df[df['チーム'] != '巨人']) 結果 順位 選手名 チーム 打率 試合 打席数 打数 得点 安打 二塁打 ... 盗塁刺 犠打 犠飛 \ 0 1 鈴木 大地 楽天 0.297 119 541 474 71 141 27 ... 3 12 3 1 2 大島 洋平 中日 0.316 118 525 462 58 146 21 ... 8 9 3 2 3 浅村 栄斗 楽天 0.282 119 524 429 71 121 25 ... 1 0 2 3 4 西川 遥輝 日本ハム 0.307 114 518 417 82 128 16 ... 7 4 3 4 5 柳田 悠岐 ソフトバンク 0.341 118 511 425 89 145 23 ... 2 0 3 .. ... ... ... ... ... ... ... .. ... ... ... ... .. .. 322 321 白濱 裕太 広島 0.000 2 1 1 0 0 0 ... 0 0 0 323 321 山崎 勝己 オリックス 0.000 2 1 1 0 0 0 ... 0 0 0 324 321 吉田 裕太 ロッテ 0.000 1 1 0 0 0 0 ... 0 1 0 326 327 白崎 浩之 オリックス 0.000 3 0 0 1 0 0 ... 0 0 0 327 327 細谷 圭 ロッテ 0.000 1 0 0 0 0 0 ... 0 0 0 四球 敬遠 死球 三振 併殺打 出塁率 長打率 0 46 0 6 57 17 0.365 0.384 1 47 3 4 51 5 0.382 0.381 2 89 2 4 108 15 0.408 0.564 3 92 1 2 84 5 0.432 0.396 4 82 8 1 103 2 0.446 0.616 .. .. .. .. ... ... ... ... 322 0 0 0 0 0 0.000 0.000 323 0 0 0 0 0 0.000 0.000 324 0 0 0 0 0 0.000 0.000 326 0 0 0 0 0 0.000 0.000 327 0 0 0 0 0 0.000 0.000 [301 rows x 25 columns] |
「巨人以外」のデータを抽出することができます。
これを別の変数「df11」に格納しています。
「巨人のみ」を取り出したい場合は、条件文を逆にするだけです。
これで、「11球団」のデータ、「巨人」のデータの２つに分けることができました。
ホームラン数との相関係数を調べる
ようやく今回の本題に入ります。
ホームラン数と各項目の相関の強弱を調べていきます。
相関の強弱を調べる方法はいくつかありますが、その中の１つ「散布図」を見ることで確認することができます。
下記のように書くと、「打席数」と「ホームラン数」の散布図を確認できます。
グラフを表示したい場合は「matplotlib」ライブラリを使います。
散布図を表示させるための「scatter」関数の引数に、
11球団データをセットしている変数から「打席数」と「本塁打」のデータを列名を指定して渡しています。
|
1 2 3 4 5 6 7 8 9 10 |
# グラフ可視化ランブラリ from matplotlib import pyplot as plt # JupyterLabでグラフを表示させるための記述 %matplotlib inline # 散布図 plt.scatter(x = df11['打席数'], y = df11['本塁打']) # グラフ表示 plt.show() |
グラフを見ると、こんな感じです。
散布図は数学の授業で習ったと思いますが、綺麗な右肩あがりになっていれば相関が強いと言えます。
逆に右肩下がりになっていると、負の相関が強いと言えて、
各点がバラバラだと相関がないと判断できます。
このグラフを見ると、綺麗な右肩あがりではないですが、多少の相関があると言えそうです。
野球の知識の目線から考えても、打席数が多ければ、当然ホームランの数も増えるので、
相関があることは当然です。
ただ、このように各項目とホームラン数との相関を１つずつ散布図で確認するとなると、
ちょっと大変です。しかも、目視で相関があるかないか判断する必要があります。
そこで、冒頭に説明した「相関係数」を調べて、相関の強弱を数値で表しましょう！
「corr」という関数を使う事で、各項目の相関係数を一気に確認することができるので便利です。
実行してみると、
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 |
# 各項目間の相関係数 print(df11.corr()) 結果 順位 打率 試合 打席数 打数 得点 安打 \ 順位 1.000000 -0.407034 -0.934417 -0.934977 -0.935255 -0.860108 -0.900221 打率 -0.407034 1.000000 0.366004 0.388513 0.389626 0.390378 0.424232 試合 -0.934417 0.366004 1.000000 0.922792 0.921952 0.868782 0.889536 打席数 -0.934977 0.388513 0.922792 1.000000 0.998208 0.944063 0.983963 打数 -0.935255 0.389626 0.921952 0.998208 1.000000 0.936799 0.984953 得点 -0.860108 0.390378 0.868782 0.944063 0.936799 1.000000 0.950077 安打 -0.900221 0.424232 0.889536 0.983963 0.984953 0.950077 1.000000 二塁打 -0.843887 0.395273 0.828466 0.924497 0.923328 0.892092 0.940341 三塁打 -0.495558 0.244762 0.493597 0.536260 0.542186 0.555815 0.552179 本塁打 -0.678139 0.294984 0.661433 0.764071 0.758635 0.769061 0.754315 塁打 -0.882355 0.408799 0.868877 0.971135 0.970267 0.948251 0.980858 打点 -0.818896 0.361392 0.809607 0.910505 0.906890 0.868322 0.903396 盗塁 -0.423355 0.197726 0.451352 0.450689 0.443318 0.549285 0.457709 盗塁刺 -0.537767 0.245504 0.561521 0.576515 0.573605 0.630112 0.574919 犠打 -0.403369 0.086484 0.427915 0.353001 0.344342 0.312046 0.292700 犠飛 -0.649831 0.236060 0.647798 0.708958 0.702771 0.636142 0.678164 四球 -0.811754 0.349452 0.803113 0.900199 0.875558 0.896145 0.880956 敬遠 -0.461168 0.240239 0.469577 0.544601 0.532487 0.561683 0.581294 死球 -0.597036 0.245212 0.587231 0.627717 0.612601 0.610905 0.592740 三振 -0.883647 0.335602 0.865667 0.919998 0.917096 0.859531 0.874721 併殺打 -0.737975 0.284621 0.710598 0.794022 0.797227 0.696335 0.776520 出塁率 -0.497143 0.925239 0.448031 0.457353 0.448859 0.462939 0.473222 長打率 -0.478139 0.843386 0.406216 0.462812 0.462631 0.467340 0.486966 二塁打 三塁打 本塁打 ... 盗塁刺 犠打 犠飛 \ 順位 -0.843887 -0.495558 -0.678139 ... -0.537767 -0.403369 -0.649831 打率 0.395273 0.244762 0.294984 ... 0.245504 0.086484 0.236060 試合 0.828466 0.493597 0.661433 ... 0.561521 0.427915 0.647798 打席数 0.924497 0.536260 0.764071 ... 0.576515 0.353001 0.708958 打数 0.923328 0.542186 0.758635 ... 0.573605 0.344342 0.702771 得点 0.892092 0.555815 0.769061 ... 0.630112 0.312046 0.636142 安打 0.940341 0.552179 0.754315 ... 0.574919 0.292700 0.678164 二塁打 1.000000 0.449028 0.745479 ... 0.473280 0.248414 0.641879 三塁打 0.449028 1.000000 0.274924 ... 0.509776 0.373842 0.276446 本塁打 0.745479 0.274924 1.000000 ... 0.229921 -0.033971 0.575423 塁打 0.943711 0.519432 0.864265 ... 0.504151 0.217994 0.680445 打点 0.884380 0.384544 0.923236 ... 0.354050 0.104097 0.723225 盗塁 0.354910 0.547908 0.138545 ... 0.724176 0.397880 0.236131 盗塁刺 0.473280 0.509776 0.229921 ... 1.000000 0.456809 0.314738 犠打 0.248414 0.373842 -0.033971 ... 0.456809 1.000000 0.187193 犠飛 0.641879 0.276446 0.575423 ... 0.314738 0.187193 1.000000 四球 0.848303 0.410133 0.769491 ... 0.489593 0.205390 0.651867 敬遠 0.561524 0.237957 0.599605 ... 0.291735 -0.033799 0.357820 死球 0.558686 0.261623 0.551520 ... 0.348905 0.195932 0.438145 三振 0.840638 0.499156 0.802282 ... 0.483813 0.290622 0.626104 併殺打 0.757420 0.201916 0.733118 ... 0.298469 0.135071 0.650338 出塁率 0.447319 0.243483 0.361484 ... 0.290539 0.107659 0.288040 長打率 0.485034 0.265860 0.510274 ... 0.190801 0.022464 0.295525 四球 敬遠 死球 三振 併殺打 出塁率 長打率 順位 -0.811754 -0.461168 -0.597036 -0.883647 -0.737975 -0.497143 -0.478139 打率 0.349452 0.240239 0.245212 0.335602 0.284621 0.925239 0.843386 試合 0.803113 0.469577 0.587231 0.865667 0.710598 0.448031 0.406216 打席数 0.900199 0.544601 0.627717 0.919998 0.794022 0.457353 0.462812 打数 0.875558 0.532487 0.612601 0.917096 0.797227 0.448859 0.462631 得点 0.896145 0.561683 0.610905 0.859531 0.696335 0.462939 0.467340 安打 0.880956 0.581294 0.592740 0.874721 0.776520 0.473222 0.486966 二塁打 0.848303 0.561524 0.558686 0.840638 0.757420 0.447319 0.485034 三塁打 0.410133 0.237957 0.261623 0.499156 0.201916 0.243483 0.265860 本塁打 0.769491 0.599605 0.551520 0.802282 0.733118 0.361484 0.510274 塁打 0.894044 0.615646 0.609416 0.902293 0.798908 0.465056 0.522403 打点 0.869742 0.603727 0.601443 0.885161 0.828535 0.426280 0.508422 盗塁 0.415637 0.159772 0.251690 0.401064 0.146354 0.234763 0.147142 盗塁刺 0.489593 0.291735 0.348905 0.483813 0.298469 0.290539 0.190801 犠打 0.205390 -0.033799 0.195932 0.290622 0.135071 0.107659 0.022464 犠飛 0.651867 0.357820 0.438145 0.626104 0.650338 0.288040 0.295525 四球 1.000000 0.604869 0.601912 0.848648 0.702899 0.475188 0.439219 敬遠 0.604869 1.000000 0.483248 0.468371 0.434543 0.295121 0.322468 死球 0.601912 0.483248 1.000000 0.560026 0.504295 0.350018 0.323654 三振 0.848648 0.468371 0.560026 1.000000 0.728055 0.417665 0.458401 併殺打 0.702899 0.434543 0.504295 0.728055 1.000000 0.341181 0.393600 出塁率 0.475188 0.295121 0.350018 0.417665 0.341181 1.000000 0.824454 長打率 0.439219 0.322468 0.323654 0.458401 0.393600 0.824454 1.000000 [23 rows x 23 columns] |
こんな感じです。
「corr」を使うと、全ての項目同士の相関係数が見れます。
今回欲しい情報は「本塁打」と「各項目」の相関係数ですので、上記の実行結果に対して「本塁打」お列を指定しましょう。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
# 本塁打と各項目間の相関係数 print(df11.corr()['本塁打']) 結果 順位 -0.678139 打率 0.294984 試合 0.661433 打席数 0.764071 打数 0.758635 得点 0.769061 安打 0.754315 二塁打 0.745479 三塁打 0.274924 本塁打 1.000000 塁打 0.864265 打点 0.923236 盗塁 0.138545 盗塁刺 0.229921 犠打 -0.033971 犠飛 0.575423 四球 0.769491 敬遠 0.599605 死球 0.551520 三振 0.802282 併殺打 0.733118 出塁率 0.361484 長打率 0.510274 Name: 本塁打, dtype: float64 |
これで「各項目」と「本塁打」の相関係数を確認することができました。
これを見ると、「塁打」や「打点」に正の強い相関があって、
「盗塁」や「犠打」といった項目には相関がなさそうです。
「順位」に負のやや強い相関がありますが、これはWEBサイト上の行番号なので無視してよさそうです。
「本塁打」の項目が「1.0」と表示されていますが、これは本塁打同士の相関なので当たり前ですね。
野球に詳しい方であれば、「三振」や「併殺」が「本塁打」と相関が強いことに違和感を感じると思います。
詳しくない方向けに簡単に説明すると、「三振」や「併殺」は打者にとってはマイナスの数値です。
それが「本塁打」と相関が強いので、以外な結果ですね。
三振や併殺を恐れずにしっかりスイングしている証拠なのかもしれませんが、
このあたりが「データ分析」の面白いところかなと思います。
説明変数(特徴量)を選ぶ
相関係数を調べ終えたところで、相関が強い項目を選んで「説明変数(特徴量)」を作成しましょう。
一般的に相関係数が「0.7」以上だと「相関がかなり強い」と判断されますが、
とりあえず今回は、もう１つ上の「0.8」以上の項目を「説明変数(特徴量)」としましょう。
相関係数が「0.8」以上の項目は先程の結果を見ると、
「塁打」、「打点」、「三振」と「本塁打」自身です。
「説明変数(特徴量)」の作成を直接列名を書き込んで、
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# 説明変数を直接列名を指定 print(df11[['塁打', '打点', '三振']]) 結果 塁打 打点 三振 0 182 55 57 1 176 30 51 2 242 104 108 3 165 38 84 4 262 84 103 .. ... ... ... 322 0 0 0 323 0 0 0 324 0 0 0 326 0 0 0 327 0 0 0 |
としても良いのですが、せっかくなのでもう少しかっこよく書いていきましょう！
|
1 2 3 4 5 6 7 8 9 |
# 本塁打との相関係数をDataFrameとして変数に保存 df_homerun = pd.DataFrame(df11.corr()['本塁打']) # 相関係数「0.8」以上の項目名を抽出 X_columns = df_homerun[df_homerun['本塁打'] >= 0.8].index.tolist() # 本塁打は目的変数のため除外 X_columns.remove('本塁打') # 説明変数と目的変数をセット X = df11[X_columns] y = df11['本塁打'] |
これで今回のゴール「説明変数(特徴量)」の作成が完了です。
１行目で先程確認した「各項目」と「本塁打」との相関係数の結果を「DataFrame」型として、
変数にセットしています。
２行目で相関係数が「0.8」以上の項目名を配列型で抽出して、変数に格納しているのですが、
まず、
|
1 2 3 4 5 6 7 8 9 |
# 相関係数が「0.8」以上のデータ print(df_homerun[df_homerun['本塁打'] >= 0.8]) 結果 本塁打 本塁打 1.000000 塁打 0.864265 打点 0.923236 三振 0.802282 |
で、相関係数が「0.8」以上の行データを取り出しています。
この書き方は先程「11球団」のデータと「巨人」のデータを分けた時と一緒です。
欲しい情報は結果の左側に表示されている項目名です。
この左側に表示されている情報は「インデックス」と呼びます。
この「インデックス」情報を取得するためには「DataFrame変数.index」で取得できて、
さらに配列型とするためには「tolist()」を加えます。
|
1 2 3 4 5 |
# 相関係数0.8以上のインデックス項目名を配列型で取得 print(df_homerun[df_homerun['本塁打'] >= 0.8].index.tolist()) 結果 ['本塁打', '塁打', '打点', '三振'] |
後は「本塁打」は「目的変数」なので、この配列型変数から除外する必要があります。
３行目の「remove('本塁打')」で除外しています。
これで「説明変数(特徴量)」の項目名を取得できたので、
最後「説明変数(特徴量)」の変数「X(複数データなので大文字にする風習があります)」に相関の強いデータを、
「目的変数」の変数「y」に「本塁打」データをセットしています。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
# 説明変数と目的変数をセット X = df11[X_columns] y = df11['本塁打'] print(X) print(y) 結果 塁打 打点 三振 0 182 55 57 1 176 30 51 2 242 104 108 3 165 38 84 4 262 84 103 .. ... ... ... 322 0 0 0 323 0 0 0 324 0 0 0 326 0 0 0 327 0 0 0 [301 rows x 3 columns] 0 4 1 1 2 32 3 5 4 28 .. 322 0 323 0 324 0 326 0 327 0 Name: 本塁打, Length: 301, dtype: int64 |
次回はこの「X」と「y」を使って、機械学習をします！
最後に今回のコード全体をもう一度見てみましょう！
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
# 表形式データを扱うライブラリ import pandas as pd # CSVデータ読み込み df = pd.read_csv('playerData.csv', sep = ',') # 巨人以外の11球団データを抽出 df11 = df[df['チーム'] != '巨人'] # 巨人のデータ df_g = df[df['チーム'] == '巨人'] # 本塁打との相関係数をDataFrameとして変数に保存 df_homerun = pd.DataFrame(df11.corr()['本塁打']) # 相関係数「0.8」以上の項目名を抽出 X_columns = df_homerun[df_homerun['本塁打'] >= 0.8].index.tolist() # 本塁打は目的変数のため除外 X_columns.remove('本塁打') # 説明変数と目的変数をセット X = df11[X_columns] y = df11['本塁打'] |
まとめ：Python機械学習「データ分析」
ここまでの話をまとめます。
まとめ
今回は「ホームラン数」を予測するためのデータ「説明変数(特徴量)」を相関係数を使って作成した！
今回やったことは、
- プロ野球データを保存したCSVデータを読み込む
- データを巨人と11球団のデータに分ける
- ホームラン数と各項目の相関係数を調べる
- 相関係数が「0.8」以上の項目を説明変数(特徴量)とした
機械学習に必要な「説明変数(特徴量)」と「目的変数」のデータを用意することができた！
今回は「相関係数」を調べることで、「説明変数(特徴量)」を作成しましたが、
「データ分析」の方法は、課題によって変わってきます。
散布図のグラフを確認したように、様々なグラフを作成して分析する場合もあれば、
自分で新しい項目を作成する方法もあります。
今回の「説明変数(特徴量)」の作成が正しいかどうかは次回以降でわかります。
（※野球に詳しい方であれば、「何を渡すのが一番良いか？」わかると思いますが。。）
もし結果が悪い場合は「説明変数(特徴量)」の見直しが必要です。
次回は「モデル作成・モデル評価」編です！
今回作成した「説明変数(特徴量)」と「目的変数」を機械に渡して、
「予測モデル」を作成します！
※次の記事へ
-
-
Python機械学習「ホームラン数予測④」モデル作成・モデル評価編！
「機械学習させてAIを作る！」ってなんだか難しそう。。 自分のレベルでもできるのかな。。 こんにちは、古賀です！ 本記事は、 はてな 「Python機械学習で ...
続きを見る
