【データ分析初心者でもMELSOFT MaiLabを使ったらデータを分析できるのか】という検証のため、データ分析の教科書を使用しながら、弊社の技術者(同僚)にハンズオンセミナーを行なってみました。
検証の被験者になっていただいて感謝です…
よろしくお願いします!
先に結論から述べますと、
初心者でも簡単にソフトの使用&データ分析ができました。
受講者の声
UIが直感的で使いやすい
今回MELSOFT MaiLabの「データ分析の教科書」を学習してみて、UIがとても直感的で使いやすいと感じました。フロー形式で操作が………
続きは記事の最後に掲載
以下、セミナーの様子の記録になります。
本プログラムの構成
今回のセミナーの構成は、データ分析の教科書+準備(STEP1)を加えた構成になっています。
セミナー時間:1時間30分程度
ハンズオンセミナーの準備を行います。
MELSOFT MaiLabにデータを登録します。
データ可視化も触れます。
登録したデータを、様々な方法で確認します。
テストもしてみます。
リアルタイムに診断する機構を構築します。
STEP4で作成したタスクを実行してみます。
STEP1 環境・データの準備、ソフト起動
環境の準備
体験版ライセンスでもOKです。
教材の準備
ハンズオンセミナーの範囲は、chapter2が中心です。
データの準備
- サンプルデータ
- データ分析の教科書用サンプルデータ
- 異常検知サンプルデータ
MELSOFT MaiLab の起動
- ライセンスの認証を行う
- LicenseManagerで付与されたライセンスファイルの登録を行う。
(体験版の場合はソフトウェアについてくるテンポラリライセンスを登録する)
- LicenseManagerで付与されたライセンスファイルの登録を行う。
- MELSOFT MaiLab を起動する。
- アイコンをダブルクリックして起動すると、MELSOFTMaiLab設定管理ツールが立ち上がります。
- 自動入力されたURLを確認し、問題ないのであれば、人アイコン下のスタートボタンをクリックすると、サーバが起動します。
- URL下左のアイコンでブラウザを開くと、MaiLabのログイン画面になります。
- 初めてログインする場合はユーザ情報等の登録を行なってください。以前にアクセスしたことがある場合はログインしてください。
準備できました。
STEP2 データセットの登録
教科書p7~9の内容になります。
プロジェクト、データセット作成
MELSOFT MaiLabを開きます。プロジェクトの登録をします。
プロジェクト名は「demo_mitsubishi_赤ワインの品質」とします。
データセット画面を開き、データを登録します。サンプルデータの「winequality_学習用.csv」をドラッグアンドドロップか、アップロードボタンからアップロードを行います。
データの可視化
少し飛びますが、覚えておいて損はない機能を紹介します。
教科書p82~85の内容です。
登録したデータセット名を右クリック、もしくはデータセットにチェックを入れてメニューボタンを押し「プレビュー」を選択します。
プレビュー画面は以下のようになっています。
左画面の「変数名」の横にあるチェックボックスにチェックを付ける(クリックする)ことで、各プレビューに表示するデータを増減できます。
左画面のデータの並び順に表示されるのではなく、選択した(クリックした)順に項目が追加されるため、注意してください。
左上の「プレビュー選択:データ概要」の部分をクリックすると、MELSOFT MaiLabで用意されている可視化の種類が選択可能になります。
例として、円グラフを使ってみます。
内容としては、class_1>class_0>class_2の順の割合でデータがありますね。
結構偏りがありますね。
データによって適しているグラフが異なるのですね。
データ分析の教科書p84に、簡単にどんな可視化が適しているかが確認できますよ。
選択のチェック、ひとつづつ解除するのが大変…
STEP3 AI作成
教科書p10~12の内容になります。
AIの作成
AIは教科書に合わせて、「自動」かつ「高速」の設定で作成しました。
※以下画面は作成直後でなく、AIのプレビュー画面になります。
スコア78って良い方なんでしょうか?
うーむ…
一旦は数字の下に書いてあるコメントに従っても良いと思います。
今回の場合は「このAIでタスクを作成してみてもいいかもしれません」ですね。
スコア78は「78%の精度」と読み替えることもできます。
「10個AIに通した際に2個程度は誤判定する可能性がある」ということを表していますが、これで良いかどうかは…使う人の感覚次第かと。
表示切替の部分を「概要」から「詳細」に切り替えると、もう少し専門的な結果が確認できます。
左斜め(/の部分)の青が濃い程、他の部分が灰色な程、AIがデータを上手く判定できていると思います。
左のF1スコア(評価スコア)が、先ほど大きく出てた数字になります。
0.7856….の第三位以下を切り捨てなんですね。
学習スコアと評価スコアの違いは?
これは機械学習的な手法の話になるんですが…
恐らくMELSOFT MaiLabの内部でも使用したデータセットをMELSOFT MaiLabの中で学習:評価で分け、
学習スコア=学習用データで学習し、学習用データで評価する。
評価スコア=学習用データで学習し、評価用データで評価する。
ことを行なっているのではないでしょうか。具体的な件数が無いので、分割比率はわからないですが…
基本的には、スコアは評価の方が高くなると精度が良いと言われます。
class_0、class_2をclass_1と誤ることが多いですね。
class_1のデータが半数を占めてるので、少しclass_1に引っ張られている可能性がありますね。
class_1以外のデータを増やして比率を合わせると、もっとスコアが上がる可能性も…?
無きにしも非ずですね。
AIの作成:余談
「高速」以外の「高精度」「(高速と高精度の)中間」でも、AIを作成してみました。
各要素の寄与度が変化していますね。
高精度になるほど、スコアが上がっているような…
恐らく選択される分析手法が増えるのと、試行回数が増加しているためですね。
なるほど。
分析手法によって、得意不得意があるんですかね。
そのあたりをカバーするのがアンサンブル学習かなと思います。それぞれの分析手法の出力で多数決を取るようなイメージになります。
単発の分析手法でいくと…XGBoostという手法が一番精度高いですね。
AIのテスト
タスクを作成しなくても、既に手元にあるデータなら、データセットに登録するとAIに通してみた結果が確認できます。(教科書の範囲外の内容です)
作成したAI名を右クリック、もしくはチェックを入れてメニューボタンを押し「テスト」を選択します。
AIのテストに使用するデータセットを選択します。事前に「winequality_診断用.csv」をデータセットに登録してください。
「OK」を押すと、以下のような画面になります。
折れ線グラフで出るので、少し見づらいですが…
選択したデータセットで診断結果を見ることができます。
また、折れ線の各点をクリックすると、変数の寄与度と判定結果がわかるようになっています。
STEP4 タスクの作成
教科書p13~15の内容になります。
タスクの作成
タスク名を「AIの品質予測」とし、シンプルタスクを作成します。
入力元にダウンロードしたサンプルデータの「評価 > input」のフォルダのパスを設定し、出力先に同じくサンプルデータの「評価 > output」のフォルダのパスを設定してください。
こんな画面が出ましたね。
タスク数?…えーっと…16個ある…
「診断経路16本」って、タスク同時実行数かと思ってましたが、タスク作成数なんですね!
運用上「とりあえず作っておく」ができないんですね…。
流石にAIは「実行数」と書いてあるので、作成数ではないと信じたい。
不要タスクを削除することで、無事タスクが作成できました。
STEP5 タスクの実行
教科書p16~18の内容になります。
タスクの実行
タスクの実行手順は、教科書を参照ください。
「winequality_診断用.csv」はワイン品質の列(class_*)が無いので、正解と突き合わせて実際の精度を確認することができませんが…
そういえば実行前に「リアルタイムモニタ」をクリックして起動しておくのをおススメします。
何故ですか?
AIの実行速度が高速なので、開始してからモニタを立ち上げても、結果が表示されないためです。
inputフォルダに入れたデータは、AI実行時にフォルダから無くなってしまうんですね。残したい場合はどうすればいいですか?
タスク作成時の入力データストリームの設定項目「収集済みファイルを保存する」にチェックを入れると保存されるようになります。保存日数は最大365日保存可能です。
ヒストリカルモニタ
「リアルタイムモニタ」の隣の「ヒストリカルモニタ」って何ですか?
ヒストリカルモニタでは、過去のAI実行結果を確認することができます。
すごいですね!
あれ?クリックしてもエラーが出ますよ?
ヒストリカルモニタを見るには、タスクにヒストリカルモニタを使う旨を設定しなくてはいけません。
登録したタスク名を右クリック、もしくはチェックを入れてメニューボタンを押し「実行設定」を選択します。
「ヒストリカルモニタを有効する」をONにします。
タスクの設定のように、ヒストリカルモニタデータを保存するパスと接頭語を入力します。その後「完了」をクリックすれば設定完了です。
早速タスクを開始させた後停止してみましょう。
モニタデータが選択できるようになりました!
ヒストリカルモニタは、タスクの実行開始時に1つ生成されます。また、タスク停止中に再度タスクを起動させると、また新しいヒストリカルモニタが生成されます。
操作はSTEP3で紹介した「AIのテスト」の操作とほぼ同じです。
ヒストリカルモニタって、該当タスク実行中も確認できますか?
できます!
右上の更新ボタンでリアルタイムの診断結果の表示の更新可能です。
~ ハンズオンセミナー終了 ~
ハンズオンセミナーとしては以上になります。。
お疲れ様です。ありがとうございました!
こちらこそ、ありがとうございました!
受講者の声
UIが直感的で使いやすい
今回MELSOFT MaiLabの「データ分析の教科書」を学習してみて、UIがとても直感的で使いやすいと感じました。フロー形式で操作が進むので、初めて触る私でも迷わずに進められました。特に、データセットの作成やAIの作成がスムーズにできた点が良かったです。
教科書の後半の内容は、ややハードルが高い
今回のセミナーの範囲外であった教科書の後半(Chapter4やChapter5)では、ブロックの使い方や精度向上のための分析手法がたくさん紹介されていて、これらを実際に使いこなすには実戦経験が必要だと感じました。
各分析手法の得意分野や適用ケースについての具体的な例があると、ユーザーが実際の業務に使用する際のイメージが沸き、初段のハードルが下がり手に取りやすくなると思います。これにより、AIに対する知識の向上や学習意欲が高まると感じました。
今後もMELSOFT MaiLabを実際に使用してAIの知識を深めていきたいと思います。実際のデータを使って練習し、各分析手法を試すことで、より実践的なスキルを身につけたいです。