Elasticsearch社のMachine Learningワークショップに行ってきました
先週、Elasticsearch株式会社が主催する”Machine Learningワークショップ”に行ってきました。
５月の初旬に機械学習で異常検知を行う「Prelert」を、Elastic Stackに統合したので、「Prelert」の使い方が中心のワークショップでした。
※ワークショップという名目でしたが、ハンズオンなどは無くセミナーな感じでした
また、Elastic Stackへの統合とともに、「Prelert」から「Machine Learning」に名称が変更になりました。
※Prelertは昨年Elasticsearch社が買収した企業（Prelert社）が開発していたプロダクトです
注目技術なこともあってか大盛況
”機械学習”という言葉は、所々で見たり聞いたりするようになりました。
かなり関心が高い分野ということもあってか、会場はほぼ満員。
Elastic Stackもメジャーなので納得な数です。
教師なし学習
「Machine Learning」は、教師なし学習で異常検知が行なえます。
異常検知での教師なし学習とは、与えられたデータが異常か正常かを教えてあげる必要がない学習方式です。
正常値を自動的に学習し、そこから外れたものを異常として検知します。
当日のデモ
当日は、以下の記事の内容についてデモが行われました。
ニューヨーク市でのタクシーの乗降データから、乗車人数や支払金額の異常を検知していました。（通常時より乗車人数が少ない、支払金額が多い・・等）
まとめ
膨大なデータから、異常値を人の目で判断するのは現実的に不可能です。
※見逃してしまう、明確な閾値の定義ができない、そもそもデータ量が多すぎて見れない
「Machine Learning」を使えば、比較的簡単に異常検知を行うことが出来ます。
今まで不可能だったことが技術によって可能になることは、本当に凄いし、素晴らしいことだと思います。
自分もElastic Stackを使った、ファイアウォールログを可視化・解析するシステムを開発・運用しているので、「Machine Learning」を適用できることを模索していきたいです。
「Machine Learning」は３０日間は無料で使用できるので、興味がる方は自分の持っているデータで試してみると面白いかもしれません。
※３０日以降はサブスクリプションを購入する必要があります
当日の資料がアップされていました。
