ネットワークエンジニアのアレ

技術情報メインの備忘系ブログです

www.flickr.com

Elasticsearch

Elasticsearch Machine Learningでファイアーウォールログから異常を検知する

「Elasticsearch Machine Learning(以下、ML)」を使って、ファイアーウォールのログから異常を検知をしてみました。 MLの概要は以前書いたこちらの記事を御覧ください。 tech.naitwo.me 今回は細かな設定手順の話は書いていません。 ”MLでどんな感じで異常…

ElasticsearchのデフォルトMapping Typeを定義する

ElasticsearchはスキーマレスなDBなので、各フィールドの型を明示的に指定する必要がありません。 とはいえ、確実に型を指定したい場合も多く、その場合はindex templateを使って指定します。 今回の記事は、少し古いバージョンのElasticsearch 2.4系をもと…

Fluentd+Elasticsearchでindex作成タイミングをJST0時にする

Fluentd →(ログ等)→ Elasticsearchの構成で、Fluentd側の設定を特に意識しないと、デフォルトでJST9時(UTC0時)に新しいindexが作成されます。 これだと、管理上不都合が起きることがあります。 イメージ ※以下のイメージは、アクセスログ等、時系列ログ…

ElasticsearchのListenPortを複数指定する

ElasticsearchはデフォルトでローカルIPアドレス(127.0.0.1)で待受をしています。 外部からElasticsearchにデータを格納するなどで、複数のIPアドレスで待受をさせたい場合があります。 その場合は、以下の設定ファイルを修正します。 /etc/elasticsearch/…

Elasticsearch社のMachine Learningワークショップに行ってきました

先週、Elasticsearch株式会社が主催する”Machine Learningワークショップ”に行ってきました。 5月の初旬に機械学習で異常検知を行う「Prelert」を、Elastic Stackに統合したので、「Prelert」の使い方が中心のワークショップでした。 ※ワークショップという…