Fluentd (フルエントディー) 最新情報
バージョンアップ情報Fluentdのバージョンアップ情報 |
年間保守サービスFluentdの年間保守サービス |
導入支援サービスFluentdの導入支援サービス |
活用例・導入事例Fluentdの活用例・導入事例 |
|||||||||||
Fluentd(フルエントディー)とは
Fluentd(フルエントディー)とは、あらゆるデータソースからログを収集・転送・集約する為の統合ログ収集・転送ソフトウェアです。ビッグデータ時代において個々のシステム毎に管理されていたログを収集し、NoSQLデータベース(MongoDBなど)や分散ストレージ(Hadoopなど)などに展開してログを集約する事ができます。
つまり、複数システムの増え続けるログデータを収集・転送・集約・保存を行う事ができます。
FluentdはC言語とRubyで開発をされています。
Fluentdの配布パッケージであるtd-agentはv1とv2は互換性はありません。
v2はより多くのプラットフォーム対応、多くのプラグインが提供されています。
Fluentd(フルエントディー)の特長
1) プラガブル(Pluggable)
Fluentdで一旦、ログ収集をしておくと、その後の運用はプラグイン側の変更変更や追加拡張を行う事ができます。この際、アプリケーション側の修正は不要です。
例として、ログ出力先を社内サーバからAmazon S3に変更したいという場合でもプラグインを1つ設定するだけでOKです。面倒な手間は一切必要ありません。
Fluentdには約200種類のプラグインが提供されています。
2) ログの構造化(JSONで統合)
Fluentdは非構造化されたテキストではなく、構造化されたJSON形式でデータを取り扱います。
これは異なるデータソースに対しても統一的にデータ管理運用できる事を意味します。
Fluentdを用いて収集されたログ・データは構造化されたJSON形式となっている為に、大量のログデータでも分析・調査・解析しやすいものとなります。
3) レイテンシやパフォーマンス懸念を解消
Fluentdは各システムから出力されるデータと格納先の間でバッファリング処理を行います。
大量データを出力して格納する場合、ネットワークのレイテンシや格納先(例:データベース)のパフォーマンスが低いとデータの滞留と肥大化やシステム自体のパフォーマンス低下が懸念されます。
Fluentdはバッファリング機能により、この懸念事項を解消します。
4) 高信頼性
Fluentdはデータ損失を防ぐ為にメモリやファイルベースのバッファリング機能を実装しています。
td-agentをActive-Standibyのクラスタ構成で可用性を高める事もできます。(※クラスタソフトウェアが必要)
5) 少ないリソースで動作
FluentdはC言語+Rubyで開発されている為に少ないリソースでも動作します。
それに高性能である事もFluentdの特長です。
6) 簡単なインストール
Fluentdは各ディストリビューション毎にrpmなどのパッケージが提供されています。
パッケージ内には動作に必要なRubyや主要プラグインが含まれていりますので簡単にインストールする事ができ、すぐに利用する事が可能です。
Fluentdのライセンス
FluentdはオープンソースライセンスであるApache License, Version 2.0で提供されています。
Fluentdのダウンロード
Fluentdの安定版、最新版は以下よりダウンロードできます。