# ElasticsearchとFluentdを連携してログ集約する方法

## 目次
1. 概要
2. Elasticsearchのセットアップ
   1. Dockerを用いたElasticsearchの起動
   2. Elasticsearchの基本設定
3. Fluentdのセットアップ
   1. Dockerを用いたFluentdの起動
   2. Fluentdの基本設定
4. ElasticsearchとFluentdの連携
   1. Fluentdの設定ファイルの作成
   2. Elasticsearch出力プラグインの設定
5. 動作確認
6. まとめ

## 1. 概要

Elasticsearchは分散型の検索エンジンで、ログデータの保存と検索に非常に適しています。Fluentdは多様なデータプラットフォームにログデータを集約するためのツールで、様々なインプットとアウトプットプラグインを利用できます。本記事では、ElasticsearchとFluentdを連携してログデータを集約する方法について説明します。

## 2. Elasticsearchのセットアップ

### 2-1. Dockerを用いたElasticsearchの起動

最も手軽な方法はDockerを利用してElasticsearchを立ち上げることです。以下のDockerコマンドを実行して、Elasticsearchコンテナを起動します。

![img](/mosaic-code.jpg)

### 2-2. Elasticsearchの基本設定

Elasticsearchを立ち上げた後、ブラウザで `http://localhost:9200` にアクセスし、起動状態を確認します。ステータスが`200`となれば正常に起動しています。

## 3. Fluentdのセットアップ

### 3-1. Dockerを用いたFluentdの起動

FluentdもDockerを利用して起動できます。次のコマンドを実行してFluentdを起動します。

![img](/mosaic-code.jpg)

`/path/to/fluentd/conf` はFluentdの設定ファイルのディレクトリです。

### 3-2. Fluentdの基本設定

Fluentdの設定ファイル（`fluent.conf`）を作成し、簡単な入力・出力を設定します。この設定ファイルの場所は事前にDockerコマンドで指定したディレクトリとなります。

## 4. ElasticsearchとFluentdの連携

### 4-1. Fluentdの設定ファイルの作成

次のコードは、Fluentdの`fluent.conf`のサンプルです。この設定では、標準入力（`in_tail`）からログを受け取り、Elasticsearchに出力します。

![img](/mosaic-code.jpg)

### 4-2. Elasticsearch出力プラグインの設定

FluentdからElasticsearchへの出力には、`elasticsearch`プラグインを使用します。この設定では、`Elasticsearch`のホストとポートを指定することで接続を確立します。

## 5. 動作確認

設定完了後、Fluentdを再起動し、`/var/log/sample.log` に新しいログエントリを追記します。そのデータがElasticsearchに送信されていることを確認できます。

以下のコマンドでElasticsearchにデータが格納されているか確認できます。

![img](/mosaic-code.jpg)

## 6. まとめ

ElasticsearchとFluentdを連携することで、分散されたログの集約とリアルタイムな分析が可能となります。Dockerを利用したセットアップは容易で、本番環境への適用もスムーズです。Fluentdの多様なプラグインを活用することで、さらに様々なデータソースからのログ収集が可能となります。 [cv:issue_marketplace_engineer]

# ElasticsearchとFluentdを連携してログ集約する方法

## 目次
1. 概要
2. Elasticsearchのセットアップ
   1. Dockerを用いたElasticsearchの起動
   2. Elasticsearchの基本設定
3. Fluentdのセットアップ
   1. Dockerを用いたFluentdの起動
   2. Fluentdの基本設定
4. ElasticsearchとFluentdの連携
   1. Fluentdの設定ファイルの作成
   2. Elasticsearch出力プラグインの設定
5. 動作確認
6. まとめ

## 1. 概要

Elasticsearchは分散型の検索エンジンで、ログデータの保存と検索に非常に適しています。Fluentdは多様なデータプラットフォームにログデータを集約するためのツールで、様々なインプットとアウトプットプラグインを利用できます。本記事では、ElasticsearchとFluentdを連携してログデータを集約する方法について説明します。

## 2. Elasticsearchのセットアップ

### 2-1. Dockerを用いたElasticsearchの起動

最も手軽な方法はDockerを利用してElasticsearchを立ち上げることです。以下のDockerコマンドを実行して、Elasticsearchコンテナを起動します。

```bash
docker run -d --name elasticsearch -p 9200:9200 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.9.3
```

### 2-2. Elasticsearchの基本設定

Elasticsearchを立ち上げた後、ブラウザで `http://localhost:9200` にアクセスし、起動状態を確認します。ステータスが`200`となれば正常に起動しています。

## 3. Fluentdのセットアップ

### 3-1. Dockerを用いたFluentdの起動

FluentdもDockerを利用して起動できます。次のコマンドを実行してFluentdを起動します。

```bash
docker run -d --name fluentd -p 24224:24224 -v /path/to/fluentd/conf:/fluentd/etc fluent/fluentd:v1.12-1
```

`/path/to/fluentd/conf` はFluentdの設定ファイルのディレクトリです。

### 3-2. Fluentdの基本設定

Fluentdの設定ファイル（`fluent.conf`）を作成し、簡単な入力・出力を設定します。この設定ファイルの場所は事前にDockerコマンドで指定したディレクトリとなります。

## 4. ElasticsearchとFluentdの連携

### 4-1. Fluentdの設定ファイルの作成

次のコードは、Fluentdの`fluent.conf`のサンプルです。この設定では、標準入力（`in_tail`）からログを受け取り、Elasticsearchに出力します。

```plaintext
<source>
  @type tail
  path /var/log/sample.log
  pos_file /var/log/sample.log.pos
  tag logstash
  format none
</source>

<match logstash.*>
  @type elasticsearch
  host localhost
  port 9200
  logstash_format true
  index_name fluentd
  type_name log
</match>
```

### 4-2. Elasticsearch出力プラグインの設定

FluentdからElasticsearchへの出力には、`elasticsearch`プラグインを使用します。この設定では、`Elasticsearch`のホストとポートを指定することで接続を確立します。

## 5. 動作確認

設定完了後、Fluentdを再起動し、`/var/log/sample.log` に新しいログエントリを追記します。そのデータがElasticsearchに送信されていることを確認できます。

以下のコマンドでElasticsearchにデータが格納されているか確認できます。

```bash
curl -X GET "localhost:9200/fluentd/_search?pretty"
```

## 6. まとめ

ElasticsearchとFluentdを連携することで、分散されたログの集約とリアルタイムな分析が可能となります。Dockerを利用したセットアップは容易で、本番環境への適用もスムーズです。Fluentdの多様なプラグインを活用することで、さらに様々なデータソースからのログ収集が可能となります。 [![image](https://firebasestorage.googleapis.com/v0/b/issue-pro-42602.appspot.com/o/topics%2F17fa658b-53c7-4ca0-a28b-e588ed1bd371?alt=media&token=2c00afff-85ff-4428-8d15-696ab676dcb0)](https://i-ssue.com/lp/check_salary)

ElasticsearchとFluentdを連携してログ集約する方法

目次

続きを読むには単価診断を受けてください（30秒）