# CloudFrontのアクセスログをS3に出力し日次集計するLambda構成

## 目次
1. はじめに
2. 1-1. 必要なAWSサービス
3. 1-2. 構成概要
4. 2. CloudFrontログの出力
   - 2-1. CloudFrontログの有効化
   - 2-2. S3バケットの設定
5. 3. ログ集計用Lambdaの作成
   - 3-1. Lambda関数の実装
   - 3-2. Pythonとboto3ライブラリの使用
6. 4. 日次集計の実行
   - 4-1. EventBridgeによるスケジューリング
   - 4-2. 集計ロジックの実装
7. 5. ダッシュボードの作成
   - 5-1. Amazon QuickSightの利用
   - 5-2. 集計結果の視覚化
8. まとめ

---

## 1. はじめに

AWS CloudFrontのアクセスログを処理し、S3に保存し、日次で集計するためのLambda構成について説明します。このシステムは、訪問者の動向を把握し、サイトのパフォーマンスを向上させるために役立ちます。

## 2. 必要なAWSサービス

### 2-1. AWSサービス一覧
- **Amazon CloudFront**：CDNサービスで、アクセスログを取得します。
- **Amazon S3**：ログの長期保存先として使用します。
- **AWS Lambda**：ログの集計と処理を行います。
- **Amazon EventBridge**：日次集計のスケジューラーとして役立ちます。
- **Amazon QuickSight**：集計結果の可視化を行います。

### 2-2. 構成概要

システムの構成は、CloudFrontから取得したアクセスログをS3に保存し、Lambda関数で日次処理を行い集計結果を生成します。Amazon QuickSightを使用して、集計データの視覚化を行います。

## 3. CloudFrontログの出力

### 3-1. CloudFrontログの有効化

CloudFrontログを有効化することで、すべてのアクセス情報を取得できます。手順は以下の通りです。

- **Step 1**：CloudFrontディストリビューションを選択し、[Logs]タブをクリックします。
- **Step 2**：ログフォーマットを指定し、S3バケットを選択します。
- **Step 3**：ログのFileName Suffixを設定して、必要に応じて圧縮オプションを選択します。

### 3-2. S3バケットの設定

CloudFrontのログを保存するためのS3バケットの設定を行います。

1. **権限設定**：CloudFrontから書き込めるようにS3バケットポリシーを調整します。
2. **構造**：整理しやすいフォルダ構造（例えば/year/month/day形式）でログを管理します。

## 4. ログ集計用Lambdaの作成

### 4-1. Lambda関数の実装

Lambda関数を作成し、ログの集計処理を行います。この際、Pythonを用いてコードを記述し、boto3ライブラリを活用します。

![img](/mosaic-code.jpg)

### 4-2. Pythonとboto3ライブラリの使用

boto3を使用することで、S3からログを取得し処理・集計が簡単に行えます。gzipモジュールで圧縮されたログファイルの読み込みを可能にします。

## 5. 日次集計の実行

### 5-1. EventBridgeによるスケジューリング

Amazon EventBridgeを使用することで、日次集計を自動化します。任意の時刻にLambda関数をトリガーするように設定します。

### 5-2. 集計ロジックの実装

ログをパースし、必要な情報（例えば訪問者数、リクエスト数など）を集計して可視化のためのデータを生成します。

## 6. ダッシュボードの作成

### 6-1. Amazon QuickSightの利用

Amazon QuickSightに集計後のデータを取り込み、ダッシュボードを作成します。視覚的な解析が可能になります。

### 6-2. 集計結果の視覚化

棒グラフや折れ線グラフを用いることで、トレンドの把握が容易になります。

## まとめ

CloudFrontのアクセスログをS3に出力し、Lambdaを使って日次で集計することで、サイトのパフォーマンスと訪問者動向の理解に繋げることができます。LambdaとEventBridgeによる自動化、QuickSightによる視覚化により、効果的な運用と管理を実現できます。 [cv:issue_marketplace_engineer]

# CloudFrontのアクセスログをS3に出力し日次集計するLambda構成

## 目次
1. はじめに
2. 1-1. 必要なAWSサービス
3. 1-2. 構成概要
4. 2. CloudFrontログの出力
   - 2-1. CloudFrontログの有効化
   - 2-2. S3バケットの設定
5. 3. ログ集計用Lambdaの作成
   - 3-1. Lambda関数の実装
   - 3-2. Pythonとboto3ライブラリの使用
6. 4. 日次集計の実行
   - 4-1. EventBridgeによるスケジューリング
   - 4-2. 集計ロジックの実装
7. 5. ダッシュボードの作成
   - 5-1. Amazon QuickSightの利用
   - 5-2. 集計結果の視覚化
8. まとめ

---

## 1. はじめに

AWS CloudFrontのアクセスログを処理し、S3に保存し、日次で集計するためのLambda構成について説明します。このシステムは、訪問者の動向を把握し、サイトのパフォーマンスを向上させるために役立ちます。

## 2. 必要なAWSサービス

### 2-1. AWSサービス一覧
- **Amazon CloudFront**：CDNサービスで、アクセスログを取得します。
- **Amazon S3**：ログの長期保存先として使用します。
- **AWS Lambda**：ログの集計と処理を行います。
- **Amazon EventBridge**：日次集計のスケジューラーとして役立ちます。
- **Amazon QuickSight**：集計結果の可視化を行います。

### 2-2. 構成概要

システムの構成は、CloudFrontから取得したアクセスログをS3に保存し、Lambda関数で日次処理を行い集計結果を生成します。Amazon QuickSightを使用して、集計データの視覚化を行います。

## 3. CloudFrontログの出力

### 3-1. CloudFrontログの有効化

CloudFrontログを有効化することで、すべてのアクセス情報を取得できます。手順は以下の通りです。

- **Step 1**：CloudFrontディストリビューションを選択し、[Logs]タブをクリックします。
- **Step 2**：ログフォーマットを指定し、S3バケットを選択します。
- **Step 3**：ログのFileName Suffixを設定して、必要に応じて圧縮オプションを選択します。

### 3-2. S3バケットの設定

CloudFrontのログを保存するためのS3バケットの設定を行います。

1. **権限設定**：CloudFrontから書き込めるようにS3バケットポリシーを調整します。
2. **構造**：整理しやすいフォルダ構造（例えば/year/month/day形式）でログを管理します。

## 4. ログ集計用Lambdaの作成

### 4-1. Lambda関数の実装

Lambda関数を作成し、ログの集計処理を行います。この際、Pythonを用いてコードを記述し、boto3ライブラリを活用します。

```python
import boto3
import gzip
import json
from datetime import datetime, timedelta

s3_client = boto3.client('s3')

def lambda_handler(event, context):
    # [Your Logic Here]
    print("Aggregation Complete")
```

### 4-2. Pythonとboto3ライブラリの使用

boto3を使用することで、S3からログを取得し処理・集計が簡単に行えます。gzipモジュールで圧縮されたログファイルの読み込みを可能にします。

## 5. 日次集計の実行

### 5-1. EventBridgeによるスケジューリング

Amazon EventBridgeを使用することで、日次集計を自動化します。任意の時刻にLambda関数をトリガーするように設定します。

### 5-2. 集計ロジックの実装

ログをパースし、必要な情報（例えば訪問者数、リクエスト数など）を集計して可視化のためのデータを生成します。

## 6. ダッシュボードの作成

### 6-1. Amazon QuickSightの利用

Amazon QuickSightに集計後のデータを取り込み、ダッシュボードを作成します。視覚的な解析が可能になります。

### 6-2. 集計結果の視覚化

棒グラフや折れ線グラフを用いることで、トレンドの把握が容易になります。

## まとめ

CloudFrontのアクセスログをS3に出力し、Lambdaを使って日次で集計することで、サイトのパフォーマンスと訪問者動向の理解に繋げることができます。LambdaとEventBridgeによる自動化、QuickSightによる視覚化により、効果的な運用と管理を実現できます。 

CloudFrontのアクセスログをS3に出力し日次集計するLambda構成

目次

続きを読むには単価診断を受けてください（30秒）