# Amazon KinesisのPutRecordsで高スループットを実現するベストプラクティス

## 目次
1. はじめに
2. Amazon Kinesisとは
3. 高スループットを実現するための基本概念
4. ベストプラクティス
   1. シャードの最適化
   2. バッチサイズの選定
   3. パーティションキーの効果的な利用
   4. リトライとエラー処理
   5. ネットワーク最適化
5. テストとモニタリング
   1. パフォーマンステスト
   2. メトリクスの活用
6. まとめ

## 1. はじめに

Amazon Kinesisはリアルタイムなストリーミングデータ処理のためのサービスで、その中でもKinesis Data Streamsは、大量のデータをリアルタイムで処理する能力を持っています。しかし、Kinesisを使って高スループットでデータをPutRecordsするためには、いくつかの工夫とチューニングが必要です。本記事では、KinesisのPutRecordsを高スループットで実行するためのベストプラクティスを解説します。

## 2. Amazon Kinesisとは

Amazon Kinesisは、データの収集、処理、分析をリアルタイムで行うためのストリーミングデータサービスです。Kinesis Data Streamsを利用することで、リソースの効率化を図りながら、多くのデータソースからデータを収集し、分析やダッシュボード表示などに利用できます。

## 3. 高スループットを実現するための基本概念

高スループットの実現には、いくつかの重要な要素があります。まず、1秒あたりのレコード数やネットワーク帯域幅、シャードの数を適切に設計することが不可欠です。最適化されたデータ送信が、処理を迅速に行う鍵となります。

## 4. ベストプラクティス

### 4-1. シャードの最適化

シャードはKinesis Data Streamsの基本単位で、ストリームのスループットを決定する大きな要素です。各シャードは1秒当たり最大1,000件のレコードまたは1MBのデータ（PutRecordsの場合は最大5MB）のストリームをサポートしています。

- **シャードの数を最適化**: 突然のトラフィック増加に対応するため、適切な数のシャードを用意する。シャードの増減はリアルタイムで行えるので、モニタリングツールを使って自動的に調整することも可能です。

### 4-2. バッチサイズの選定

PutRecords APIは複数のデータレコードをまとめて送ることができ、この機能をうまく利用することでスループットを向上させることができます。

- **適切なバッチサイズの選定**: 一度に送信するレコード数を増やすと、APIの呼び出し回数が減少し、ネットワークのプロトコルオーバーヘッドが低減されます。しかし、バッチを大きくしすぎると、一度の失敗で影響を受けるレコード量が増えるので、適切なサイズを見極めることが重要です。

### 4-3. パーティションキーの効果的な利用

パーティションキーはレコードがどのシャードに配置されるかを決定します。均等にキーを配置し、シャード間で負荷を均等化することが重要です。

- **キーの多様性を持たせる**: 一部のキーに負荷が集中すると、特定のシャードが他よりも高い負荷を抱える可能性があります。パーティションキーとしては、時間やユーザーIDなど多様性があるものを選びましょう。

### 4-4. リトライとエラー処理

ネットワークの問題やサービス側の一時的な制約でレコードの送信が失敗することもあります。

- **エクスポーネンシャルバックオフを用いたリトライ**: KinesisのPutRecords操作が失敗した場合には、エクスポーネンシャルバックオフを使って再試行するのが一般的です。エクスポーネンシャルバックオフは短時間で多数のリクエストを防ぎ、サーバーの負荷を軽減します。

### 4-5. ネットワーク最適化

データ転送の効率化には、ネットワークの工夫も不可欠です。

- **同一リージョン内での通信**: Kinesisストリームとデータ送信元をできる限り同一AWSリージョンに配置することで、レイテンシを最小化し、ネットワークコストを削減できます。

## 5. テストとモニタリング

### 5-1. パフォーマンステスト

変更や新しいベストプラクティスを導入した後は、スループットが期待どおり向上したかを確認するテストを実施します。シミュレーションツールを使用して実際の業務に即した負荷をかけ、システムの耐久性を確認します。

### 5-2. メトリクスの活用

先に述べた最適化が効果を発揮しているかどうかは、AWS CloudWatchのメトリクスを用いて監視します。

- **主要なメトリクス**: 'IncomingBytes', 'IncomingRecords', 'WriteProvisionedThroughputExceeded' などのメトリクスを監視し、ボトルネックが発生していないかを確認します。

## 6. まとめ

Amazon Kinesis Data Streamsを用いた高スループット実現には、シャード数の適切な設定、バッチ処理の効率化、パーティションキーの最適化、リトライ戦略の実装など、多角的なアプローチが求められます。これらのベストプラクティスを基にテストとモニタリングを行い、実環境における性能を常に確認することが重要です。開発者はこれらのテクニックを駆使して、スケーラブルかつ効率的なデータストリーミングアーキテクチャを構築することができるでしょう。 [cv:issue_marketplace_engineer]

# Amazon KinesisのPutRecordsで高スループットを実現するベストプラクティス

## 目次
1. はじめに
2. Amazon Kinesisとは
3. 高スループットを実現するための基本概念
4. ベストプラクティス
   1. シャードの最適化
   2. バッチサイズの選定
   3. パーティションキーの効果的な利用
   4. リトライとエラー処理
   5. ネットワーク最適化
5. テストとモニタリング
   1. パフォーマンステスト
   2. メトリクスの活用
6. まとめ

## 1. はじめに

Amazon Kinesisはリアルタイムなストリーミングデータ処理のためのサービスで、その中でもKinesis Data Streamsは、大量のデータをリアルタイムで処理する能力を持っています。しかし、Kinesisを使って高スループットでデータをPutRecordsするためには、いくつかの工夫とチューニングが必要です。本記事では、KinesisのPutRecordsを高スループットで実行するためのベストプラクティスを解説します。

## 2. Amazon Kinesisとは

Amazon Kinesisは、データの収集、処理、分析をリアルタイムで行うためのストリーミングデータサービスです。Kinesis Data Streamsを利用することで、リソースの効率化を図りながら、多くのデータソースからデータを収集し、分析やダッシュボード表示などに利用できます。

## 3. 高スループットを実現するための基本概念

高スループットの実現には、いくつかの重要な要素があります。まず、1秒あたりのレコード数やネットワーク帯域幅、シャードの数を適切に設計することが不可欠です。最適化されたデータ送信が、処理を迅速に行う鍵となります。

## 4. ベストプラクティス

### 4-1. シャードの最適化

シャードはKinesis Data Streamsの基本単位で、ストリームのスループットを決定する大きな要素です。各シャードは1秒当たり最大1,000件のレコードまたは1MBのデータ（PutRecordsの場合は最大5MB）のストリームをサポートしています。

- **シャードの数を最適化**: 突然のトラフィック増加に対応するため、適切な数のシャードを用意する。シャードの増減はリアルタイムで行えるので、モニタリングツールを使って自動的に調整することも可能です。

### 4-2. バッチサイズの選定

PutRecords APIは複数のデータレコードをまとめて送ることができ、この機能をうまく利用することでスループットを向上させることができます。

- **適切なバッチサイズの選定**: 一度に送信するレコード数を増やすと、APIの呼び出し回数が減少し、ネットワークのプロトコルオーバーヘッドが低減されます。しかし、バッチを大きくしすぎると、一度の失敗で影響を受けるレコード量が増えるので、適切なサイズを見極めることが重要です。

### 4-3. パーティションキーの効果的な利用

パーティションキーはレコードがどのシャードに配置されるかを決定します。均等にキーを配置し、シャード間で負荷を均等化することが重要です。

- **キーの多様性を持たせる**: 一部のキーに負荷が集中すると、特定のシャードが他よりも高い負荷を抱える可能性があります。パーティションキーとしては、時間やユーザーIDなど多様性があるものを選びましょう。

### 4-4. リトライとエラー処理

ネットワークの問題やサービス側の一時的な制約でレコードの送信が失敗することもあります。

- **エクスポーネンシャルバックオフを用いたリトライ**: KinesisのPutRecords操作が失敗した場合には、エクスポーネンシャルバックオフを使って再試行するのが一般的です。エクスポーネンシャルバックオフは短時間で多数のリクエストを防ぎ、サーバーの負荷を軽減します。

### 4-5. ネットワーク最適化

データ転送の効率化には、ネットワークの工夫も不可欠です。

- **同一リージョン内での通信**: Kinesisストリームとデータ送信元をできる限り同一AWSリージョンに配置することで、レイテンシを最小化し、ネットワークコストを削減できます。

## 5. テストとモニタリング

### 5-1. パフォーマンステスト

変更や新しいベストプラクティスを導入した後は、スループットが期待どおり向上したかを確認するテストを実施します。シミュレーションツールを使用して実際の業務に即した負荷をかけ、システムの耐久性を確認します。

### 5-2. メトリクスの活用

先に述べた最適化が効果を発揮しているかどうかは、AWS CloudWatchのメトリクスを用いて監視します。

- **主要なメトリクス**: 'IncomingBytes', 'IncomingRecords', 'WriteProvisionedThroughputExceeded' などのメトリクスを監視し、ボトルネックが発生していないかを確認します。

## 6. まとめ

Amazon Kinesis Data Streamsを用いた高スループット実現には、シャード数の適切な設定、バッチ処理の効率化、パーティションキーの最適化、リトライ戦略の実装など、多角的なアプローチが求められます。これらのベストプラクティスを基にテストとモニタリングを行い、実環境における性能を常に確認することが重要です。開発者はこれらのテクニックを駆使して、スケーラブルかつ効率的なデータストリーミングアーキテクチャを構築することができるでしょう。 

Amazon KinesisのPutRecordsで高スループットを実現するベストプラクティス

目次

続きを読むには単価診断を受けてください（30秒）