# GCP Vertex AIでVertex Pipelinesを使った自動化の始め方

## 目次

1. はじめに

2. Vertex AIとPipelinesとは

3. Vertex Pipelinesの基本構成

4. GCPプロジェクトのセットアップ

   4-1. GCPプロジェクトの作成

   4-2. 必要なAPIの有効化

   4-3. サービスアカウントと権限設定

5. Vertex Pipelinesの実装手順

   5-1. パイプライン定義の作成

   5-2. コンポーネントの作成

      5-2-1. コンポーネント用Dockerイメージ作成

      5-2-2. パイソン関数のコンポーネント化

   5-3. ストレージとデータ準備

6. パイプラインのデプロイと実行

   6-1. パイプラインのデプロイ

   6-2. 実行の管理とログの確認

7. Vertex Pipelinesのベストプラクティス

8. まとめ

## 1. はじめに

GCP（Google Cloud Platform）での機械学習プロジェクトの運用を効率化するには、自動化が鍵となります。Vertex AIのVertex Pipelinesを利用すると、機械学習ワークフローの構築、管理、デプロイが大幅に簡略化されます。本記事では、Vertex Pipelinesを用いたモデル訓練自動化の基本的な始め方について解説します。

## 2. Vertex AIとPipelinesとは

Vertex AIは、GCPが提供する機械学習プラットフォームで、多様なML（Machine Learning）モデルの構築、訓練、デプロイを支援します。その中核を成すのがVertex Pipelinesで、MLワークフローを構築し、自動化を実現することが可能です。各ステップをコンポーネントとして定義し、データの前処理、モデルの訓練や評価、デプロイなどのプロセスを継続的に行うことができます。

## 3. Vertex Pipelinesの基本構成

Vertex Pipelinesは、Kubernetes上で動作するKubeflow Pipelinesを基盤としており、次の基本要素から成り立っています。

- **パイプライン**: 一連のタスクを実行するためのテンプレート定義

- **コンポーネント**: 各タスクを担う独立したコード単位

- **アーティファクト**: パイプライン実行中に生成されるデータやモデル

## 4. GCPプロジェクトのセットアップ

### 4-1. GCPプロジェクトの作成

まず、Google Cloud Consoleにアクセスし、新しいプロジェクトを作成します。プロジェクトIDは、後続のステップで必要になるため、控えておきましょう。

### 4-2. 必要なAPIの有効化

次に、プロジェクトで次のAPIを有効化します。

- Vertex AI API

- Cloud Storage API

- Compute Engine API

これらのAPIは、パイプライン実行に必要なインフラやリソースを管理するために必要です。

### 4-3. サービスアカウントと権限設定

Vertex Pipelinesを使用するには、適切な権限を持つサービスアカウントが必要です。Cloud Consoleで新しいサービスアカウントを作成し、以下の権限を割り当てます。

- Vertex AI User

- Storage Admin

- Compute Admin

## 5. Vertex Pipelinesの実装手順

### 5-1. パイプライン定義の作成

パイプラインを定義するためのPythonコードを記述します。Kubeflow Pipelines SDKを使用して、コンポーネントの入力、出力、およびパラメータを指定します。

![img](/mosaic-code.jpg)

### 5-2. コンポーネントの作成

パイプライン内で呼び出される各ステップをコンポーネントとして定義します。

#### 5-2-1. コンポーネント用Dockerイメージ作成

各コンポーネントはDockerコンテナ上で実行されるため、自身のコードが動作する環境をDockerイメージで構築します。以下はDockerfileの例です。

![img](/mosaic-code.jpg)

#### 5-2-2. パイソン関数のコンポーネント化

Kubeflow Pipelines SDKを用いてPython関数をコンポーネント化します。以下にその例を示します。

![img](/mosaic-code.jpg)

### 5-3. ストレージとデータ準備

データやモデルを保存するために、Google Cloud Storage（GCS）バケットを準備します。GCS上にトレーニングデータ及びモデルの出力先を設定しておきます。

## 6. パイプラインのデプロイと実行

### 6-1. パイプラインのデプロイ

Python codeをGCP上で実行する際に、JobとしてVertex Pipelinesへデプロイします。

![img](/mosaic-code.jpg)

### 6-2. 実行の管理とログの確認

Cloud Console上でパイプラインの実行状態を確認し、必要に応じてログから詳細を確認します。

## 7. Vertex Pipelinesのベストプラクティス

- **バージョン管理**: 各コンポーネントとパイプライン定義のバージョン管理を徹底することで、再現性のあるMLパイプラインを構築します。

- **リソース管理**: 使用するCPUやRAMのリソースを明確に定義し、コスト効率を最適化します。

- **セキュリティ考慮**: IAMロールを最小限にして、安全な環境でパイプラインを実行します。

## 8. まとめ

GCPのVertex Pipelinesを活用すると、機械学習プロジェクトを効率的に自動化・運用できます。本記事では、パイプラインの基本的な構築手順とベストプラクティスを紹介しました。これを機に、Vertex Pipelinesを用いて精度の高いモデルを安定してデプロイできるよう、ぜひチャレンジしてみてください。

# GCP Vertex AIでVertex Pipelinesを使った自動化の始め方

## 目次

1. はじめに

2. Vertex AIとPipelinesとは

3. Vertex Pipelinesの基本構成

4. GCPプロジェクトのセットアップ

   4-1. GCPプロジェクトの作成

   4-2. 必要なAPIの有効化

   4-3. サービスアカウントと権限設定

5. Vertex Pipelinesの実装手順

   5-1. パイプライン定義の作成

   5-2. コンポーネントの作成

      5-2-1. コンポーネント用Dockerイメージ作成

      5-2-2. パイソン関数のコンポーネント化

   5-3. ストレージとデータ準備

6. パイプラインのデプロイと実行

   6-1. パイプラインのデプロイ

   6-2. 実行の管理とログの確認

7. Vertex Pipelinesのベストプラクティス

8. まとめ

## 1. はじめに

GCP（Google Cloud Platform）での機械学習プロジェクトの運用を効率化するには、自動化が鍵となります。Vertex AIのVertex Pipelinesを利用すると、機械学習ワークフローの構築、管理、デプロイが大幅に簡略化されます。本記事では、Vertex Pipelinesを用いたモデル訓練自動化の基本的な始め方について解説します。

## 2. Vertex AIとPipelinesとは

Vertex AIは、GCPが提供する機械学習プラットフォームで、多様なML（Machine Learning）モデルの構築、訓練、デプロイを支援します。その中核を成すのがVertex Pipelinesで、MLワークフローを構築し、自動化を実現することが可能です。各ステップをコンポーネントとして定義し、データの前処理、モデルの訓練や評価、デプロイなどのプロセスを継続的に行うことができます。

## 3. Vertex Pipelinesの基本構成

Vertex Pipelinesは、Kubernetes上で動作するKubeflow Pipelinesを基盤としており、次の基本要素から成り立っています。

- **パイプライン**: 一連のタスクを実行するためのテンプレート定義

- **コンポーネント**: 各タスクを担う独立したコード単位

- **アーティファクト**: パイプライン実行中に生成されるデータやモデル

## 4. GCPプロジェクトのセットアップ

### 4-1. GCPプロジェクトの作成

まず、Google Cloud Consoleにアクセスし、新しいプロジェクトを作成します。プロジェクトIDは、後続のステップで必要になるため、控えておきましょう。

### 4-2. 必要なAPIの有効化

次に、プロジェクトで次のAPIを有効化します。

- Vertex AI API

- Cloud Storage API

- Compute Engine API

これらのAPIは、パイプライン実行に必要なインフラやリソースを管理するために必要です。

### 4-3. サービスアカウントと権限設定

Vertex Pipelinesを使用するには、適切な権限を持つサービスアカウントが必要です。Cloud Consoleで新しいサービスアカウントを作成し、以下の権限を割り当てます。

- Vertex AI User

- Storage Admin

- Compute Admin

## 5. Vertex Pipelinesの実装手順

### 5-1. パイプライン定義の作成

パイプラインを定義するためのPythonコードを記述します。Kubeflow Pipelines SDKを使用して、コンポーネントの入力、出力、およびパラメータを指定します。

```python

from kfp.v2 import dsl

from kfp.v2.dsl import component

@dsl.pipeline(

    name='sample-pipeline',

    description='A sample pipeline to demonstrate Vertex Pipelines'

)

def my_pipeline(param1: str, param2: int):

    # Define pipeline steps here

    step1 = some_component(param1)

    step2 = another_component(param2, step1.output)

```

### 5-2. コンポーネントの作成

パイプライン内で呼び出される各ステップをコンポーネントとして定義します。

#### 5-2-1. コンポーネント用Dockerイメージ作成

各コンポーネントはDockerコンテナ上で実行されるため、自身のコードが動作する環境をDockerイメージで構築します。以下はDockerfileの例です。

```dockerfile

FROM python:3.8-slim

COPY your_script.py /app/

WORKDIR /app

RUN pip install -r requirements.txt

ENTRYPOINT ["python", "your_script.py"]

```

#### 5-2-2. パイソン関数のコンポーネント化

Kubeflow Pipelines SDKを用いてPython関数をコンポーネント化します。以下にその例を示します。

```python

@component

def preprocess_data(input_path: str, output_path: str):

    # Processing code here

    pass

```

### 5-3. ストレージとデータ準備

データやモデルを保存するために、Google Cloud Storage（GCS）バケットを準備します。GCS上にトレーニングデータ及びモデルの出力先を設定しておきます。

## 6. パイプラインのデプロイと実行

### 6-1. パイプラインのデプロイ

Python codeをGCP上で実行する際に、JobとしてVertex Pipelinesへデプロイします。

```bash

gcloud ai custom-jobs create --region=<your-region> \

  --display-name=<pipeline-name> \

  --python-package-uris=gs://<your-bucket>/component.tar.gz \

  --script-file=gs://<your-bucket>/main.py

```

### 6-2. 実行の管理とログの確認

Cloud Console上でパイプラインの実行状態を確認し、必要に応じてログから詳細を確認します。

## 7. Vertex Pipelinesのベストプラクティス

- **バージョン管理**: 各コンポーネントとパイプライン定義のバージョン管理を徹底することで、再現性のあるMLパイプラインを構築します。

- **リソース管理**: 使用するCPUやRAMのリソースを明確に定義し、コスト効率を最適化します。

- **セキュリティ考慮**: IAMロールを最小限にして、安全な環境でパイプラインを実行します。

## 8. まとめ

GCPのVertex Pipelinesを活用すると、機械学習プロジェクトを効率的に自動化・運用できます。本記事では、パイプラインの基本的な構築手順とベストプラクティスを紹介しました。これを機に、Vertex Pipelinesを用いて精度の高いモデルを安定してデプロイできるよう、ぜひチャレンジしてみてください。

GCP Vertex AIでVertex Pipelinesを使った自動化の始め方

目次

続きを読むには単価診断を受けてください（30秒）