# GitHub ActionsでAzure Data Factoryパイプラインの自動実行

## 目次

1. はじめに

2. GitHub Actionsの概要

   1. GitHub Actionsとは？

   2. メリットと使い方

3. Azure Data Factoryの概要

   1. Azure Data Factoryとは？

   2. 主な機能とユースケース

4. GitHub ActionsとAzure Data Factoryの連携

   1. 必要な設定と準備

   2. 構成ファイルの作成

5. 実装手順

   1. Azure Service Principalの作成

   2. GitHub Secretsの設定

   3. ワークフローファイルの作成

   4. Actionの実行と確認

6. 具体的なコード例と解説

   1. WFファイルのサンプル

   2. リソースグループの設定

7. ベストプラクティスと注意事項

8. まとめ

## 1. はじめに

クラウド上でデータパイプラインを構成・管理するAzure Data Factory（ADF）は、多様なデータソースの統合を可能にします。このパイプラインを任意の時間に、自動的にトリガーで実行することは、データ駆動のビジネスにとって不可欠です。GitHub Actionsを使うことで、コードをリポジトリにプッシュすることを契機にADFパイプラインを自動で実行するプロセスを作成できます。本記事では、お互いを組み合わせた効率的なワークフローの構築について深掘りします。

## 2. GitHub Actionsの概要

### 2-1. GitHub Actionsとは？

GitHub Actionsは、継続的インテグレーション（CI）と継続的デリバリー（CD）のワークフローをGitHubプロジェクトに直接構築できるサービスです。ソースコードの変更をトリガーとして一連のアクションを自動で実行することができます。

#### メリット:

- ソースコードとワークフローを同じリポジトリで管理できる。

- 構成がYAMLファイルとして保存され、バージョン管理が可能。

- marketplaceから様々なアクションを利用できる。

### 2-2. メリットと使い方

GitHub Actionsは、以下のような特長があります。

- **自動化**：プルリクエスト、イシュー、プッシュなど開発プロセスにおけるイベントでの自動化

- **豊富なアクション**：コミュニティが作成した再利用可能なアクション

- **簡単な構成**：YAMLファイルで柔軟かつ簡単にワークフローを設定可能

## 3. Azure Data Factoryの概要

### 3-1. Azure Data Factoryとは？

Azure Data Factoryは、クラウドベースのデータ統合サービスであり、大量データの移動・変換を容易に行えます。ADFを使うことで、オンプレミスおよびクラウド内のさまざまなデータソースを組み合わせて効率的なETL（Extract, Transform, Load）を実行できます。

### 3-2. 主な機能とユースケース

- 複数のデータソースをシームレスに統合。

- データのスケジュール済み、オンデマンド処理。

- グラフィカルインターフェースを使用したパイプライン設計。

## 4. GitHub ActionsとAzure Data Factoryの連携

### 4-1. 必要な設定と準備

GitHub ActionsでADFのパイプラインを自動実行するには、まず以下の準備が必要です。

- **Azureアカウント**：Azure Active Directoryを利用してリソースへのアクセスを管理します。

- **GitHubリポジトリ**：Actionsを設定するためのリポジトリを作成します。

### 4-2. 構成ファイルの作成

GitHub Actionsは`.github/workflows`ディレクトリに配置するYAMLファイルによって構成されます。このファイルでトリガーするイベントや処理内容を記述します。

## 5. 実装手順

### 5-1. Azure Service Principalの作成

Azure CLIを利用してADFにアクセスするためのService Principal（SP）を作成します。このSPがData Factoryリソースにアクセスするための権限を持ちます。

```bash

az ad sp create-for-rbac --name "myApp" --role contributor \

  --scopes /subscriptions/{subscription-id}/resourceGroups/{resource-group} \

  --sdk-auth

```

### 5-2. GitHub Secretsの設定

GitHubのリポジトリのSettingsからSecretsを選び、以下の情報をSecretとして登録します。

- AZURE_CREDENTIALS：Service PrincipalのJSONをコピーして入力します。

### 5-3. ワークフローファイルの作成

YAMLファイルを作成し、自動実行のトリガーとアクション内容を記述します。以下はサンプルの内容です。

```yaml

name: Run Data Factory Pipeline

on:

  push:

    branches:

      - main

jobs:

  adf_run:

    runs-on: ubuntu-latest

    

    steps:

      - name: Checkout repository

        uses: actions/checkout@v2

      - name: Run Azure Data Factory Pipeline

        uses: Azure/data-factory-actions@v1

        with:

          azure_credentials: ${{ secrets.AZURE_CREDENTIALS }}

          resource_group: 'myResourceGroup'

          data_factory_name: 'myDataFactory'

          pipeline_name: 'myPipeline'

```

### 5-4. Actionの実行と確認

設定が完了したら、GitHubのリポジトリにて変更をプッシュすると、指定した条件でパイプラインが実行されます。

## 6. 具体的なコード例と解説

### 6-1. WFファイルのサンプル

上記YAMLは、プッシュが発生した際にトリガーされ、Azure Data Factoryのパイプラインを指定します。このconfigによりセキュリティ情報を安全に管理しながら自動化できます。

### 6-2. リソースグループの設定

GitHub Secretsに設定した情報に基づき、正確なAzureリソースへ接続し、連携させることができます。

## 7. ベストプラクティスと注意事項

- **秘密情報の管理**：GitHub Secretsを活用し機密情報は環境変数として記述しないようにしましょう。

- **ログと監視**：アクション実行時のログを確認し、成功時・失敗時のログを保存し、運用フェーズでの監視を行いましょう。

## 8. まとめ

GitHub ActionsによるAzure Data Factoryパイプラインの自動実行は、データ統合プロセスの効率化に大きく寄与します。インフラのコード化によって管理がしやすくなる一方、セキュリティや監視の徹底も重要です。クラウドサービスのメリットを生かし、データドリブンな変革を加速しましょう。

GitHub ActionsでAzure Data Factoryパイプラインの自動実行

目次

続きを読むには単価診断を受けてください（30秒）