Retrieval-Augmented Generationが変える生成AIの仕組み
2024年12月12日 5:41
生成AIには、大きく分けると 3つのタイプがあります。
一つ目は、単純な生成モデルです。このタイプの生成モデルは、入力データから直接的に新しいデータを生成します。しかし、このタイプの生成モデルは、生成されるデータが入力データと全く同じであるため、新しいデータを生成することには限界があります。
二つ目は、モデルによる補完です。このタイプの生成モデルでは、入力データに基づいて新しいデータを予測することで、データの補完を行います。しかし、入力データによる制限があるため、完全な新しいデータを生成することはできません。
そして、三つ目がRetrieval-Augmented Generation(RAG)です。RAGは、入力データから新しいデータを生成するだけでなく、外部の知識を使ってデータを補完することができます。これにより、より人間らしいデータを生成することができるようになります。
RAGの仕組みは、大きく分けて2つの部分からなります。一つ目は、生成モデルです。このモデルは、入力データから新しいデータを生成する役割を担います。しかし、単純な生成モデルではなく、複雑なニューラルネットワークを用いているため、より高品質なデータを生成することができます。
二つ目は、リトリーバーです。このリトリーバーは、外部の知識を取得する役割を担います。外部の知識とは、例えばWikipediaのような大規模なデータベースや、インターネット上の情報などがあります。リトリーバーは、入力データに関連する知識を取得し、生成モデルに渡すことで、より多様なデータを生成することができます。
RAGの最大の特徴は、この2つの部分が密接に連携して動作することです。リトリーバーが取得した知識は、生成モデルに入力され、より多様なデータを生成するために使われます。また、生成されたデータを元にリトリーバーが再度知識を取得することで、より高品質なデータを生成することができるようになります。
RAGの仕組みを理解するために、簡単なコード例を見てみましょう。まず、以下のような文章が与えられたとします。
「私はリンゴが大好きです。」
この文章を入力データとし、次の単語を予測するように学習された生成モデルがあるとします。
「私はリンゴが大好きです。私は何が大好きですか?」
この生成モデルだけでは、「リンゴ」以外の単語は予測できません。しかし、RAGでは、リトリーバーが知識を取得し、例えば「リンゴ」に関するWikipediaの記事を取得することで、より多様な単語を予測することができるようになります。
例えば、リトリーバーが取得した知識には、以下のような文章が含まれているかもしれません。
「リンゴは、ミネラルやビタミンが豊富で、健康に良い食べ物です。」
この文章を生成モデルに入力することで、「健康」や「食べ物」などの単語が予測されるようになり、より多様なデータを生成することができるのです。
RAGは、生成AIの限界を打破するための画期的な手法であり、人間のような自然な文章を生成することができるようになります。今後のAIの発展において、RAGが果たす役割はますます大きくなると考えられています。
まとめ
生成AIには、単純な生成モデル、モデルによる補完、そしてRetrieval-Augmented Generation(RAG)の3つのタイプがあります。RAGは、外部の知識を取得するリトリーバーと、その知識を利用してより多様なデータを生成する生成モデルからなり、密接に連携して動作します。RAGは、人間のような自然な文章を生成することができるため、今後のAIの発展において重要な役割を果たすことが期待されています。
[cv:issue_marketplace_engineer]
診断を受けるとあなたの現在の業務委託単価を算出します。今後副業やフリーランスで単価を交渉する際の参考になります。また次の単価レンジに到達するためのヒントも確認できます。