Container Service for Kubernetes:Dify を使用して AI Q&A アシスタントを迅速に構築

コードリポジトリのクローン。Git コマンドを実行して、対応する Dify コードリポジトリをクローンします。

git clone https://github.com/langgenius/dify-docs.git

コーパスの整理。後続のコーパスのベクトル化を容易にするために、次の Python スクリプトを使用して、取得した Dify コードリポジトリ内の .md ファイルをマージして整理します。

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
import os


def merge_markdown_files_from_directory(root_dir, output_file):
    """
    merge_markdown_files_from_directory 関数
      1. 機能：指定されたディレクトリ内のすべての .md ファイルの内容を出力ファイルにマージします。
      2. パラメーター：
        root_dir：指定されたルートディレクトリへのパス。
        output_file：出力ファイルへのパス。
      3. 実装：
        os.walk を使用して root_dir ディレクトリとそのサブディレクトリを走査します。
        各ファイルが .md で終わるかどうかを確認します。もしそうなら、そのパスを markdown_files リストに追加します。
        output_file を開き、markdown_files からの各ファイルの内容を書き込みます。
    """
    markdown_files = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.md'):
                markdown_files.append(os.path.join(root, file))

    with open(output_file, 'w', encoding='utf-8') as outfile:
        for file_path in markdown_files:
            with open(file_path, 'r', encoding='utf-8') as infile:
                outfile.write(infile.read())
                # outfile.write('\n\n')

               
def process_and_write_markdown(file_path: str, headers_to_split_on: list, chunk_size: int, chunk_overlap: int, output_file: str):
    """
    process_and_write_markdown 関数
      1. 機能：
        単一の Markdown ファイルの内容を処理し、指定されたヘッダーとチャンキングルールに基づいてテキストを分割し、その結果を新しいファイルに書き込みます。
      2. パラメーター：
        file_path：入力 Markdown ファイルのパス。
        headers_to_split_on：ヘッダーレベルのタプルを含むリスト。例：[("#", "Header 1"), ("##", "Header 2")]。
        chunk_size：各テキストチャンクの最大長。
        chunk_overlap：テキストチャンク間の重複長。
        output_file：出力ファイルのパス。
      3. 実装手順：
        file_path から Markdown ファイルの内容を読み取ります。
        MarkdownHeaderTextSplitter オブジェクトを作成して、headers_to_split_on に基づいて Markdown の内容を分割します。
        RecursiveCharacterTextSplitter オブジェクトを作成して、chunk_size と chunk_overlap に基づいてテキストをさらに分割します。
        output_file を開き、各分割テキストチャンクのメタデータと内容をファイルに書き込みます。
    """
    try:
        # file_path から Markdown ファイルの内容を読み取ります。
        with open(file_path, "r", encoding="utf-8") as doc:
            markdown_content = doc.read()

        # headers_to_split_on に基づいて Markdown の内容を分割するために MarkdownHeaderTextSplitter オブジェクトを作成します。
        splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on, strip_headers=True)
        md_splits = splitter.split_text(markdown_content)

        # chunk_size と chunk_overlap に基づいてテキストをさらに分割するために RecursiveCharacterTextSplitter オブジェクトを作成します。
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
        splits = text_splitter.split_documents(md_splits)

        # output_file を開き、各分割テキストチャンクのメタデータと内容をファイルに書き込みます。
        with open(output_file, "w") as f:
            for line in splits:
                f.write(str(line.metadata))
                f.write("\n")
                f.write(line.page_content)
                f.write("\n\n\n\n")

    except FileNotFoundError:
        raise FileNotFoundError(f"ファイル {file_path} は存在しません。")


# 例
if __name__ == "__main__":
    """
     1. パラメーターの設定：
      root_directory：指定されたルートディレクトリへのパス。
      merged_file_path：マージされた Markdown ファイルのパス。
      output_file：最終的に処理された出力ファイルのパス。
      headers_to_split_on：ヘッダーレベルのリスト。
      chunk_size と chunk_overlap：テキストチャンクのサイズと重複長。
    2. 実行手順：
      merge_markdown_files_from_directory を呼び出して、すべての .md ファイルを merged_file_path にマージします。
      process_and_write_markdown を呼び出して、マージされたファイルを処理し、結果を output_file に書き込みます。
      これらの手順により、複数の Markdown ファイルのマージから最終的な処理と出力までのスクリプトのプロセスが完了します。
    """
    
    # 処理するフォルダへのパス
    root_directory = 'path/to/dify-docs/en'
    # マージされたファイルのパス
    merged_file_path = './merged_markdown.md'
    # クリーニングされたファイルのパス
    output_file = './dify_doc.md'
    
    merge_markdown_files_from_directory(root_directory, merged_file_path)
    headers_to_split_on = [
        ("#", "Header 1"),
        ("##", "Header 2"),
        ("###", "Header 3"),
    ]
    chunk_size = 500
    chunk_overlap = 50
    process_and_write_markdown(merged_file_path, headers_to_split_on, chunk_size, chunk_overlap, output_file)

準備したコーパスファイル dify_doc.md をナレッジベースにアップロードします。