LLM データ処理 - Alpaca-Cot (SFT データ) - DLC

データセット

このトピックでは、オープンソースの Alpaca-CoT プロジェクトの生データから抽出された 5,000 件のサンプルを、機械学習デザイナーのプリセットテンプレート LLM データ処理 - Alpaca-Cot (SFT データ) のデータセットとして使用します。

パイプラインの作成と実行

1. ビジュアルモデリング (デザイナー) ページに移動します。

   1. PAI コンソール にログオンします。

   2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。

   3. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。ワークスペースページで、管理するワークスペースの名前をクリックします。

   4. 左側のナビゲーションウィンドウで、[モデルトレーニング] > [ビジュアルモデリング (デザイナー)] を選択します。

2. パイプラインを作成します。

   1. [プリセットテンプレート] タブで、[ビジネス分野] > [LLM] を選択します。[LLM データ処理 - Alpaca-cot (SFT データ)] セクションで、[作成] をクリックします。

      

   2. [パイプラインの作成] ダイアログボックスで、パイプラインパラメーターを設定し、[OK] をクリックします。デフォルト値を保持できます。

   3. パイプラインリストで、作成したパイプラインを見つけ、[開く] をクリックします。

3. パイプラインを設定します。

   パイプラインには、次の主要コンポーネントが含まれています。 LLM-MD5 Deduplicator (DLC)-1 テキストフィールド内のテキストサンプルのハッシュ値を計算し、ハッシュ値に基づいてテキストサンプルの重複を排除します。複数のテキストサンプルが同じハッシュ値を持つ場合、1 つのテキストサンプルのみが保持されます。 LLM-Count Filter (DLC)-1 テキストフィールドから、数字と文字の必要な比率を満たしていないテキストサンプルを削除します。 SFT データセットの文字のほとんどは文字と数字です。このコンポーネントは、データセット内のデータをクレンジングするのに役立ちます。 LLM-N-Gram Repetition Filter (DLC)-1 文字レベルの N-Gram の繰り返し率に基づいて、テキストフィールド内のテキストサンプルをフィルタリングします。コンポーネントは、テキストサンプル全体に N 文字のウィンドウを移動して、N 文字のシーケンスを生成します。各シーケンスは N-gram と呼ばれます。コンポーネントは各 N-gram の出現回数をカウントし、次の式を使用して繰り返し率を計算します。Total frequencies of N-grams that occur more than once/Total frequencies of all N-grams. LLM-Sensitive Keywords Filter (DLC)-1 プリセットのセンシティブキーワード ファイルで指定されたセンシティブキーワードを含むテキストフィールド内のテキストサンプルを除外します。 LLM-Length Filter (DLC)-1 テキストの長さと最大行の長さに基づいて、テキストフィールド内のテキストサンプルをフィルタリングします。テキストは改行 (\n) によって行に分割されます。コンポーネントは最大行の長さを計算し、指定されたしきい値に基づいてテキストサンプルをフィルタリングします。 LLM-SimHash Deduplicator (DLC)-1 MinHash アルゴリズムに基づいてテキストサンプルの重複を排除します。

4. パイプラインを実行します。

   パイプラインを実行した後、[llm-document Deduplicator (DLC)-1] コンポーネントを右クリックし、[データの表示] > [出力テーブル] を選択して、前のすべてのコンポーネントによって処理されたサンプルファイルを表示します。

   

参照

• LLM コンポーネントの詳細については、「LLM データ処理 (DLC)」をご参照ください。

• PAI は、データ処理、モデルトレーニング、モデル推論のための一連のコンポーネントを提供します。データ処理が完了したら、コンポーネントを使用して、LLM の開発からアプリケーションまでのエンドツーエンドのプロセスを実装できます。詳細については、「LLM の E2E 開発と使用：データ処理 + モデルトレーニング + モデル推論」をご参照ください。