Platform For AI:LLMのデータ処理 (Alpaca-CoTからのSFTデータ)

データセット

Machine Learning Designerは、SFTデータを処理するためのプリセットテンプレートを提供します。 テンプレートは、オープンソースのAlpaca-CoTプロジェクトから抽出された5,000のサンプルデータレコードを使用します。

パイプラインの作成と実行

1. 視覚化モデリング (デザイナー) ページに移動します。

   1. PAIコンソールにログインします。

   2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。

   3. 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。

   4. ワークスペースで、左側のナビゲーションウィンドウで、モデルトレーニング > 視覚化モデリング (デザイナー) を選択します。

2. パイプラインを作成します。

   1. [Visualized Modeling (Designer)] ページで、[プリセットテンプレート] タブをクリックし、ドロップダウンリストから [ビジネスエリア] を選択し、[Large Language Model (LLM)] タブをクリックします。 LLMデータ処理-Alpaca-Cot (SFTデータ) テンプレートを見つけて、[作成] をクリックします。

      

   2. パイプラインパラメーターを設定し、[OK] をクリックします。 デフォルト値のままでかまいません。

   3. パイプラインリストで、作成したパイプラインをクリックし、[開く] をクリックします。

3. パイプラインを設定します。

   パイプラインには、次の主要コンポーネントが含まれます。 LLM-MD5デデュプリケーター (MaxCompute)-1 テキストサンプルのハッシュ値を計算します。 複数のテキストサンプルが同じハッシュ値を持つ場合、1つのサンプルのみが保持されます。 LLM-カウントフィルター (MaxCompute)-1 必要な英数字の数または比率を満たさないテキストサンプルをテキストフィールドから削除します。 SFTデータセットの文字のほとんどは、文字と数字です。 このコンポーネントは、データセット内のデータをクリーンアップするのに役立ちます。 LLM-N-Gram反復フィルター (MaxCompute)-1 文字レベルのNグラムの繰り返し率に基づいて、テキストフィールドのテキストサンプルをフィルター処理します。 このコンポーネントは、N文字の連続シーケンスを生成するために、テキストを横切ってN文字ウィンドウを移動させる。 各シーケンスはNグラムと呼ばれる。 コンポーネントは、各Nグラムの発生をカウントし、次の式を使用して繰り返し率を計算します。1回以上発生するNグラムの合計頻度 /すべてのNグラムの合計頻度。 LLMに敏感なキーワードフィルター (MaxCompute)-1 プリセット機密キーワードファイルで指定された機密キーワードを含むテキストフィールドのテキストサンプルをフィルター処理します。 LLM-長さフィルタ (MaxCompute)-1 最長行の長さに基づいてテキストサンプルをフィルター処理します。 テキストは改行 (\n) によって行に分割されます。 このコンポーネントは、最長行の長さを計算し、指定されたしきい値に基づいてテキストサンプルをフィルタリングします。 LLM-ドキュメントデデュプリケーター (MaxCompute)-1 Jaccard類似性インデックスの指定されたしきい値とLevenshtein距離に基づいて、テキストサンプルの重複を解消します。

4. パイプラインを実行します。

   パイプラインの実行後、[テーブル1の書き込み] コンポーネントを右クリックし、[データの表示] > [出力] を選択して、処理されたデータセットを表示します。

   

関連ドキュメント

• LLMデータ処理コンポーネントの詳細については、「LLMデータ処理 (MaxCompute) 」をご参照ください。

• PAIは、データ処理、モデルトレーニング、およびモデル推論のための一連のコンポーネントを提供します。 データ処理が完了したら、コンポーネントを使用して、LLM開発からアプリケーションまでのエンドツーエンドのプロセスを実装できます。 詳細については、「E2Eの開発と使用方法: データ処理 + モデルトレーニング + モデル推論」をご参照ください。