LLMデータ処理コンポーネントは、バッチ実行をサポートし、データストレージ構成を最小限に抑えるためにグループ化でき、パフォーマンスを大幅に向上させます。
概要
LLMデータ処理 (DLC) コンポーネントは、中間データストレージなしでバッチタスクを実行するようにグループ化することができ、したがって効率とリソース利用を向上させます。
Machine Learning DesignerのLLMデータ処理 (DLC) コンポーネントは次のとおりです。
現在、Large Model Data PreprocessingフォルダーのLLM-Risk Content Filtering (DLC) およびLLM-Quality Predict (DLC) コンポーネントはグループ化をサポートしていません。
使用上の注意
コンポーネントをグループに集約するときは、次のことを考慮します。
グループの設定は、グループ内のコンポーネントの個々の設定よりも優先されます。
現在、Large Model Data PreprocessingフォルダーのLLM-Risk Content Filtering (DLC) およびLLM-Quality Predict (DLC) コンポーネントはグループ化をサポートしていません。
コンポーネントのチューニングパラメータは個別に設定する必要がありますが、テキスト、画像、ビデオフィールド、コンピューティングリソース、データ出力パスなどのグローバルフィールドはグループレベルで設定する必要があります。
一部のコンポーネントは、マルチノード分散動作をサポートしない場合がある。 グループにそのようなコンポーネントが含まれている場合、マルチノードタスクは失敗します。 コンポーネントがマルチノード分散操作をサポートしているかどうかを確認するには、コンポーネントのチューニングタブに移動します。 Nodesパラメーターを1より大きい値に設定できる場合、コンポーネントはマルチノード分散操作をサポートします。
グループ化されたコンポーネントは、結果を個別に出力しません。 グループ出力は、すべてのコンポーネントの集合的な結果である。 たとえば、以下のワークフローでは、グループの中央から始まる接続を示しています。これは、グループ出力にLLM-Text Normalizer (DLC) とLLM-Clean Special Content (DLC)-1の両方からの出力が含まれていることを示しています。
コンポーネントをグループ化
インテリジェントな集計
システムは、グループ化に適したキャンバス上のノードを自動的に検出できます。 
をクリックして集計し、
をクリックしてグループのリソースを設定します。
手動集計
をクリックするか、Shift + 左クリックを使用して複数のコンポーネントを選択します。 次に、空の領域を右クリックし、[選択したノードのグループ] を選択します。 をクリックして、グループのリソースを設定します。
