Pai-Megatron-Patchは、PyTorch Transformersのトレーニングを最適化し、最適なトレーニングパフォーマンスを提供するためにさまざまなテクノロジーを適用します。 このトピックでは、Pai-Megatron-Patchの仕組みとその使用方法について説明します。
背景情報
Pai-Megatron-Patchは、インテリジェントコンピューティングLINGJUNプラットフォームの基盤モデルのベストプラクティスソリューションに基づいて、Alibaba Cloud Platform for AI (PAI) チームによって開発されたツールです。 Pai-Megatron-Patchは、LINGJUNサービスの開始や、大規模言語モデル (LLM) 、監視下の微調整 (SFT) 、オフラインモデルでの効率的な分散トレーニングの実行など、基盤モデル開発プロセス全体を通じて基盤モデル開発者を支援するために使用されます。推論。 Pai-Megatron-Patchは、Megatron-LMベースのトレーニングと、業界の主流のオープンソース基礎モデルのオフライン推論検証プロセスを提供します。これにより、基礎モデルのトレーニングを開始するのに役立ちます。
パイ-メガトロン-パッチの仕組み
Pai-Megatron-Patchは、パッチを介して機能サポートを提供することにより、ソースコードを変更せずにMegatron-LM機能を強化します。 このように、Pai-Megatron-Patchは、Megatron-LMのコアライブラリを変更することなく、独立したLLMトレーニングプロセスを構築し、ユーザーエクスペリエンスを損なうことなくMegatron-LMアップデートとの互換性を確保できます。
Pai-Megatron-Patchには、モデルライブラリ、トークナイザー、モデル変換ツール、強化学習、オフラインテキスト生成、複数の使用例とツールセットなどのツールと機能があり、基礎モデルのトレーニングと推論をすばやく展開するのに役立ちます。
モデルライブラリには、Baichuan、BLOOM、ChatGLM、Falcon、Galactica、GLM、Llama、Qwen、StarCoderなどの複数の人気のある基礎モデルが含まれています。 さらに、このパッチは、ハギングフェイスモデルの重みとメガトロンモデルの重みの間の変換をサポートしています。 これにより、事前トレーニングや微調整のためにハグ顔モデルの重みをメガトロン環境にロードしたり、評価や推論のためにメガトロンモデルの重みをハグ顔モデルの重みに変換したりできます。
強化学習に関して、Pai-Megatron-Patchは、SFTおよび報酬モデル (RM) トレーニングを実行するために使用できる近位ポリシー最適化 (PPO) トレーニングプロセスを提供します。 Pai-Megatron-Patchツールと使用例は、基礎モデルのトレーニングと評価のための包括的なソリューションを提供します。
手順
Pai-Megatron-Patchを使用するには、次の操作を実行します。