本記事の作成者:JV Roig
Alibaba Cloud での生成 AI のデプロイアプローチに関するシリーズのパート 2 へようこそ。
本シリーズのパート 1 では、Elastic Compute Service (ECS) を使用して、Iaas で生成 AI をデプロイしました。 パート 1 でご説明したように、これは生成 AI をデプロイするための非常に強力で柔軟な方法です。 しかし、スタック全体の運用と保守を担当する必要があるため、多くの手順と多大な管理の手間が伴います。
もう少し簡単に、速く、少ない手間でできる方法はないのでしょうか。 もちろんあります。
今回は、Alibaba Cloud Platform for AI (PAI) を使用して、PaaS (Platform as a Service) アプローチに取り組みます。 PaaS アプローチにより、関連する運用の手間が少なく、役に立つ生成 AI サービスを数分でデプロイできることが分かります。
Alibaba Cloud Web コンソールにログインし、PAI を検索します。 表示される結果 (Platform for AI) をクリックすると、PAI コンソールが表示されます。
QuickStart (左サイドバーの上側) または Elastic Algorithm Service (EAS) (左サイドバーの中央付近) から LLM をすばやくデプロイできます。 どちらの場合も、サービスは EAS インスタンスとしてデプロイされるため、最終的には EAS になります。
今回はそのまま EAS に進みます。 [Model Deployment] の [Elastic Algorithm Service (EAS)] をクリックすると、以下の画面が表示されます。
[Deploy Service] をクリックします。
このチュートリアルでは、[Scenario-based Model Deployment] の下に表示される [LLM Deployment] をクリックします。
このサンプルデプロイでは、上図のスクリーンショットに示すような設定に従います。
• サービスに名前を付けます (test_service_deployment など)。
• [Open Source Model] を選択し、Qwen2-7b のような小さなモデルを選択します (*注:巨大な 72b バージョンを誤って選択しないようご注意ください。)
• デフォルトのインスタンスタイプは保持し、アクセラレーションは削除します (BladeLLM には別の GPU タイプが必要です。この基本チュートリアルでは今のところ重要ではありません。)
変更が必要な点は以上です。 [Deploy] をクリックします。
ECS ベースの IaaS 生成 AI デプロイとは異なり、インフラストラクチャを作成するために必要なのはこれだけです。 数回のクリック、わずか数分でインフラストラクチャはすべて設定されます。
これが、生成 AI に Platform-as-a-Service アプローチを利用するメリットです。
デプロイが完了するまでに数分かかる場合があります。その後、ステータスが [Running] に変わります。
View Web App リンクが表示されます。 クリックすると、サービスに組み込まれているデモチャットアプリケーションにアクセスできます。
LLM が最初にメモリにロードされるまでに時間が必要ため、最初に送信するメッセージの処理には少し時間がかかります。 ただし、次のメッセージからは、非常に高速に処理されます。
もちろん、Web アプリは実際には私たちの主な関心事ではなく、単なるおまけです。 それでは、API を使用して LLM サービスをアプリケーションに統合しましょう。
新しくデプロイされた LLM API サービスを使用するサンプルコードは以下の通りです。
url と Authorization パラメーター (4 行目と 6 行目) を PAI EAS から実際のパラメーターに変更する必要があります。 PAI EAS コンソールで、削除されたサービスの名前をクリックし、表示される [Service Details] 画面から [View Endpoint Information] をクリックします。 エンドポイント URL と認証トークンを含むポップアップが表示されます。
Python コードに戻ります。 この Python コードを実行すると、以下の応答が得られます。
ECS ベース (IaaS) の生成 AI デプロイと同様に、LLM は (システムプロンプトに従って) 海賊のような口調で応答し、船旅のアイデアを提供してくれました。
このシリーズのパート 1 で説明したデプロイと比較して、すべてが簡単かつ迅速に (ECS の場合、数時間を必要としていたものが数分で) デプロイでき、使用できました。
さて、「JV、もっと簡単にできる 方法はありませんか?」
もちろんあります。
次回パート 3 では、さらに簡単な方法、Alibaba Cloud Model Studio を検討します。
ではまた次回をお楽しみに。
本記事の作成者について:JV は Alibaba Cloud フィリピンのシニアソリューションアーキテクトであり、チームのデータおよび生成 AI 戦略を主導しています。 この記事の内容が、お客様のビジネス上の問題のいくつかに関連していると思われる場合、JV (jv.roig@alibaba-inc.com) までお問い合わせください。
この記事は英語から翻訳されました。 元の記事は こちら です。
84 posts | 3 followers
FollowRegional Content Hub - August 28, 2024
Regional Content Hub - August 28, 2024
Regional Content Hub - February 26, 2024
Regional Content Hub - March 8, 2024
Regional Content Hub - January 19, 2024
Regional Content Hub - March 8, 2024
84 posts | 3 followers
FollowA platform that provides enterprise-level data modeling services based on machine learning algorithms to quickly meet your needs for data-driven operations.
Learn MoreDBStack is an all-in-one database management platform provided by Alibaba Cloud.
Learn MoreApply the latest Reinforcement Learning AI technology to your Field Service Management (FSM) to obtain real-time AI-informed decision support.
Learn MoreThis solution provides you with Artificial Intelligence services and allows you to build AI-powered, human-like, conversational, multilingual chatbots over omnichannel to quickly respond to your customers 24/7.
Learn MoreMore Posts by Regional Content Hub