FeatureStore

FeatureStore とは

FeatureStore は、PAI が提供する特徴量管理ツールです。 FeatureStore を使用すると、オフラインおよびオンライン サービスの特徴量データを保存および管理できます。

FeatureStore は、DataHub、Realtime Compute for Apache Flink、Hologres、Graph Compute、Tablestore などの複数の Alibaba Cloud サービスと統合して、特徴量管理機能を提供します。 これにより、アプリケーションはユーザー行動ログやリアルタイムで更新されるアイテムおよびユーザーの特徴量などのデータを DataHub から受信して MaxCompute と同期したり、Flink によって処理されたデータをオンライン ストレージ サービスに保存したりできます。 最終的に、レコメンデーション エンジン、ユーザーの増加、財務リスク管理などのアプリケーションは、FeatureStore SDK を呼び出して、オンライン ストレージ サービスの特徴量データにアクセスできます。

次の図は、FeatureStore を使用した全体的なプロセスを示しています。 図では、MaxCompute および DataHub からの入力データが特徴量計算およびサンプル モデル管理モジュールによって処理され、クライアント アプリケーション用にオンライン ストレージ サービスに公開されます。

用語

• 特徴量エンティティ

  特徴量エンティティは、オブジェクトに関する情報を提供する、意味的に関連する特徴量のコレクションです。 たとえば、レコメンデーション システム用に user と item という名前の 2 つのエンティティを作成できます。

• 特徴量ビュー

  特徴量ビューには、一連の特徴量とその派生特徴量に関する情報が含まれています。 特徴量ビューは、特定の特徴量エンティティによって記述される特徴量のサブセットです。 特徴量ビューは、オフライン特徴量テーブルとオンライン特徴量テーブル間のマッピングを示します。

• 結合 ID

  特徴量ビューを特徴量エンティティに関連付けるフィールド。 各特徴量エンティティには結合 ID があります。 結合 ID を使用して、複数の特徴量ビューにわたって特徴量を関連付けることができます。

  説明

  各特徴量ビューには、特徴量を取得するために使用できるプライマリキー（インデックス）があります。 プライマリキーは、結合 ID の名前とは異なる場合があります。

  たとえば、レコメンデーション システムの結合 ID として user_id（user テーブルのプライマリキー）と item_id（item テーブルのプライマリキー）を設定できます。

• ラベル テーブル

  ラベル テーブルには、モデル トレーニングに使用されるラベルが保存されます。 これには、モデル トレーニングのターゲット属性と特徴量エンティティの結合 ID が含まれます。 レコメンデーション システムの場合、ラベル テーブルは一般に、user_id、item_id、または request_id に基づいて行動テーブルのデータをグループ化することによって生成されます。

シナリオ

• レコメンデーション システムと広告の並べ替え: このシナリオの特徴量データには、閲覧履歴、購入記録、ユーザーのペルソナが含まれます。 FeatureStore のリアルタイム特徴量の読み取りおよび書き込み機能により、モデルのパフォーマンスが向上し、広告の精度と効果が向上します。

• 検索エンジンのランキング: このシナリオの特徴量データには、キーワード マッチング、クリック率、販売量が含まれます。 FeatureStore を使用してランキング モデルをトレーニングし、Elasticsearch や OpenSearch などの検索エンジンから結果を呼び出すことができます。 呼び出された結果は、EAS で TensorFlow モデルのスコアリング サービスをリクエストするために使用されます。 これにより、ユーザーの検索意図とプリファレンスに基づいて、より正確でパーソナライズされた検索結果をユーザーに提供できます。

• ユーザーの増加とリスク管理: FeatureStore を使用すると、個人情報、取引行動、ユーザーの信用履歴を管理し、XGBoost や GBDT モデルなどの機械学習モデルを使用してリスク評価を実行できます。 これにより、ビジネス リスク管理の精度と効率が向上します。

• オフライン キーバリュー データ同期: FeatureStore を使用すると、商品属性テーブルやユーザー属性テーブルなどの特徴量データを管理できます。 これにより、オフライン データのオンライン ストレージ サービスへの同期とスケジューリングが簡素化されます。

特徴

FeatureStore のしくみ

• FeatureStore はデータ ストアを提供します。 FeatureStore は、オフライン ストレージ サービスとオンライン ストレージ サービスと統合されているため、オフラインおよびオンラインの特徴量データを一元的に読み取り、書き込み、管理できます。

• FeatureStore の特徴量ビューにオフラインおよびオンライン特徴量テーブルを登録できます。 これにより、特徴量ビューを使用して特徴量データを要約およびマッピングできます。

• ラベル テーブルを MaxCompute に保存し、FeatureStore に登録して、FeatureStore が FeatureStore にマッピングされたラベル テーブル データを読み取って処理できるようにすることができます。

• FeatureStore では、特徴量エンティティの結合 ID を使用して、複数の特徴量プロジェクトの特徴量ビューを関連付けることができます。 これにより、特徴量エンティティのすべての特徴量を互いに関連付け、ラベル テーブルを使用してモデル特徴量サンプル テーブルを生成し、サンプル テーブルを MaxCompute に保存できます。

リージョン

FeatureStore は、中国（北京）、中国（上海）、中国（杭州）、中国（深圳）、中国（香港）、シンガポール、米国（シリコンバレー）、米国（バージニア）の各リージョンで利用できます。

手順

1. データ ストアを作成する（オフラインおよびオンライン データ ストアを含む）。

2. プロジェクトを作成する、特徴量エンティティ、特徴量ビュー、ラベル テーブルを設定し、トレーニング データセットを生成する。

3. オフライン データをオンライン ストアに同期する。

4. オフライン データをオンライン ストアに同期するジョブが開始された後、[ジョブ] タブで ジョブのステータスと詳細を表示する。

5. Java または Go オンライン エンジンで FeatureStore のオンライン データを読み取って使用する必要がある場合は、技術支援のために DingTalk グループ 34415007523 に参加してください。