AnalyticDB:概要

Introduction to vector databases

実世界のシナリオでは、ほとんどのデータは、画像、オーディオ、ビデオ、テキストなどの非構造化データの形式で表示されます。 非構造化データは、スマートシティ、ショートビデオ、パーソナライズされた製品推奨、視覚的な製品検索などの分野でのアプリケーションの出現に伴い、飛躍的に成長します。 非構造化データを処理するために、AI技術を使用して、非構造化データから特徴を抽出し、特徴を特徴ベクトルに変換し、特徴ベクトルを分析して取得します。 特徴ベクトルを格納し、分析し、取り出すことができるデータベースは、ベクトルデータベースと呼ばれる。

ベクトルデータベースは、ベクトルインデックス技術を使用して、特徴ベクトルを迅速に検索する。 ほとんどの場合、ベクトルインデックスは、近似最近傍探索 (ANNS) に使用される。 ベクトルインデックスの目的は、最も近い隣接データを検索し、検索効率を向上させるために最も正確な結果を返すことです。 従来のデータベースと比較して、ベクトルデータベースは、許容可能な精度の妥協で非常に効率的なデータ検索を実装します。

ANNSベクトルインデックスを本番環境に適用するには、次の2つの方法があります。

• ベクトルインデックスの作成とデータの取得に役立つANNSベクトルインデックスサービスを提供する専用ベクトルデータベースを構築します。

• ANNSベクトルインデックスを従来の構造化データベースに統合して、データベース管理システム (DBMS) を構築し、ベクトル検索機能を提供します。

AnalyticDB for PostgreSQLベクトルデータベースは、社内のFastANNベクトルエンジンを統合するDBMSの一種です。 AnalyticDB for PostgreSQLベクトルデータベースは、使いやすさ、トランザクション処理、高可用性、高スケーラビリティなどのエンドツーエンドのデータベース機能も提供します。

制御ポリシー機能の動作

ベクトル分析を実装するために、ベクトルデータベースはAIアルゴリズムを使用して非構造化データから特徴を抽出し、特徴ベクトルを使用して非構造化データを識別します。 ベクトル間の距離は、非構造化データ間の類似性を測定するために使用される。 AnalyticDB for PostgreSQLは、大規模並列処理 (MPP) アーキテクチャを使用して、ベクトル検索と分析を実装します。 SQL文を使用して、非構造化データを取得し、構造化データと非構造化データの相関分析を実行できます。

シナリオ

AnalyticDB for PostgreSQLベクトル分析は、次のインテリジェントアプリケーションシナリオで使用できます。

• 逆画像検索。 指定したイメージに似たイメージを検索できます。

• ビデオ検索。 指定したビデオ画像に似たビデオ画像を検索できます。

• 声紋検索。 声紋認識に基づいて、指定したオーディオファイルに似たオーディオファイルを検索できます。

• 推奨システム。 ユーザ特性に基づいて適切な特徴を推奨することができる。

• テキスト検索。 セマンティクスに基づいて、指定したテキストに似たテキストを検索できます。

• 大規模な言語モデルと組み合わせて構築されたQ&Aチャットボット。

• ファイル重複排除。 指定したファイルのフィンガープリントに基づいて、重複ファイルを削除できます。

メリット

AnalyticDB for PostgreSQLベクトルデータベースは、社内のFastANNベクトルエンジンを使用してベクトル分析機能を提供します。 ベクトル分析は、Alibaba Groupデータミッドエンド、eコマース、新規小売、Alibaba Cloud City Brain、Tongyi Qianwen Q&Aサービスなどのさまざまな分野で広く使用されています。

他のベクトルデータベースと比較して、AnalyticDB for PostgreSQLベクトルデータベースには次の利点があります。

• 構造化データと非構造化データのハイブリッド解析

  AnalyticDB for PostgreSQLベクトルデータベースは、従来のデータベースの機能を使用して、構造化、半構造化、および非構造化データのハイブリッド分析を実装し、構造化および半構造化インデックス作成機能を効率的に利用します。

• ベクトル検索と全文検索に基づく双方向検索

  AnalyticDB for PostgreSQLベクトルデータベースは、ベクトルインデックスと全文インデックスをサポートしており、ベクトル検索と全文検索を使用して双方向検索を実装できます。 これにより、ベクトルデータの検索精度が大幅に向上します。

• リアルタイムデータ更新とクエリ

  AnalyticDB for PostgreSQLベクターデータベースは、ストリーミングインポートとベクターデータのリアルタイム構築をサポートしています。

• 使いやすさ

  AnalyticDB for PostgreSQLベクトルデータベースは、インスタンスを作成し、標準SQL構文をサポートした後に簡単に使用できます。 これにより、開発プロセスが大幅に簡素化されます。

• コスト効率

  AnalyticDB for PostgreSQLベクトルデータベースは、FP32データをFP16形式に圧縮できます。 これにより、ストレージコストが50% 削減されます。 AnalyticDB for PostgreSQLベクターデータベースは、セグメント化されたページングストレージ上にベクターインデックスも構築し、PostgreSQLの共有バッファーに基づくキャッシュベースのスワッピングメカニズムを利用できます。 これにより、AnalyticDB for PostgreSQLは、使用可能なメモリサイズを超えるベクターインデックスを格納できます。