Platform For AI:ドキュメントの類似性

コンポーネントの設定

次のいずれかの方法を使用して、ドキュメント類似性コンポーネントを設定できます。

方法1: PAIコンソールでコンポーネントを設定する

方法2: PAIコマンドを使用してパラメータを設定する

PAI -name doc_similarity    
    -project algo_public    
    -DinputTableName="pai_test_doc_similarity"    
    -DoutputTableName="pai_test_doc_similarity_output"    
    -DinputSelectedColName1="col0"    
    -DinputSelectedColName2="col1"

例

• 入力

  ODPS SQLノードを使用してテーブルpai_ft_string_similarity_topn_inputを作成します。 詳細については、「MaxCompute SQLタスクの開発」をご参照ください。 サンプルコマンド:

  drop table if exists pai_doc_similarity_input;
  create table pai_doc_similarity_input as
  select * from 
  (
  select 0 as id, "Beijing Shanghai" as col0, "Beijing Shanghai" as col1 from dual
  union all
  select 1 as id, "Beijing Shanghai" as col0, "Beijing Shanghai Shenzhen" as col1 from dual
  )tmp

  コマンドを実行すると、次の表が入力テーブルpai_doc_similarity_inputになります。

  id	col0	col1
  1
  0

• PAIコマンド

  SQLスクリプトコンポーネントまたはODPS SQLノードを使用して、次のPAIコマンドを実行できます。

  drop table if exists pai_doc_similarity_output;
  PAI -name doc_similarity    
      -project algo_public    
      -DinputTableName=pai_doc_similarity_input    
      -DoutputTableName=pai_doc_similarity_output    
      -DinputSelectedColName1=col0    
      -DinputSelectedColName2=col1    
      -Dmethod=levenshtein_sim    
      -DinputAppendColNames=id,col0,col1;

• Output

  次の表は、pai_doc_similarity_outputという名前の出力テーブルです。

  id	col0	col1	出力
  1	北京上海	北京上海深セン	0.6666666666666667
  0	北京上海	北京上海	1.0

よくある質問

• 類似度の計算は、単語分割の結果に基づく。 単語はスペースで区切られています。 各単語は、類似度計算の単位となる。 入力が全体として文字列の場合は、文字列類似法を使用します。

• methodパラメーターでは、levenshtein、lcs、およびsimhash_hammingを使用して距離を計算します。 levenshtein_sim、lcs_sim、ssk、cosine、およびsimhash_hamming_simを使用して類似度を計算します。 距離は、以下の式を使用することによって計算される: 距離=1.0 − 類似性。

• メソッドパラメーターをcosineまたはsskに設定すると、kパラメーターが使用可能になります。これは、k個の単語が類似度計算の組み合わせとして使用されることを示します。 kの値がワードの数より大きい場合、2つのストリングは同じである。 類似度出力は0である。 この場合、kの値を最小ワード数以下の値に変更する必要があります。