Platform For AI：文章相似性

組件配置

您可以使用以下任意一種方式，配置文章相似性組件參數。

方式一：可視化方式

方式二：PAI命令方式

PAI -name doc_similarity    
    -project algo_public    
    -DinputTableName="pai_test_doc_similarity"    
    -DoutputTableName="pai_test_doc_similarity_output"    
    -DinputSelectedColName1="col0"    
    -DinputSelectedColName2="col1"

樣本

• 產生資料

  使用ODPS SQL節點建立表pai_ft_string_similarity_topn_input。命令如下：

  drop table if exists pai_doc_similarity_input;
  create table pai_doc_similarity_input as
  select * from 
  (
  select 0 as id, "北京 上海" as col0, "北京 上海" as col1
  union all
  select 1 as id, "北京 上海" as col0, "北京 上海 深圳" as col1
  )tmp

  執行成功後，輸入表pai_doc_similarity_input的資料如下：

  id	col0	col1
  1	北京 上海	北京 上海 深圳
  0	北京 上海	北京 上海

• 運行PAI命令

  您可以使用SQL指令碼執行如下PAI命令，也可以使用ODPS SQL節點執行如下PAI命令。

  drop table if exists pai_doc_similarity_output;
  PAI -name doc_similarity    
      -project algo_public    
      -DinputTableName=pai_doc_similarity_input    
      -DoutputTableName=pai_doc_similarity_output    
      -DinputSelectedColName1=col0    
      -DinputSelectedColName2=col1    
      -Dmethod=levenshtein_sim    
      -DinputAppendColNames=id,col0,col1;

• 輸出結果

  輸出表為pai_doc_similarity_output，如下所示。

  id	col0	col1	output
  1	北京 上海	北京 上海 深圳	0.6666666666666667
  0	北京 上海	北京 上海	1.0

常見問題

• 相似性計算是基於分詞的結果，即以空格分割的每個詞作為相似性計算的一個單位。如果是以字串整體輸入，需要使用字串相似性方法。

• 參數method中，levenshtein、lcs、simhash_hamming為計算距離。levenshtein_sim、lcs_sim、ssk、cosine、simhash_hamming_sim為計算相似性。距離=1.0-相似性。

• 相似性計算方法為cosine或ssk時，存在參數k，表示以k個詞作為一個組合，進行相似性計算。如果k大於詞的個數，即是兩個相同的字串，相似性輸出也為0。此時需要調小k的值，使其小於或等於最小詞個數。