OpenSearch:データ処理プラグインの使用

プラグイン

説明

例

JsonKeyValueExtractor

このプラグインは、JSON 形式のソースフィールドから指定されたキー値を抽出します。抽出されたキー値は、デスティネーションテーブルフィールドの名前として使用されます。指定されたキーの値のみを抽出できます。

{"title":"the content","body":"the content"} から title キーの値が抽出されます。抽出された値が JSON 配列形式の場合、値は配列型のフィールド値に変換されます。抽出された値の型がデスティネーションテーブルフィールドの型と一致していることを確認してください。一致しない場合、抽出された値は失われます。上記の JSON 配列形式は、OpenSearch で定義されている JSON 配列形式を指します。LITERAL_ARRAY 型のフィールドの例: {"tags":["a","b","c"]}. INT_ARRAY 型のフィールドの例: {"tags":[1,2,3]}.

MultiValueSpliter

ソースフィールドは、区切り文字で区切られた複数の値に分割されます。分割された内容は、デスティネーションテーブルフィールドの内容として使用されます。デスティネーションテーブルフィールドは、ARRAY 型のフィールドである必要があります。

注

• 区切り文字が \t などの一般的な印字不能文字の場合、直接記述できます。区切り文字が一般的でない印字不能文字の場合、\u001D などの Unicode 文字を使用して識別する必要があります。

• さらに、このプラグインは ## や \t\t などの複数文字の区切り文字をサポートしています。

データソースの内容は 1,2,3 です。区切り文字を指定するときにカンマ (,) を入力できます。

KeyValueExtractor

このプラグインは、キーと値のペアであるソースフィールドから、指定されたキーと値を抽出します。抽出されたキーと値は、デスティネーションテーブルフィールドの値として使用されます。指定されたキーの値のみを抽出できます。区切り文字は必要ありません。

key1:value1,value2;key2:value3 のフィールドの場合、キーは key1 と key2、キーと値のペアはセミコロン (;) で区切られ、キーと値はコロン (:) で区切られ、値はカンマ (,) で区切られます。抽出された値を区切るために区切り文字を使用すると、値は Array 型のフィールド値に変換されます。抽出された値の型がデスティネーションテーブルフィールドの型と一致していることを確認してください。一致しない場合、抽出された値は失われます。同じキーが 2 つ存在する場合、2 番目のキーの値のみが抽出されます。

StringCatenateExtractor

このプラグインは、指定されたフィールドの値を指定された順序で文字列に連結します。このプラグインは INT 型のフィールドを連結できません。LITERAL 型のフィールドを使用することをお勧めします。複数のフィールドはカンマ (,) で区切ります。フィールドはデスティネーションテーブルフィールドからのものである必要があります。

このプラグインを使用して、field1 フィールドと field2 フィールドをアンダースコア (_) を使用して新しいフィールドに連結できます。また、システム変数 $table から現在のテーブル名を取得することもできます。$table は、テーブルシャーディングワイルドカードが設定されている場合にのみ表示されます。

HTMLTagRemover

このプラグインは、ソースフィールドの値から HTML タグを削除します。次に、デスティネーションフィールドの値は、HTML タグのない値に置き換えられます。

ソースフィールドの値は <div id=”copyright”>OpenSearch</div> です。このプラグインを使用して HTML タグを削除すると、フィールドの値は OpenSearch として解析されます。