バイナリ分類評価コンポーネントを使用して、AUC、KS、およびF1スコア測定基準を計算し、コルモゴロフ・スミルノフ (KS) 曲線、精密再現 (P-R) 曲線、ROC曲線、リフトチャート、およびゲインチャートを生成する。
コンポーネントの設定
次のいずれかの方法を使用して、バイナリ分類評価コンポーネントを設定できます。
方法1: パイプラインページでコンポーネントを設定する
バイナリ分類評価コンポーネントのパラメーターは、Machine Learning Platform for AI (PAI) のMachine Learning Designerのパイプラインページで設定できます。 Machine Learning Designerは、以前はMachine Learning Studioとして知られていました。 下表に、各パラメーターを説明します。
パラメーター | 説明 |
オリジナルラベル列 | 対象の列の名前。 |
スコア列 | 予測スコアの列。 デフォルト値: prediction_score |
肯定的なサンプルラベル | サンプルが陽性サンプルかどうかを指定します。 |
KSやPRなどのインデックスを計算するときに同じ頻度のビンの数 | 等周波数ビニング法を用いて得られるビンの数。 |
グループ化列 | グループID列。 このパラメータは、各グループの評価メトリックを計算するために使用されます。 |
高度なオプション | [詳細オプション] を選択した場合、[予測結果の詳細] 列、[評価ターゲットと一致する予測ターゲット] 、および [パフォーマンスインデックスの保存] パラメーターが有効です。 |
予測結果の詳細列 | 予測結果の詳細列の名前。 |
予測ターゲットと評価ターゲット | 予測対象が評価対象と一致するかどうかを指定します。 例えば、金融シナリオでは、プログラムは、顧客が悪い確率を予測するように訓練される。 確率が大きいほど、顧客が悪い可能性が高くなります。 リフトなどの関連メトリックは、不良顧客検出率を評価します。 この場合、予測目的は評価目的と一致する。 クレジットスコアリングシナリオでは、プログラムは、顧客が良い確率を予測するように訓練される。 確率が大きいほど、顧客は良い可能性が高くなります。 ただし、関連するメトリックは、不良顧客検出率を評価します。 この場合、予測目的は評価目的と一致しない。 |
パフォーマンスインデックスの保存 | パフォーマンス指標を保存するかどうかを指定します。 |
方法2: PAIコマンドを使用する
PAIコマンドを使用してコンポーネントパラメータを設定します。 SQLスクリプトコンポーネントを使用してPAIコマンドを呼び出すことができます。 詳細については、「SQLスクリプト」をご参照ください。
PAI -name=evaluate -project=algo_public
-DoutputMetricTableName=output_metric_table
-DoutputDetailTableName=output_detail_table
-DinputTableName=input_data_table
-DlabelColName=label
-DscoreColName=scoreパラメーター | 必須 | 説明 | デフォルト値 |
inputTableName | 可 | 入力テーブルの名前。 | N/A |
inputTablePartitions | 不可 | トレーニング用に入力テーブルから選択されたパーティション。 | フルテーブル |
labelColName | 可 | 対象の列の名前。 | N/A |
scoreColName | 可 | スコア列の名前。 | N/A |
groupColName | 不可 | グループ列の名前。 このパラメータは、各グループの評価に使用されます。 | N/A |
binCount | 不可 | KSやPRなどのメトリックの計算中に等周波数ビニング法を使用して取得したビンの数。 | 1000 |
outputMetricTableName | 可 | 出力メトリックテーブル。 メトリックは、AUC、KS、およびF1スコアを含む。 | N/A |
outputDetailTableName | 不可 | 生成される詳細データテーブル。 | N/A |
positiveLabel | 不可 | サンプルが陽性サンプルかどうかを指定します。 | 1 |
ライフサイクル | 不可 | 出力テーブルのライフサイクル。 | N/A |
coreNum | 不可 | コアの数。 | システムによって決定される |
memSizePerCore | 不可 | 各コアのメモリサイズ。 | システムによって決定される |