Platform For AI:公平性分析

Scikit-learn

from sklearn.linear_model import LogisticRegression

# ロジスティック回帰モデルを作成します。
sk_model = LogisticRegression(solver='liblinear', fit_intercept=True)
# モデルをトレーニングします。
sk_model.fit(X_train, y_train)

PyTorch

import torch
import torch.nn as nn
import torch.optim as optim

# ロジスティック回帰モデルを定義します。
class LogisticRegression(nn.Module):
    def __init__(self, input_size):
        super(LogisticRegression, self).__init__()
        self.linear = nn.Linear(input_size, 1)

    def forward(self, x):
        outputs = torch.sigmoid(self.linear(x))
        return outputs

# モデルをインスタンス化します。
input_size = X_train.shape[1]
pt_model = LogisticRegression(input_size)

# 損失関数とオプティマイザー。
criterion = nn.BCELoss()
optimizer = optim.SGD(pt_model.parameters(), lr=5e-5)

# モデルをトレーニングします。
num_epochs = 1
X_train_pt = X_train
y_train_pt = y_train
for epoch in range(num_epochs):
    # 順伝播。
    # DataFrame をテンソルに変換します。
    if isinstance(X_train_pt, pd.DataFrame):
        X_train_pt = torch.tensor(X_train_pt.values)
        X_train_pt = X_train_pt.float()
    outputs = pt_model(X_train_pt)
    outputs = outputs.squeeze()
    # ndarray をテンソルに変換します。
    if isinstance(y_train_pt, np.ndarray):
        y_train_pt = torch.from_numpy(y_train_pt)
        y_train_pt = y_train_pt.float()
    loss = criterion(outputs, y_train_pt)

    # 逆伝播と最適化。
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

TensorFlow

import tensorflow as tf
from tensorflow.keras import layers

# ロジスティック回帰モデルを定義します。
tf_model = tf.keras.Sequential([
    layers.Dense(units=1, input_shape=(X_train.shape[-1],), activation='sigmoid')
])

# 二値クロスエントロピー損失と確率的勾配降下法オプティマイザーを使用してモデルをコンパイルします。
tf_model.compile(optimizer='sgd', loss='binary_crossentropy', metrics=['accuracy'])

# モデルをトレーニングします。
tf_model.fit(X_train, y_train, epochs=1, batch_size=32, verbose=0)

Scikit-learn

from raiwidgets import FairnessDashboard
import os
from urllib.parse import urlparse
# テストデータセットに基づいて予測を行います。
y_pred_sk = sk_model.predict(X_test)

# responsible-ai-toolbox を使用して、各機密グループのデータ情報を計算します。
metric_frame_sk = FairnessDashboard(sensitive_features=sensitive_features_test,
                  y_true=y_test,
                  y_pred=y_pred_sk)

# リダイレクト用の URL を設定します。
metric_frame_sk.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_sk.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_sk.config['baseUrl'])

PyTorch

from raiwidgets import FairnessDashboard
import torch
import os
from urllib.parse import urlparse
# モデルをテストし、公平性を評価します。
pt_model.eval()  # モデルを評価モードに設定します。
X_test_pt = X_test
with torch.no_grad():
    X_test_pt = torch.tensor(X_test_pt.values)
    X_test_pt = X_test_pt.float()
    y_pred_pt = pt_model(X_test_pt).numpy()

# responsible-ai-toolbox を使用して、各機密グループのデータ情報を計算します。
metric_frame_pt = FairnessDashboard(sensitive_features=sensitive_features_test,
                           y_true=y_test,
                           y_pred=y_pred_pt.flatten().round())

# リダイレクト用の URL を設定します。
metric_frame_pt.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_pt.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_pt.config['baseUrl'])

TensorFlow

from raiwidgets import FairnessDashboard
import os
from urllib.parse import urlparse
# モデルをテストし、公平性を評価します。
y_pred_tf = tf_model.predict(X_test).flatten()

# responsible-ai-toolbox を使用して、各機密グループのデータ情報を計算します。
metric_frame_tf = FairnessDashboard(
                           sensitive_features=sensitive_features_test,
                           y_true=y_test,
                           y_pred=y_pred_tf.round())

# リダイレクト用の URL を設定します。
metric_frame_tf.config['baseUrl'] =  'https://{}-proxy-{}.dsw-gateway-{}.data.aliyun.com'.format(
    os.environ.get('JUPYTER_NAME').replace("dsw-",""),
    urlparse(metric_frame_tf.config['baseUrl']).port,
    os.environ.get('dsw_region') )
print(metric_frame_tf.config['baseUrl'])

機密性の高い特徴量： sex

• 機密性の高い特徴量： sex

• パフォーマンスメトリック： 精度

• 公平性メトリック： デモグラフィックパリティ差

• 精度： 正しい予測の割合。男性 (81.6%) に対するモデルの精度は女性 (93.1%) よりも低いですが、どちらも全体の精度 (85.4%) に近いです。

• 選択率： ポジティブな結果 (収入 >50K) を予測する確率。男性 (25.7%) の率は女性 (7.36%) よりも高く、女性の率は全体の率 (19.6%) よりもはるかに低いです。

• デモグラフィックパリティ差： グループ間のポジティブな予測率の差。0 に近い値ほどバイアスが少ないことを示します。全体の差は 18.3% です。

機密性の高い特徴量： race

• 機密性の高い特徴量： race

• パフォーマンスメトリック： 精度

• 公平性メトリック： デモグラフィックパリティ差

• 精度： 'White' (84.9%) と 'Asian-Pac-Islander' (79.1%) に対するモデルの精度は、'Black' (90.9%)、'Other' (90.8%)、'Amer-Indian-Eskimo' (91.9%) よりも低いです。すべての値は全体の精度 (85.4%) に近いです。

• 選択率： 'White' (21%) と 'Asian-Pac-Islander' (23.9%) の率は、'Black' (8.34%)、'Other' (10.3%)、'Amer-Indian-Eskimo' (8.14%) よりも高いです。後者の 3 つは全体の率 (19.6%) よりもはるかに低いです。

• デモグラフィックパリティ差： 全体の差は 15.8% です。