パラメータ
・一部の重要なパラメータを選んでチューニング対象とすることが一般的
・参考
ハイパーパラメータ
・ハイパーパラメータが多く、性能発揮のため、パラメータチューニングが重要
・API、boosterのタイプ(boosting type)の選択
API:Scikit-Learn API
boosting type:gbdt
チューニング
・Scikit-Learn APIとTraining APIで、一部パラメータの名称が異なる。
| | SL API | Tr API | デフォルト | 範囲 | 過学習寄り |
| | reg_alpha | lambda_l1 | 0 | 0-∞ | 小さいほど |
| | reg_lambda | lambda_l2 | 0 | 0-∞ | 小さいほど |
| | num_leaves | num_leaves | 31 | 2-131072 | 大きいほど |
| | colsample | feature_fraction | 1.0 | 0-1 | 大きいほど |
| | subsample | bagging_fraction | 1.0 | 0-1 | 大きいほど |
| | subsample_freq | bagging_freq | 0 | 0-∞ | 大きいほど |
| | min_child_samples | min_data_in_leaf | 20 | 0-∞ | 小さいほど |
Train API ( lgb.train() )使用時
| | パラメータ | デフォルト | オプションなど |
| | task | train | |
| | boosting | gbdt | |
| | objective (損失関数)
| regression
|
multiclass(多クラス分類)
binary(二項分類)
lambdarank
|
| | metric (評価指標)
| ''
|
multi_logloss(多クラス分類)
binary_logloss(二項分類)
ndcg(lambdarankなど)
|
| | label_gain | 0,1,3,7,15,31,・・・ | DCGの分子(gain)を指定(2^30-1) |
| | eval_at | 1,2,3,4,5 | 評価する対象(1~5位など) |
| | force_col_wise | false | used only with cpu device type |
| | learning_rate | 0.1 | |
| | min_data_in_leaf | 20 | aliases:min_dataなど |
| | min_data_in_bin | 3 | min_data_in_bin > 0 |
| | verbose
| 1
|
0: Error (Warning)
1: Info
>1: Debug
|
・参考
フォーマット
・key1=value1
|