Rで決定木分析（rpartによるCARTとrangerによるランダムフォレスト）

Mon, 05 Jun 2017 00:00:00 +0900

準備

決定木（decision tree）分析をする際、まず目的変数の種類とアルゴリズムを決定する。

アルゴリズム

CART
CHAID
ID3 / C4.5 / C5.0

目的変数の型

目的変数の型によって扱いが変わる

質的変数（2値変数）：分類木→目的変数が0/1, T/Fの場合はas.factor()でfactor型にデータ変換しておく
量的変数：回帰木
survivalオブジェクト
（生起を表す2カラム）

CARTはすべて対応、C4.5/C5.0は質的変数のみここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。

データセットと前処理

Default of Credit Card Clients Dataset データセットの主な留意点

30000行25変数
最初の列が識別子（ID）→除外
3列目SEX, 4列目EDUCATION, 5列目MARRIAGEがカテゴリ変数→factorに変換
最終列default.payment.next.monthが目的変数で0/1の値をとる。
それ以外は数値型変数なので型変換の必要なし

以上の処理をしたデータのうち80%を学習データ、20%をテストデータとして分割する。

require(data.table)

data.dt <- fread("UCI_Credit_Card.csv")
data.dt[,ID:=NULL]
data.dt[,SEX:=as.factor(SEX)]
data.dt[,EDUCATION:=as.factor(EDUCATION)]
data.dt[,MARRIAGE:=as.factor(MARRIAGE)]

nr <- nrow(data.dt)
train <- sample(nr, nr*0.8)
train.dt <- data.dt[train] # 学習データ
test.dt <- data.dt[-train] # 検証データ

1回限りの決定木

実行

require(rpart)
train.dt |>
 mutate(
 default.payment.next.month = as.factor(default.payment.next.month == 1)
 ) |>
 rpart(
 formula = default.payment.next.month ~ .,
 data = _,
 method = 'class',
 parms = list(split='information'),
 control = rpart.control(minsplit = 10, cp= .001)
 ) -> rpart_model

dplyrのパイプ内でdata.tableを渡す場合、mutateの結果はtibble/data.frameになる。rpartはdata.frameをそのまま受け付ける
投入するデータテーブルの変数を絞っておくと変数指定が楽
プロットしたときのラベルをわかりやすく変換しておくといい
分類木の場合は目的変数をfactor型に変換しておく
重要なパラメータ
- method（通常は目的変数の型によって自動で最適なものが選択される）
  - ‘class’で分類木（目的変数がfactor型）
  - ‘poisson’で生起（目的変数が2カラムの生起データ）
  - ’exp’で生存（目的変数がsurvivalオブジェクト）
  - ‘anova’で回帰木（目的変数が上記のいずれでもない）
- parms: method = 'class'の場合、以下の指標に基づいて分割。method = 'anova'の場合は指定しない
  - parms = list(split='gini')でジニ係数を使う（デフォルト）
  - parms = list(split='information')でエントロピーを使う
- rpart.control
  - minsplitは1ノードのサイズの下限
  - cpは小さいほど細かく分岐する。あとで粗くできるので最初は細かく分けておくといい

見る

summary(rpart_model)

出力

決定木 on Marketechlabo

Rで決定木分析（rpartによるCARTとrangerによるランダムフォレスト）

準備

アルゴリズム

目的変数の型

データセットと前処理

1回限りの決定木

実行

見る