R on Marketechlabo

Rの細かいTipsまとめ（小さいTipsの寄せ集め）

Wed, 10 Jan 2018 00:00:00 +0900

独立した記事にはならないが、それぞれ便利かつ重要な小さなRのTipsを紹介。

チートシート

ggplot2

`qplot()`

基本

qplot(x=Sepal.Width, y=Sepal.Length, data=iris, geom="point", color=Species) # 散布図
qplot(x=date, y=unemploy, data=economics, geom="line") # 折れ線グラフ
qplot(x=feed, data=chickwts, geom="bar") # 棒グラフ
qplot(x=Sepal.Width, data=iris, binwidth=0.3, geom="histogram") # ヒストグラム
qplot(x=Sepal.Width, data=iris, geom="density") # 密度プロット
qplot(y=Sepal.Length, data=iris, geom="boxplot") # 箱ひげ図
qplot(x=Species, y=Sepal.Length, data=iris, geom="boxplot") # 箱ひげ図xy
qplot(x=Species, y=Sepal.Length, data=iris, geom="violin") # バイオリンプロット

高度なチャート

qplot(x=Sepal.Width, y=Sepal.Length, data=iris, geom=c("point", "smooth"), facets = round(Petal.Width) ~ Species) # 共変量プロット
qplot(x=Species, y=Sepal.Length, data=iris, geom='boxplot', facets = round(Sepal.Width) ~ round(Petal.Width))

見た目をカスタマイズ

qplot(x=Sepal.Width, y=Sepal.Length, data=iris, color=Species, geom="point", xlim=c(0,NA), ylim=c(0,NA), main="散布図の例", xlab="がくの幅", ylab="がくの長さ")

`ggplot()`

基本

p1 <- ggplot(iris, aes(x=Sepal.Width, y=Sepal.Length, color=Species)) + geom_point() # 散布図
p2 <- ggplot(economics, aes(x=date, y=unemploy)) + geom_line() # 折れ線グラフ
p3 <- ggplot(chickwts, aes(x=feed)) + geom_bar() # 棒グラフ
p4 <- ggplot(iris, aes(x=Sepal.Width)) + geom_histogram(binwidth=0.3) # ヒストグラム
p5 <- ggplot(iris, aes(x=Sepal.Width)) + geom_density() # 密度プロット
p6 <- ggplot(iris, aes(y=Sepal.Length)) + geom_boxplot() # 箱ひげ図
p7 <- ggplot(iris, aes(x=Species, y=Sepal.Length)) + geom_boxplot() # 箱ひげ図xy
p8 <- ggplot(iris, aes(x=Species, y=Sepal.Length)) + geom_violin() + geom_boxplot(width=.1, fill="black", outlier.colour=NA) + stat_summary(fun=median, geom="point", fill="white", shape=21, size=2.5) # バイオリンプロット

高度なチャート

Rでローデータの読み込み（データフレーム、data.table、webデータの取得）

Thu, 18 Jan 2018 00:00:00 +0900

Rを使ったデータ前処理の方法を解説する。データフレーム形式だけでなく、大きなデータを扱うのに高速なdata.tableを使ったデータの前処理の方法も解説する。まず一般的にデータの前処理の手順は以下のようなものである。

ローデータの読み込み
データの整形（分析用データセットの生成。データの持つ情報は保持）
- データの型確認
- 必要な（分析対象とする）列の抽出
- 列名の変更
- データ変換
  - データの型変換
  - 日時データの生成
  - 因子データの生成（ordered）
データクリーニング（正しく分析できるように必要に応じて情報を一部削る）
- 行の削除（抽出）
- 行の並べ替え（ソート）
- 標準化（scale）
- 欠損値処理
- 外れ値処理
- 結合
変数の追加と削除
- 変数の追加
  - コーディング／グルーピング
  - 合成変数の生成
- 変数の削除

この順を追って、データの前処理の方法を解説する。

※data.tableオブジェクトはデータフレームクラスにも属しているため、多くの場合でデータフレームのように扱うことができるが、data.tableで扱う方が高速である。 data.tableをデータフレームと比べた時に気をつけるべき大きな違いは

日付でPOSIXltは使えない
rownamesを使わない

ワーキングディレクトリのセット

プロジェクトごとにワーキングディレクトリをセットするといい

setwd('/home/ruser/data/')

テキストファイル（CSV）の読み込み

データフレーム

万能の（オプションを詳細に指定する必要があるが）read.table()、CSVファイルの読み込みに特化したread.csv()、タブ区切りテキストの読み込みに特化したread.delim()がある。

x.df <- read.csv('filename.csv', stringsAsFactors = F, fileEncoding = 'UTF-8-BOM', na.strings = '')

ヘッダ header = T/F
デフォルトでread.csv()はヘッダあり、read.table()はヘッダなし
文字コード fileEncoding = "文字コード名"
Windowsで作ったCSVを読み込む際BOMが付いていることがあるので、その場合はfileEncoding = "UTF-8-BOM"とする
区切り文字 sep = '区切り文字'
read.table()では指定必須（デフォルトで空白が区切り文字になる）。
文字列の扱い stringsAsFactors = T/F
文字列が自動的にfactor型になるので、不都合な場合はstringsAsFactors = Fを指定する
欠損値（NA）の扱い na.strings = c('文字列', '文字列')
デフォルトではNAという文字列のみがNAと認識される。1種類であれば文字列で与える。複数種類であればベクトルで与える。データベースからエクスポートしたCSVなどでNULLという文字列を欠損値扱いする場合はna.strings = 'NULL'、空文字を欠損値扱いする場合はna.strings = ''を指定する（そうしないと空文字は長さ0の文字列として認識される）。
変数名と変数の型
バッチ処理では変数が決まっているので変数名と型をあらかじめ指定して読み込むことができる。
col.names=c("pid", "pageName", "sales", ...)
colClasses=c("integer", "character", "numeric", ...)

data.table

サイズの大きいファイルの読み込みが速い。巨大なファイルの読み込みはこれを使う一手。カンマ区切りテキスト、その他区切りテキストいずれも同じ関数fread()で読み込む。

Rでデータの整形（列のデータ型確認、列の抽出、列名の変更、列の型変換）

Fri, 19 Jan 2018 00:00:00 +0900

ローデータから分析対象とする変数のみ抽出し（個人情報など、保持すべきでない変数を削除するなど）、情報を失わない範囲で分析するためのデータセットを作る。分析プロジェクトにおけるローデータと同じ量の情報を持つ、整形された（扱いやすい）データセットを作るのである。この後のデータクレンジング以降で、データの加工方法を変更するなどで手戻りが発生することもある。その際ローデータの読み込みまで戻るのは大変なので、ローデータを同じ情報を持つ、整形された状態のデータを作っておくのが重要である。データクレンジングで手戻りが発生しても、ここで整形したデータセットまで戻ればいい。

dtplyrについて

本記事ではdata.table（例：fread()で読み込んだcustomer.dt）の操作にライブラリ{dtplyr}を使う。lazy_dt()でdata.tableをラップし、select, mutate, renameなどの関数で列の抽出・型変換を行う。library(dtplyr)を読み込んでおくこと。

変数の型

データの型確認

関数str()を使う。これはデータフレーム、data.table同様に使える関数である。

データフレーム

str(customer.df)

data.table

str(customer.dt)
customer.dt |> str()

基本的なデータの型の種類

boolean

logical: TRUE or FALSE、短縮してT or Fとしても可能

数値

整数はinteger
明示的にintegerとして扱うにはx <- 5LのようにLを付ける
小数を含めるとnumeric
bigint相当はlibrary(bit64)を使うとinteger64として指定できる。fread()で読み込んだ場合、32bit範囲内の整数は通常のinteger型、それを超える大きな整数のみinteger64型として読み込まれる。

文字列の扱い

単純な文字列character
カテゴリカル変数として扱うにはfactor
順序つきカテゴリカル変数として扱う場合ordered

分析対象とする列の抽出、列名の変更

列の抽出、削除

データフレーム

指定した列を削除する。列名 <- NULLでその列をデータフレームから除去する。

customer.df$firstname <- NULL

data.table

lazy_dt()でdata.tableをラップし、select()で残す列を指定、最後にas.data.table()で元の形式に戻す。select()で指定しなかった列は削除される。

customer.dt %>%
 lazy_dt() %>%
 dtplyr::select(列名, ...) %>%
 as.data.table()

select()関数名が他のパッケージと重複するので、dtplyr::select()と指定するのが安全である。

列名の変更

データフレーム

names()で列名のベクトルを取得し、条件に合う要素を新列名で置き換える。

names(customer.df)[names(customer.df) == "旧列名"] <- "新列名"

data.table

rename(新列名 = 旧列名)で列名を変更する。複数列の変更はカンマ区切りで並べる。

customer.dt %>%
 lazy_dt() %>%
 rename(新列名 = 旧列名) %>%
 as.data.table()

列の型変換

データフレーム

as.factor()で文字列列をカテゴリ変数に、as.logical()で条件式の結果をTRUE/FALSEに変換する。

customer.df$reg_store<- as.factor(customer.df$reg_store)
customer.df$older <- as.logical(customer.df$age>40)

data.table

mutate(列名 = 変換処理の関数(列名))で列を上書きする。$による直接代入と同等の結果になる。

Rでデータクリーニング、変数の生成

Mon, 22 Jan 2018 00:00:00 +0900

このあたりから処理がアドホック寄りになるので、data.tableを使う場合でもパイプ（dplyr）を使って一度に実行するのではなく添字記法を使って1ステップずつ進めていくといい（1行ずつ実行する場合は添字記法を使った方がコード量が少なくて済む）。

行の削除（抽出）

行の抽出

行の並べ替え（ソート）

行の並べ替え

変数の加工（データフレーム／data.frame共通）

標準化（scale）

指定した変数を標準化（平均＝０、分散＝1のスケールに圧縮／拡大）する。 scale()関数を使う。

# データフレーム
x.df$purchase_amount <- scale(x.df$purchase_amount)
# data.table
x.dt[,purchase_amount := scale(purchase_amount)]

複数列をまとめてやるにはmutate(across(...))を使って

x.dt |>
 lazy_dt() |>
 mutate(across(c(n_purchase, purchase_amount), scale)) |>
 as.data.table() -> x.dt

などとする。across()の詳細はdplyrの公式ドキュメントを参照。

欠損値処理

NAをいずれかの列に含む行全体を削除（いわゆるリストワイズ法）→na.omit()関数を使う

# データフレーム
x.df <- na.omit(x.df)
# data.table
x.dt <- na.omit(x.dt)
# パイプを使う場合
x.dt |>
 lazy_dt() |>
 na.omit() |> ...
 as.data.table() -> x.dt

特定の値を代入する（以下の例では平均値）

# データフレーム
x.df$n_purchase[is.na(x.df$n_purchase)] <- mean(x.df$n_purchase, na.rm = T)
# data.table
x.dt[is.na(n_purchase), n_purchase := mean(n_purchase, na.rm = T)]

一般的な欠損値処理についてはこのあたりを参照

data.tableのままで（data.tableの性質を保持したままで）これらの処理をすることは不可能だが、データフレームに対しては実行できる。そのためdata.tableオブジェクトをそのままこれらの関数に渡し、処理結果のデータフレームをas.data.table()でdata.table化する。

外れ値処理

以下の流れになる。

各列に対する外れ値を検出
外れ値を含む行を除外する→行の削除

各列に対する外れ値の検出はdata.tableに固有の方法はない。スミルノフ・グラブス検定grubbs.test() {outliers}などで外れ値の閾値を検出する。たとえば

> grubbs.test(x.dt$n_purchase_shoes)

 Grubbs test for one outlier

data: x
G = 6.55290, U = 0.56187, p-value = 3.242e-12
alternative hypothesis: highest value 50 is an outlier

という結果が出たら、

Rでデータセットの抽出（行の抽出、並べ替え、サンプリング、分割）

Tue, 23 Jan 2018 00:00:00 +0900

前のページではデータフレーム、data.tableの列（変数）の処理について解説したが、今度は行の抽出、並べ替え、サンプリング、分割といった行の処理についてまとめる。

行の削除（抽出）

データフレーム

ad_log <- ad_log[ad_log$imp>1000 & ad_log$click<10, , drop=F]
ad_log <- with(ad_log, ad_log[imp>1000 & click<10, , drop=F])

上下は同じ。with()関数はバッチの中でも使えるので便利。 データフレームの抽出・絞り込みでは第3添字にdrop=FALSEを付けること！ 行列の添え字にdrop=FALSEを付けないと1行（列）のみマッチの場合にベクトルとして返す。そうなるとデータフレームを想定してその後の処理にrbind()をしていたのができなくなるなど、行列処理に思わぬ不具合をきたすことになる。 drop=FALSEを付けて1行n列の行列を返すように。ただしtapply()などで使う1列取得の際は付けてはならない。ベクトルとして処理する必要がある。

data.table

n_purchase < 10の行を抽出

# dtplyrのパイプを使う場合
x.dt |>
 lazy_dt() |>
 filter(n_purchase < 10) |>
 as.data.table() -> x.dt
# 添字を使う場合
x.dt[n_purchase < 10,] -> x.dt

n_purchase < 10の行を削除

# dtplyrのパイプを使う場合
x.dt |>
 lazy_dt() |>
 filter(!(n_purchase < 10)) |>
 as.data.table() -> x.dt
# 添字を使う場合
x.dt[!(n_purchase < 10),] -> x.dt

複数条件（AND）

dtplyrのパイプを使う場合

# dtplyrのパイプを使う場合
x.dt |>
 lazy_dt() |>
 filter(n_purchase < 10, interval_latest_purchase > 30) |>
 as.data.table() -> x.dt
# 添字を使う場合
x.dt[n_purchase < 10 & interval_latest_purchase > 30,] -> x.dt

filter()を使う場合でも&で条件を結合していい。

複数条件（OR）

dtplyrのパイプを使う場合

# dtplyrのパイプを使う場合
x.dt |>
 lazy_dt() |>
 filter(n_purchase < 10 | interval_latest_purchase > 30) |>
 as.data.table() -> x.dt
# 添字を使う場合
x.dt[n_purchase < 10 | interval_latest_purchase > 30,] -> x.dt

いずれも|で条件を結合する。

RとExcel（ファイルの読み書き、データフレームをExcelで編集）

Thu, 17 May 2018 00:00:00 +0900

RでExcelファイル（.xlsx）を読み書きするライブラリはいくつかあるが、openxlsxが多機能でかつ使いやすい。Javaも不要なのでインストールや動作も軽い。古いファイル（.xls）には非対応だが、現行のファイル（.xlsx）のみ対応でよければこれがおすすめ。

Excelファイルの読み込み

read.xlsx()関数を使う。たとえばファイルC:/Users/fukuyama/Documents/master.xlsxのシート「ユーザ」を読み込む場合

m_user.df <- read.xlsx('C:/Users/fukuyama/Documents/master.xlsx', na.strings = '', sheet = 'ユーザ')

na.stringsを指定しないと「NA」という文字列を欠損値扱いする。基本的にはいつも空文字を欠損値扱いするようにしておいたほうが安全である。

Excelファイル書き出し

単純にテーブルをそのまま出力するだけ

書式など細かいカスタマイズをせず、単にテーブルを出力するだけであればwrite.xlsx()関数を使えばいい。出力したxlsxファイルを開くのがopenXL()関数である。複数のテーブルをシート別にまとめて1個のファイルで出力し、それを開く場合

list(
 'IRIS' = iris,
 'CO2' = CO2,
 'USArrests' = USArrests
) |> write.xlsx(file = 'data.xlsx', rowNames = F)
openXL('data.xlsx')

ヘッダ colNames = T/F
デフォルトでヘッダあり、colNames=Fでヘッダなし。
行番号 rowNames = T/F デフォルトで行番号の列なし、rowNames=Tで行番号を付ける。
フィルタ withFilter= T/F デフォルトでフィルタは付けない。withFilter=Tでフィルタを付ける。
Excelのテーブルフォーマットにする asTable = T/F
デフォルトではテーブルフォーマットにしないが、asTable=Tでテーブルにする。

パイプでまとめてこういう使い方もできる。

mail_delivery.dt |>
 lazy_dt() |>
 group_by(segment_id) |>
 summarise(
 n = n(),
 n_open = sum(!is.na(datetime_open)),
 n_click = sum(!is.na(datetime_click))
 ) |>
 write.xlsx('mail_response.xlsx') |> openXL()

書き込むと同時にファイルを開く。回帰分析の結果も

write.xlsx(mail.glm, file = 'mail_regression.xlsx')

いくつかの分析結果オブジェクトを直接Excelファイルにすることができる。

書式などを指定して出力する

書式などを細かく指定するなら

createWorkbook()でワークブックインスタンスを作り
addWorksheet()でシートを作り
writeData()でデータを出力し
addStyle()などで書式を設定し
saveWorkbook()で書き込みコミットする

# ワークブックインスタンスの生成
wb <- createWorkbook()

# ワークシートの追加
addWorksheet(wb, 'カテゴリマスタ')
addWorksheet(wb, '商品マスタ')
addWorksheet(wb, 'カテゴリ別新規購入率')
addWorksheet(wb, 'カテゴリ別リピート率')

# データの出力
writeData(wb, sheet = 1, rowNames = T, category.dt)
writeData(wb, sheet = 2, rowNames = T, product.dt)
writeData(wb, sheet = 3, rowNames = T, new_purchase.dt)
writeData(wb, sheet = 4, rowNames = T, repeat.dt)

# 書式（フォントサイズ、カラー、フォント名）
modifyBaseFont(wb, fontSize = 11, fontColour = "#000000", fontName = "MS PGothic")

# 条件付き書式
for (.i in c(3,4)) {
 # 範囲指定して値のフォーマットを指定
 addStyle(wb, .i, cols=2:100, rows=2:100, gridExpand = T, style = createStyle(numFmt = '0.0%'))
 # 条件付き書式
 conditionalFormatting(wb, .i, cols=2:100, rows=2:100, rule="<0.01", gridExpand = T, style = createStyle(fontColour = "#9C0006", bgFill = "#FFC7CE"))
}

# 保存
saveWorkbook(wb, "products.xlsx", overwrite = TRUE)

データをExcel上で編集する

Excelファイルの入出力ではないが、Rのデータ（データフレームや行列）をExcel上で編集することができる。表計算のグリッドが使えるので操作性は抜群。RのCUIの欠点であるデータが見づらい、編集しにくいという点を完全に補ってくれるので知っておくと大変便利。パッケージ{XLConnect}をインストールして以下のコマンドを実行するだけ。XLConnectはJavaに依存しており、近年のRユーザ環境ではJavaのセットアップがハードルになることがある。

Rで時系列分析の簡単なまとめ

Thu, 16 Aug 2018 00:00:00 +0900

時系列のアプローチ

単系列
- ざっと見る
- 定常性の確認
- ARIMA/SARIMAモデルをあてはめる
複数系列の関係→VAR（ベクトル自己回帰）モデル
その他の変数がある（時系列＋回帰）→状態空間モデル
（単なるラグ変数回帰→目的変数自体の時系列性が反映されない）

ライブラリ{forecast}を使う以下、データはy.tsとする

時系列のデータ形式

時系列データにはいくつかの形式がある。

ts: Rの基本の時系列オブジェクト。ほとんどの時系列ライブラリはこの形式の時系列データを扱う
xts: データフレームとtsの間に位置づけられる、時系列データを便利に扱えるようにした形式
zoo: データフレームとxtsの間の形式

われわれが一般的に扱うデータ形式はデータフレームで、時系列データも元はCSVやデータベースなどからデータフレームの形式で与えられることが多い。たとえば日付を表す列と値の列がそれぞれ存在したり、1枚のデータフレームに複数列（つまり複数の時系列変数）が収まっていたりする。一方でtsは単系列で日付データではなくサイクルの周期を属性として持つなど、データフレームとは形式が大きく異なり、そのままでは扱いにくい。zooは直接知らなくてもいい。

xts = ts＋カレンダー機能＋複数系列

データフレームをxtsに変換する

`read.zoo()`を使う

データフレームx.dfをxts形式のx.xtsに変換

as.xts(read.zoo(x.df))

x.dfに日時形式の列（Date, POSIXct）が含まれていればその列が時を表すindexになる。時を表すカラムは

as.xts(read.zoo(x.df, index.column = 2))

などのように番号や列名でも指定できる。

data.tableを使う

日時を表す列（Date, POSIXct）を含むdata.table形式であればas.xts.data.table()で直接xtsに変換できる。

as.xts.data.table(x.dt)

xtsオブジェクトからtsオブジェクトを生成する

var1.ts <- ts(x.xts[,'var1'], freq=7)

ざっと見る

コレログラム

acf(y.ts)

トレンド成分、季節成分を抽出してプロット

x.stl <- stl(y.ts,s.window="periodic")
plot(x.stl)

定常性の確認

ADF検定
KPSS検定

定常になるまで階差を取る

ARMA/ARIMA/SARIMAモデル

パラメータを以下の通りとする SARIMA(p,d,q)(P,D,Q)

p: p for AR(p)（自己回帰部分の次数）
q: q for MA(q)（移動平均部分の次数）
d: diff（d階の階差モデル）
P: P for AR(P) of seasonal part（季節成分の自己回帰部分の次数）
Q: Q for MA(q) of seasonal part（季節成分の移動平均部分の次数）
D: diff of seasonal part（季節成分の階差の階数）

次数を指定して推定

arima()を使う

Rのdata.tableパッケージの使える関数一覧

Mon, 28 Jan 2019 00:00:00 +0900

Rのdata.tableはデータフレームを高速に扱えるように改良した形式だが、この機能を提供するdata.tableパッケージには添え字を使ったdata.tableの処理機能だけでなく、さまざまな関数が実装されている。中にはdata.table以外の形式にも使える関数もあり、

dt[,col1:=関数()]

の形式で使えるdata.table用の関数にも一般的に知られていない便利なものが数多くある。特に高速化を意識しているものが多く、知っていると処理時間を短縮できる。 data.tableはdplyrとセットで使われることも多いが、dplyr自体はdata.tableの高速仕様にのっとったものではない（tibble形式）ため、正直遅い。集計など同じアウトプットは出せるが、処理速度に断然違いがあるので、実はdata.tableパッケージを使いこなすのがオススメ（コード自体はdplyrに準拠したほうが読みやすいが） data.tableのマニュアルの全関数を精査し、一般的に使えそうなもののみをピックアップしてまとめた。

ファイル入出力

ファイルを読み込んでdata.tableを生成するfread()関数 data.tableだけでなくデータフレームもCSVファイルに出力できるfwrite()関数

dt1 <- fread('data.csv')
fwrite(dt1, file='data.csv')

参照で値が書き換わる対策

setDT()などの時に参照で書き換わってしまうため、退避させたいときにcopy()を使う

dt1 <- data.table(x1=1:3, y1=4:6)
dt2 <- dt1
dt3 <- copy(dt1)
setDF(dt1)

class(dt2)

'data.frame'

class(dt3)

'data.table', 'data.frame'

dt2の参照がdt1なのであり、dt1を書き換えるとdt2も書き換わってしまう。そこでcopy()関数を使ってdt3を生成しておくと、元のdata.tableとして保持されている。

特殊な構文

%を使った構文や.SDなどのシンボル

絞り込み条件

文字列比較（data.table以外のデータ形式でも使える）値が指定した集合（ベクトル）に含まれるかどうかの判定。文字列では%in%でなく%chin%を使うと高速。 %like%を使うと正規表現マッチが使える。stringr::str_match()などより構文上使いやすい。

dt1[col1 %chin% c('Jan', 'Feb'),]
dt1[col1 %like% '^(Jan|Feb)',]

数値比較（data.table以外のデータ形式でも使える） %between%が特徴的。以下の例ではcol1 >=2 & col1 <= 5と同じ。

dt1[col1 %between% c(2,5),]
dt1[col1 %in% 2:5,]

特殊なシンボル

.SD
.BY
.N
.I
.GRP

日時

Rの日時処理では時間がかかることが多いが、それを高速化した拡張形式を提供している。 data.tableの中以外でも使えるのでおすすめ。高速なDate形式: IDate形式 DateはIDate形式にしておくと高速に扱える。以下のようにDateとして認識できる文字列をそのまま引数にしてもいい。

as.IDate("2001-01-01")
as.IDate("20010101", format="%Y%m%d")

高速なTime形式: ITime形式時刻はITime形式にしておくと高速に扱える。ただし日付情報は保持していない（日内の時刻）のでタイムスタンプとしてはIDateとセットで使う必要がある。

Google ColaboratoryでRを使う

Mon, 10 Jun 2019 00:00:00 +0900

無料でPythonの実行環境を使わせてもらえるGoogle Colaboratory（以下、Colab）。現在の無料枠でも、T4やL4などの高性能なGPU、約12GB〜16GBのメモリ、そして100GB前後のディスクスペースが利用できる強力な環境であり、手元のPCよりハイスペックな人も多いだろう。

データサイエンスの分野ではPythonが主流である一方で、Rユーザにとっては「PythonだけでなくRでも使えたらいいのに」と思うところである。実は、Colabのインスタンスには標準でRの環境が用意されており、用途に応じて複数のアプローチでRを利用することができる。この記事では、最新環境に合わせてColabでRを使い倒す方法と、その高速化テクニックを網羅的に解説する。

Rを使う3つの方法

Colab上でRを実行するには、主に以下の3つのアプローチが存在する。用途やPythonとの連携の必要性に応じて使い分けるのがよい。

スクリプトの実行

Jupyterのノートブック上で、マジックコマンドの%%scriptを使う方法である。Rに限らず、その言語がインスタンスにインストールされていれば使えるため、知っておくと非常に便利である。

%%script R --vanilla --quiet
x <- 1:5
sum(x)

このコマンドを実行すると、セルの中身がRのスクリプトとして解釈され、標準出力に結果が返される。--vanillaではなく--saveオプションを指定すると、実行終了時点でのワークスペース（.RData）を保存する。次回開くときに--restoreとすれば、その.RDataを読み込んで状態を引き継ぐことが可能である。

%%script R --save --quiet
# 次のセルで以下を実行
%%script R --save --restore --quiet

ただし、スクリプトの実行モードでは、処理の途中で変数の中身をインタラクティブに確認したり、プロットを画面にレンダリングしたりすることはできない。一つのセルで最後のアウトプットまで完結させる必要があり、探索的なデータ分析（EDA）のようなアドホックな用途には向かない。あくまで一時的なシェルの実行環境として割り切る必要がある。

UIからRランタイムを選択する

ノートブック全体をR専用の環境として使う（その場でプロットしたりオブジェクトを保存・再利用したりする）ためには、Rのランタイムを直接起動するのが最も王道である。

かつては.ipynbファイルをローカルにダウンロードし、テキストエディタでJSONのkernelspecを書き換えてから再アップロードするという非常に煩雑な手順が必要だった。しかし現在では、Colabの標準UIから簡単に切り替えることができる。

Colabの画面上部メニューから「ファイル」を選択し、「ノートブックを新規作成」をクリックする。新しいノートブックが開いたら、メニューの「ランタイム」から「ランタイムのタイプを変更」を選択する。表示されるダイアログの中に「ランタイムのタイプ」というドロップダウンメニューがあり、デフォルトの「Python 3」から「R」に変更して保存するだけでよい。これで、マジックコマンドなしに全てのセルでRのコマンドをネイティブに実行できるようになる。

ノートブックを新規作成する際のURLにlanguageパラメータを指定することで、最初から任意のカーネルを採用した状態、つまりRランタイムを選択した状態で開くことができる。頻繁にRノートブックを作成するユーザにとっては、このURLをブックマークしておくのが最も効率的である。Rの場合は以下のURLとなる。

https://colab.research.google.com/notebook#create=true&language=r

Python環境と共存したまま使う

データの前処理は豊富なライブラリを持つPythonで行い、統計モデリングや可視化はRで行いたいというハイブリッドな用途には、rpy2モジュールを利用した連携が最適である。この方法を使えば、Pythonのノートブック上でマジックコマンドを使える状況下を維持したまま、Python環境と共存してRを使うことができる。

以下のコマンドをPythonセルで実行し、rpy2モジュールを有効化する。

%load_ext rpy2.ipython

これで、Pythonのコードブロックもそのまま使いつつ、マジックコマンド%%Rで始まるR専用のコードブロックを作ることができる。例えば、Colabの強みであるGoogle DriveのマウントをPythonで行い、そのデータをRで読み込むといった一連の流れが可能になる。

# Google Driveのマウント (Pythonで実行)
from google.colab import drive
drive.mount('/content/gdrive')

# データファイルの取得と解凍 (シェルコマンド)
!cp "gdrive/My Drive/Colab Notebooks/train.csv.gz" .
!gzip -d train.csv.gz

# Rの有効化
%load_ext rpy2.ipython

続いて、同じノートブック内の別のセルでRを実行する。

%%R
# R側でデータを読み込み、プロットを作成
data <- read.csv('train.csv')
library(ggplot2)
# 仮に x_col, y_col という列があるとする
qplot(x=x_col, y=y_col, data=data)

さらに、PythonからRに変数を渡したり、その逆を行ったりすることも可能である。PythonからRに変数を渡す場合は-iオプションを使用する。

Rにおける代表的な一般化線形モデル（GLM）の実装ライブラリまとめ

Mon, 03 Jan 2022 00:00:00 +0900

一般化線形モデル（GLM）は統計解析のフレームワークとしてとにかく便利。Rでもビルトインの関数から拡張までさまざまなライブラリから提供されている機能だが、さまざまなライブラリがありすぎてどれを使えばいいのかわかりにくいのと、さらに一般化線形モデル（GLM）自体にもいろいろな亜種があるため、どの手法をどのライブラリの関数で実装すればいいかわからなくなる。そこでRに実装されている代表的なGLM系の関数と特徴についてまとめてみた。

一般化線形モデルのおさらい

一般化線形モデルとは $$ y = g^{-1}(\alpha + \beta_1 x_1 + \beta_2 x_2 + … + \beta_i x_i) + \epsilon $$ で指定されるモデル。一般化線形モデルを決定するのは

誤差構造：目的変数の分布
線形予測子 $\alpha + \beta_1 x_1 + \beta_2 x_2 + … + \beta_i x_i$ →説明変数の組み合わせ
リンク関数 $g()$（線形予測子と推定値の関係式）→目的変数の分布から大体決まる

の3つ。手順は

説明変数（の候補）を洗い出す
モデルを構築する（パラメータを推定する）
モデルを評価する

モデルの評価は、modelを構築したモデルのオブジェクトとすると

anova(model)でモデル自体が有意かどうかを見る
AICなどで当てはまりを見る
検証用データで予測精度を見る
線型モデル（lm()）のみpar(mfrow=c(2,2));plot(model)で残差の分布を見る
- Residuals vs Fitted: 残差全体の挙動
- Normal Q-Q: 残差が正規分布に従うかどうか
- Scale-Location: 残差の大きさ
- Residuals vs Leverage: 外れ値の確認

RのGLM用関数

`glm` {stats}

デフォルトで組み込まれている一般化線形モデルの関数

glm(モデル式, family = 目的変数の分布, data = データフレーム)
# リンク関数も指定する場合
glm(モデル式, family = 目的変数の分布(link = リンク関数), data = データフレーム)

familyは目的変数の確率分布を指す。対応しているfamilyとリンク関数は

R on Marketechlabo

Rの細かいTipsまとめ（小さいTipsの寄せ集め）

チートシート

ggplot2

qplot()

ggplot()

Rでローデータの読み込み（データフレーム、data.table、webデータの取得）

ワーキングディレクトリのセット

テキストファイル（CSV）の読み込み

データフレーム

data.table

Rでデータの整形（列のデータ型確認、列の抽出、列名の変更、列の型変換）

dtplyrについて

変数の型

データの型確認

データフレーム

data.table

基本的なデータの型の種類

boolean

数値

文字列の扱い

分析対象とする列の抽出、列名の変更

列の抽出、削除

データフレーム

data.table

列名の変更

データフレーム

data.table

列の型変換

データフレーム

data.table

Rでデータクリーニング、変数の生成

行の削除（抽出）

行の並べ替え（ソート）

変数の加工（データフレーム／data.frame共通）

標準化（scale）

欠損値処理

外れ値処理

Rでデータセットの抽出（行の抽出、並べ替え、サンプリング、分割）

行の削除（抽出）

データフレーム

data.table

RとExcel（ファイルの読み書き、データフレームをExcelで編集）

Excelファイルの読み込み

Excelファイル書き出し

単純にテーブルをそのまま出力するだけ

書式などを指定して出力する

データをExcel上で編集する

Rで時系列分析の簡単なまとめ

時系列のアプローチ

時系列のデータ形式

データフレームをxtsに変換する

read.zoo()を使う

data.tableを使う

ざっと見る

コレログラム

トレンド成分、季節成分を抽出してプロット

定常性の確認

ARMA/ARIMA/SARIMAモデル

次数を指定して推定

Rのdata.tableパッケージの使える関数一覧

ファイル入出力

参照で値が書き換わる対策

特殊な構文

絞り込み条件

特殊なシンボル

日時

Google ColaboratoryでRを使う

Rを使う3つの方法

スクリプトの実行

UIからRランタイムを選択する

Python環境と共存したまま使う

Rにおける代表的な一般化線形モデル（GLM）の実装ライブラリまとめ

一般化線形モデルのおさらい

RのGLM用関数

glm {stats}

`qplot()`

`ggplot()`

`read.zoo()`を使う

`glm` {stats}