統計解析ソフトウェアRの解説記事です。
独立した記事にはならないが、それぞれ便利かつ重要な小さなRのTipsを紹介。 RのデータフレームとPandasのデータフレームの間でデータをやり取りする RとPythonの間でのデータをやり取りするとき、CSVファイルではなく変数の型などを内包したデータフレームで直接やりとりできると便利。 これを実現するのがFeatherというライブラリ。 インストール Rで install.packages(‘feather’) Pythonで pip install feather 使う Rで require(feather) write_feather(iris, ‘iris.feather’) # 書…
NSEとは NSEとはNon-standard evaluationの略。 関数に対して値を与えるのではなく、表現式（expression）を与えて処理させる方法。 言葉にするとわかりにくいので、具体例で。 NSEを使う局面 やりたいこと たとえばデータフレームcustomer.df内の f_purchaseとdurationという列に対して処理をする関数myfun()を作りたい場合 直感的には myfun(customer.df, f_purchase, duration) という引数の与え方をしたい。これがRのもっとも自然なコーディングである。 たとえば glm(f_purchase ~ …
クラスター分析は 距離行列の生成（類似度行列ではない！） クラスタリングの実行 という流れになる。 それぞれのステップで、採用する 距離の種類 クラスタリングの方法 がチューニング変数となる。 この順に手順を見ていく。 行数、列数の多いビッグデータ向きのデータ形式であるMatrixパッケージに対応した距離行列についても説明する。 距離行列を生成する 類似度行列ではなく距離行列を作る。similarityではなくdistanceを作る。 直感的にはデータから距離の指標（どれだけ離れているか）ではなく類似度（どれだけ近いか）の指標を抽出し、そこからクラスタリングしたいケースが多いのだが、あくまで類…
一般化線形モデル（GLM）は統計解析のフレームワークとしてとにかく便利。 Rでもビルトインの関数から拡張までさまざまなライブラリから提供されている機能だが、 さまざまなライブラリがありすぎてどれを使えばいいのかわかりにくいのと、 さらに一般化線形モデル（GLM）自体にもいろいろな亜種があるため、 どの手法をどのライブラリの関数で実装すればいいかわからなくなる。 そこでRに実装されている代表的なGLM系の関数と特徴についてまとめてみた。 一般化線形モデルのおさらい 一般化線形モデルとは $$ y = g^{-1}(\alpha + \beta_1 x_1 + \beta_2 x_2 + R…
準備 決定木（decision tree）分析をする際、まず目的変数の種類とアルゴリズムを決定する。 アルゴリズム CART CHAID ID3 / C4.5 / C5.0 目的変数の型 目的変数の型によって扱いが変わる 質的変数（2値変数）：分類木→目的変数が0/1, T/Fの場合はas.factor()でfactor型にデータ変換しておく 量的変数：回帰木 survivalオブジェクト （生起を表す2カラム） CARTはすべて対応、C4.5/C5.0は質的変数のみ ここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。 データセッ…