Marketechlabo

  • Rで決定木分析（rpartによるCARTとrangerによるランダムフォレスト）

    calendar Jun 5, 2017 / · 5 分で読了 · R決定木機械学習  ·
    共有する: linkedin copy
    Rで決定木分析（rpartによるCARTとrangerによるランダムフォレスト）

    準備 決定木（decision tree）分析をする際、まず目的変数の種類とアルゴリズムを決定する。 アルゴリズム CART CHAID ID3 / C4.5 / C5.0 目的変数の型 目的変数の型によって扱いが変わる 質的変数（2値変数）：分類木→目的変数が0/1, T/Fの場合はas.factor()でfactor型にデータ変換しておく 量的変数：回帰木 survivalオブジェクト （生起を表す2カラム） CARTはすべて対応、C4.5/C5.0は質的変数のみ ここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。 データセットと前処理 Default of …


    続きを読む

  • Rの細かいTipsまとめ（小さいTipsの寄せ集め）

    calendar Jan 10, 2018 / · 7 分で読了 · RTipsggplot2  ·
    共有する: linkedin copy

    独立した記事にはならないが、それぞれ便利かつ重要な小さなRのTipsを紹介。 チートシート ggplot2 qplot() 基本 qplot(x=Sepal.Width, y=Sepal.Length, data=iris, geom="point", color=Species) # 散布図 qplot(x=date, y=unemploy, data=economics, geom="line") # 折れ線グラフ qplot(x=feed, data=chickwts, geom="bar") # 棒グラフ qplot(x=Sepal.Width, data=iris, binwidth=0.3, …


    続きを読む

  • Rでローデータの読み込み（データフレーム、data.table、webデータの取得）

    calendar Jan 18, 2018 / · 2 分で読了 · Rデータ前処理data.table  ·
    共有する: linkedin copy
    Rでローデータの読み込み（データフレーム、data.table、webデータの取得）

    Rを使ったデータ前処理の方法を解説する。 データフレーム形式だけでなく、大きなデータを扱うのに高速なdata.tableを使ったデータの前処理の方法も解説する。 まず一般的にデータの前処理の手順は以下のようなものである。 ローデータの読み込み データの整形（分析用データセットの生成。データの持つ情報は保持） データの型確認 必要な（分析対象とする）列の抽出 列名の変更 データ変換 データの型変換 日時データの生成 因子データの生成（ordered） データクリーニング（正しく分析できるように必要に応じて情報を一部削る） 行の削除（抽出） 行の並べ替え（ソート） 標準化（scale） 欠損値処理 外れ値処理 結合 変数の追加と削除 変 …


    続きを読む

  • Rでデータの整形（列のデータ型確認、列の抽出、列名の変更、列の型変換）

    calendar Jan 19, 2018 / · 3 分で読了 · Rデータ型データ前処理  ·
    共有する: linkedin copy
    Rでデータの整形（列のデータ型確認、列の抽出、列名の変更、列の型変換）

    ローデータから分析対象とする変数のみ抽出し（個人情報など、保持すべきでない変数を削除するなど）、情報を失わない範囲で分析するためのデータセットを作る。分析プロジェクトにおけるローデータと同じ量の情報を持つ、整形された（扱いやすい）データセットを作るのである。 この後のデータクレンジング以降で、データの加工方法を変更するなどで手戻りが発生することもある。その際ローデータの読み込みまで戻るのは大変なので、ローデータを同じ情報を持つ、整形された状態のデータを作っておくのが重要である。データクレンジングで手戻りが発生しても、ここで整形したデータセットまで戻ればいい。 dtplyrについて 本記事ではdata.table（例：fread()で …


    続きを読む

  • Rでデータクリーニング、変数の生成

    calendar Jan 22, 2018 / · 4 分で読了 · Rデータクリーニングdata.table  ·
    共有する: linkedin copy

    このあたりから処理がアドホック寄りになるので、data.tableを使う場合でもパイプ（dplyr）を使って一度に実行するのではなく添字記法を使って1ステップずつ進めていくといい（1行ずつ実行する場合は添字記法を使った方がコード量が少なくて済む）。 行の削除（抽出） 行の抽出 行の並べ替え（ソート） 行の並べ替え 変数の加工（データフレーム／data.frame共通） 標準化（scale） 指定した変数を標準化（平均＝０、分散＝1のスケールに圧縮／拡大）する。 scale()関数を使う。

    データフレーム x.df$purchase_amount <- scale(x.df$purchase_amount) # …


    続きを読む

  • Rでデータセットの抽出（行の抽出、並べ替え、サンプリング、分割）

    calendar Jan 23, 2018 / · 2 分で読了 · Rdata.tableデータ処理  ·
    共有する: linkedin copy

    前のページではデータフレーム、data.tableの列（変数）の処理について解説したが、今度は行の抽出、並べ替え、サンプリング、分割といった行の処理についてまとめる。 行の削除（抽出） データフレーム ad_log <- ad_log[ad_log$imp>1000 & ad_log$click<10, , drop=F] ad_log <- with(ad_log, ad_log[imp>1000 & click<10, , drop=F]) 上下は同じ。with()関数はバッチの中でも使えるので便利。 データフレームの抽出・絞り込みでは第3添字にdrop=FALSEを付けること！ 行列の添え字にdrop=FALSEを付けないと1 …


    続きを読む

  • RとExcel（ファイルの読み書き、データフレームをExcelで編集）

    calendar May 17, 2018 / · 1 分で読了 · RExcelopenxlsx  ·
    共有する: linkedin copy

    RでExcelファイル（.xlsx）を読み書きするライブラリはいくつかあるが、openxlsxが多機能でかつ使いやすい。Javaも不要なのでインストールや動作も軽い。古いファイル（.xls）には非対応だが、現行のファイル（.xlsx）のみ対応でよければこれがおすすめ。 Excelファイルの読み込み read.xlsx()関数を使う。 たとえばファイルC:/Users/fukuyama/Documents/master.xlsxのシート「ユーザ」を読み込む場合 m_user.df <- read.xlsx('C:/Users/fukuyama/Documents/master.xlsx', na.strings = '', sheet …


    続きを読む

  • Rで時系列分析の簡単なまとめ

    calendar Aug 16, 2018 / · 3 分で読了 · R時系列分析データサイエンス  ·
    共有する: linkedin copy

    時系列のアプローチ 単系列 ざっと見る 定常性の確認 ARIMA/SARIMAモデルをあてはめる 複数系列の関係→VAR（ベクトル自己回帰）モデル その他の変数がある（時系列＋回帰）→状態空間モデル （単なるラグ変数回帰→目的変数自体の時系列性が反映されない） ライブラリ{forecast}を使う 以下、データはy.tsとする 時系列のデータ形式 時系列データにはいくつかの形式がある。 ts: Rの基本の時系列オブジェクト。ほとんどの時系列ライブラリはこの形式の時系列データを扱う xts: データフレームとtsの間に位置づけられる、時系列データを便利に扱えるようにした形式 zoo: データフレームとxtsの間の形式 われわれが一般的 …


    続きを読む

  • Rを使ったXGBoostの高度なパラメータチューニングと細かいノウハウ

    calendar Dec 3, 2018 / · 6 分で読了 · RXGBoost機械学習  ·
    共有する: linkedin copy
    Rを使ったXGBoostの高度なパラメータチューニングと細かいノウハウ

    XGBoostは機械学習手法として 比較的簡単に扱える 目的変数や損失関数の自由度が高い（欠損値を扱える） 高精度の予測をできることが多い ドキュメントが豊富（日本語の記事も多い） ということで大変便利。 ただチューニングとアウトプットの解釈については解説が少ないので、このあたりについて説明する。 XGBoostとは？ 勾配ブースティングのとある実装ライブラリ（C++で書かれた）。イメージ的にはランダムフォレストを賢くした（誤答への学習を重視する）アルゴリズム。RとPythonでライブラリがあるが、ここではRライブラリとしてのXGBoostについて説明する。 XGBoostのアルゴリズム自体の詳細な説明はこれらを参照。 …


    続きを読む

  • Rのdata.tableパッケージの使える関数一覧

    calendar Jan 28, 2019 / · 2 分で読了 · Rdata.tableデータ処理  ·
    共有する: linkedin copy
    Rのdata.tableパッケージの使える関数一覧

    Rのdata.tableはデータフレームを高速に扱えるように改良した形式だが、この機能を提供するdata.tableパッケージには添え字を使ったdata.tableの処理機能だけでなく、さまざまな関数が実装されている。 中にはdata.table以外の形式にも使える関数もあり、 dt[,col1:=関数()] の形式で使えるdata.table用の関数にも一般的に知られていない便利なものが数多くある。 特に高速化を意識しているものが多く、知っていると処理時間を短縮できる。 data.tableはdplyrとセットで使われることも多いが、dplyr自体はdata.tableの高速仕様にのっとったものではない（tibble形式）ため、 …


    続きを読む