Category Archives: データ分析

web以外の一般的なデータ分析の話。webと異なり構造化されたデータが対象。

データの整形(列の変数型確認、列の抽出、列名の変更、列の型変換)

この記事は連載「Rのデータ前処理」の全 2 ページ中 2 ページ目です。

ローデータから分析対象とする変数のみ抽出し(個人情報など、保持すべきでない変数を削除するなど)、情報を失わない範囲で分析するためのデータセットを作る。分析プロジェクトにおけるローデータと同じ量の情報を持つ、整形された(扱… Read More »

Rでローデータの読み込み(データフレーム、data.table、webデータの取得)

この記事は連載「Rのデータ前処理」の全 2 ページ中 1 ページ目です。

Rを使ったデータ前処理の方法を解説する。 データフレーム形式だけでなく、大きなデータを扱うのに高速なdata.tableを使ったデータの前処理の方法も解説する。 まず一般的にデータの前処理の手順は以下のようなものである。… Read More »

Rにおける代表的な一般化線形モデル(GLM)の実装ライブラリまとめ

一般化線形モデル(GLM)は統計解析のフレームワークとしてとにかく便利。 Rでもビルトインの関数から拡張までさまざまなライブラリから提供されている機能だが、 さまざまなライブラリがありすぎてどれを使えばいいのかわかりにく… Read More »

回帰分析とその派生手法、数理モデリング、発展的な統計解析手法

この記事は連載「データ分析手法」の全 2 ページ中 2 ページ目です。

いわゆる回帰分析に代表される数理モデリングとその種類を説明していく。 数理モデリング 数理モデリングの考え方 因果関係を定量化 「Xという要因→Yという結果」という関係を $$Y=a+bX$$ で表す。 X=説明変数(独… Read More »

比較のための統計解析手法~さまざまな仮説検定から分散分析、多重比較

この記事は連載「データ分析手法」の全 2 ページ中 1 ページ目です。

分析手法 目的とデータの性質に基づいて手法を選択 目的 違いがあるか知りたい=A/Bテスト (因果)関係を知りたい=何が効くかを知りたい 予測 分類 従属変数があって、それを分類するもの(クラス分類) 独立変数のみで、似… Read More »