Javascriptで正規分布の実装まとめ（乱数、累積分布関数など）
Javascriptで正規分布の乱数発生（rnorm）、確率密度関数（dnorm）、累積分布関数（pnorm）、累積分布の逆関数（qnorm）を実装する（逆関数は参照で）。すべて標準正規分布を想定。 Javascript… Read More »
linuxのテキスト編集（vi, sed, tr, grepなど＋xargs）まとめ
linuxなどで使うテキスト編集コマンドの使い方で、これさえ知っていればOKというもののまとめ（vi, sed, grep, sort, uniq, cut, join, tr, nkf, diff）。 後半は特に必要と… Read More »
PostgreSQLの管理系コマンドまとめ
DBの管理系コマンドは導入専門にやっていれば忘れることはないのだが、 分析目的でちょっとインストールした場合など、そんな頻繁に設定しない場合は忘れてしまう。 そんなPostgreSQLの管理コマンド、ユーザ管理など意外と… Read More »
Perlのよく使うワンライナー（テキスト処理）
今や懐かしいPerlのワンライナー。 古くなったとはいえ、ちょっとした、でもsedコマンドだけではできないような複雑なテキスト加工処理（CSVファイルも）には適している。 いろいろオプションはあるのだが、最小限に絞って備… Read More »
ITP2.1の影響と対策方法、JavaScript生成cookie7日問題
iOS12.2以降で搭載されるSafari12.1からITP2.1が導入される。 「Googleアナリティクスのcookieが使えなくなるのではないか」などの漠然とした不安が先行しているようなので、その要点と影響範囲、対… Read More »
Googleアナリティクスの計測ログをBigQueryに送る（無料版対応）
Googleアナリティクスで収集しているデータ（メジャメントプロトコル）をBigQueryに送り、集計・可視化できるようにする。無料版のGAにも対応し、しかもサーバレスでシンプルに実装できる。 本来BigQueryを使っ… Read More »
Rのdata.tableパッケージの使える関数一覧
Rのdata.tableはデータフレームを高速に扱えるように改良した形式だが、この機能を提供するdata.tableパッケージには添え字を使ったdata.tableの処理機能だけでなく、さまざまな関数が実装されている。 … Read More »
Rのおすすめパッケージ2019年版
Rのおすすめパッケージをアップデートしてまとめた。定番の分析手法をはじめ、可視化やデータ処理に便利なものなど、幅広く紹介した。中にはマストというものもあるし、意外と知られていないがインストールしておくと便利なものまで、使… Read More »
Rを使ったXGBoostの高度なパラメータチューニングと細かいノウハウ
XGBoostは機械学習手法として 比較的簡単に扱える 目的変数や損失関数の自由度が高い（欠損値を扱える） 高精度の予測をできることが多い ドキュメントが豊富（日本語の記事も多い） ということで大変便利。 ただチューニン… Read More »
機械学習用のサーバの環境構築メモ（特にGCEやEC2などクラウドインスタンス）
最近では機械学習の計算のためにサーバを構築しては消し、を繰り返すことが多い。サーバの構築と消去が柔軟に可能なことからもEC2やGCEなどクラウドのインスタンスをよく使うということも影響している。 この記事では一般的なサー… Read More »