BQML on Marketechlabo

Google BigQueryでお手軽機械学習（BQML）

Mon, 18 Jan 2021 00:00:00 +0900

BigQuery MLは生成AI（Geminiなど）との連携やVertex AI統合など多様な機能を提供しているが、企業の日常業務で扱う構造化データ（売上、顧客、在庫など）の予測分析において、最もコストパフォーマンスが高く実用的な手法は依然として勾配ブースティング木（XGBoost系）である。この記事では、SQLだけで完結するMLパイプラインの構築方法を実例とともに解説する。

BigQuery ML（BQML）では以下のモデルが使える：

線形回帰 - 類似のリモートデータでトレーニングされたモデルを使用して、新しいデータの数値指標の値を予測する。ラベルは実数で、正の無限大、負の無限大、NaN（非数値）にはできない。
ロジスティック回帰 - 入力がlow-value、medium-value、high-valueのいずれであるかなど、2つ以上の有効な値を分類する場合に使用する。ラベルには最大50個の一意の値を指定できる。
K平均法クラスタリング - データセグメンテーションに使用する。顧客セグメントの識別などに使える。教師なし学習なのでモデルのトレーニングを行う際にラベルは必要なく、トレーニングや評価用にデータの分割を行う必要もない。
行列分解 - 商品のレコメンデーションシステムの作成に使用する。過去の顧客行動、トランザクション、商品評価を使用して商品のおすすめを作成し、これらのレコメンデーションを使用してカスタマイズされたカスタマーエクスペリエンスを提供できる。
主成分分析（PCA） - 主成分を計算し、それらを使用してデータに基底変換を実行するプロセス。一般に、データのバリエーションをできるだけ多く保持しながら、各データポイントを最初のいくつかの主成分にのみ射影して低次元のデータを取得することで、次元数を削減するために使用される。
時系列 - 時系列予測と異常検出に使用する。ARIMA_PLUSモデルとARIMA_PLUS_XREGモデルは、複数のチューニングオプションを提供し、異常値、季節性、休日を自動で処理する。
ディープニューラルネットワーク（DNN） - 分類モデルと回帰モデル用にTensorFlowベースのディープニューラルネットワークを構築する。
ワイド＆ディープ - レコメンデーションシステム、検索、ランキングに関する問題など、スパース入力による大規模な回帰と分類問題（多くの特徴値を持つカテゴリ特徴）に役立つ。
オートエンコーダ - スパースデータ表現をサポートするTensorFlowベースのモデルを作成する。BigQuery MLのモデルは、教師なし異常検出や非線形次元削減などのタスクに使用できる。
ブーストツリー - XGBoostに基づく分類モデルと回帰モデルを作成する。
ランダムフォレスト - トレーニング時の分類、回帰、その他のタスク用に、複数の学習方法のディシジョンツリーを構築するために使用する。
AutoML - 表形式データの分類モデルと回帰モデルを高速かつ大規模に構築してデプロイする教師ありMLサービス。

当初は線形回帰とロジスティック回帰だけだったが今では実用的な手法が増えた。何よりもXGBoostが使えるようになったのが大きい。

XGBoostのメリット

XGBoostは語弊を恐れずに言うと特に何も考えなくてもそれなりの精度が出る、素人でもそこそこのアウトプットを出せてしまう手法である。これまでの線形回帰やロジスティック回帰は前提条件が扱いが難しい手法だった。

XGBoostがお手軽というのは、

正規化不要
カテゴリ変数と連続量を意識しなくてもいい
欠損値があってもいい

つまり特徴量の前処理の面倒な部分がかなり軽減されている。与えられた変数を特に加工しなくても使える。XGBoostはそういったことが不要な、お手軽で大変便利な手法である。

この記事ではBigQueryでお手軽に機械学習を体感してみようということで、XGBoostを使ってBQMLを説明する。

方法

データセットの準備

対象データは学習（train）／評価（evaluate/validate）／テストで予測するデータに分割する。目的変数と説明変数に加え、分割用の列subsetを作り

subset = 'TRAIN': 学習用データ
subset = 'EVALUATE': 評価用データ
subset = 'TEST': 予測用データ

という値を付与しておく。今回はBigQueryの公開サンプルデータであるbigquery-public-data.ml_datasets.ulb_fraud_detectionを使って不正取引の予測をするモデルを作る。

Classが目的変数となる不正取引フラグ
特徴量はV1～V28とAmount（取引額）。V1～V28はオリジナルの特徴量を主成分分析で集約したもの
これを学習：評価：テスト＝8:1:1で分割する

create or replace table `my-project.test_dataset.ulb_fraud_detection` as
with t1 as (
 select
 row_number() over() id,
 *,
 rand() rnd
 from `bigquery-public-data.ml_datasets.ulb_fraud_detection`
), t2 as (
 select
 * except(rnd),
 case
 when rnd < 0.8 then 'TRAIN'
 when rnd < 0.9 then 'EVALUATE'
 else 'TEST'
 end subset
 from t1
)
select * from t2 order by id;

BQMLの機械学習手順

まずBQMLの操作手順だが、機械学習の手順に沿い

BigQueryでGA4/Firebaseのログを使って機械学習

Fri, 12 Feb 2021 00:00:00 +0900

Firebase公開データでユーザー継続予測を行う手順（BigQuery + BQML）

Firebase Analyticsの公開データを使用して、ユーザーの1か月後継続を予測するための一連の分析手順である。生ログのフラット化から機械学習モデルの構築まで、BigQueryとBQMLだけで完結する手法を示す。

使うデータセット

Firebaseのパブリックデータがfirebase-public-project.analytics_153293282.events_*にあるのでこれを使う。

20180612～20181003の114日分のデータ

基本集計（EDA）

データの全体像を把握するため、まずイベントの発生傾向を確認する。どのようなユーザー行動が記録されているかを理解することで、後続の特徴量設計や分析方針の決定に活用できる。

イベントの数の種類別カウント

アプリ内で発生している各イベントの頻度を集計する。これにより、主要なユーザー行動パターンを把握し、重要度の高いイベントを特定できる。

select
 event_name,
 count(0)
from `firebase-public-project.analytics_153293282.events_20181003`
group by 1
order by 2 desc;

スクリーンビューのスクリーン別カウント

ユーザーがアプリ内のどの画面をよく閲覧しているかを分析する。firebase_screen_classパラメータはevent_params配列内にネストされているため、UNNEST()で展開してから抽出する必要がある。

select
 (select ep.value.string_value from unnest(event_params) ep where ep.key = 'firebase_screen_class'),
 count(0) screen_views
from `firebase-public-project.analytics_153293282.events_20181003`
where event_name = 'screen_view'
group by 1
order by 1;

ユーザ別イベント数カウント

ユーザーごとの行動パターンを把握するため、行がユーザー、列がイベント名となるピボットテーブルを作成する。

イベント名はアプリケーションによって動的に変わるため、固定の列定義では対応できない。そこでBigQuery Scriptingを使用して、データに存在するイベント名を自動検出し、動的にピボット用のSQL文を生成する。

declare event_pivot_columns string;
set event_pivot_columns = (
select string_agg(distinct 'sum(case when event_name = "' || event_name || '" then 1 else 0 end) ' || event_name) from `firebase-public-project.analytics_153293282.events_*`
);

execute immediate format("""
create or replace table `my-project.test.user_stats` as
select
 user_pseudo_id,
 min(timestamp_micros(event_timestamp)) first_open_timestamp,
 max(timestamp_micros(event_timestamp)) last_open_timestamp,
 count(0) total_events,
 max(user_ltv.revenue) total_revenue,
 %s
from `firebase-public-project.analytics_153293282.events_*`
group by 1
order by 4 desc;
""", event_pivot_columns)

対象データを抽出してフラット化

Firebase/GA4のイベントデータは、event_paramsやuser_propertiesがネスト構造（配列・構造体）になっている。このままでは集計や機械学習での利用が困難なため、各パラメータを個別の列として展開する。