GA4/Firebaseのログをフラット化する汎用クエリ

Thu, 27 Jan 2022 00:00:00 +0900

GA4（Firebase）のログを扱う際、ネストされているイベントパラメータやユーザープロパティをフラット化しないと使いにくい。ところが格納されているパラメータやプロパティは決まっているわけではないため、通常はそれをハードコーディングで指定することが多い。つまり使用しているパラメータやプロパティに応じてその都度クエリを手動作成することになる。しかしそれでは面倒なので、どんなイベントパラメータやユーザープロパティを使っていても、それがどんな型であっても、オールマイティにフラット化するクエリを作る。存在するパラメータやプロパティに基づいて動的にクエリを作って実行する。このクエリひとつあればどんなケースにも対応できる、汎用的なものである。

イベントパラメータ（ユーザープロパティ）名を使った動的クエリ

フラット化の詳細はこちらを参照。 https://www.marketechlabo.com/ga4-bigquery-export-spec/

たとえばネストされたイベントパラメータga_session_id（整数型）とpage_location（文字列型）をフラット化するクエリは

select
 user_pseudo_id,
 event_name,
 (select p.value.int_value from unnest(event_params) p where p.key = "ga_session_id") ga_session_id,
 (select p.value.string_value from unnest(event_params) p where p.key = "page_location") page_location
from `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`;

なおこの記事ではGoogleが公開しているサンプルデータセットbigquery-public-data.ga4_obfuscated_sample_ecommerceを使っている。実際のプロジェクトでは自身のプロジェクトとデータセットに差し替えること。

この中で動的になるのは以下の部分

(select p.value.【動的：型】 from unnest(event_params) p where p.key = "【動的：パラメータ名】") 【動的：パラメータ名】,

ここに入る値は

ga_session_idの場合、p.value.int_valueと"ga_session_id"
page_locationの場合、p.value.string_valueと"page_location"

である。なおBigQueryではマルチバイト文字を列名にする際はバッククォートで囲む必要があり、列名の部分に日本語がある場合バッククォートを入れないとエラーになる。動的に実行する場合はパラメータ名をそのまま列名にすることになるため、パラメータ名に日本語を入れると不都合である。このような動的処理をすることを踏まえるとパラメータ名には日本語を使わないほうがいい。

イベントパラメータではなくユーザープロパティの場合も同様にできる。つまり

イベントパラメータ（ユーザープロパティ）名と型の一覧を取得し、ループで文字列として代入し、SQL文を生成する
そのSQL文をクエリとして実行する

ことが求められる。

同じイベントパラメータに複数の型が混在する対策

変数の型によって格納されるカラムは異なる。

変数の型	列名
`string`	`event_params.value.string_value`
`int64`	`event_params.value.int_value`
`float64`	`event_params.value.double_value`

（タイムスタンプやdateなど、これ以外の型はイベントパラメータでは扱われない）

同じパラメータに複数の型が混在するケースがある。例えば16進数として生成された値では、たまたま数字だけで構成された値は整数（int64）になるし、A-Fの文字が入ると文字列（string）になる。それぞれp.value.int_valueとp.value.string_valueという別の列に格納される。つまりそれぞれの列から値を取得することになる。

さらに出力を「1パラメータ＝1列」として格納するため型を合わせる（キャスト）必要がある。

select
 user_pseudo_id,
 event_name,
 (select
 case
 when p.value.string_value is not null then safe_cast(p.value.string_value as string)
 when p.value.int_value is not null then safe_cast(p.value.int_value as string)
 when p.value.double_value is not null then safe_cast(p.value.double_value as string)
 else null
 end
 from unnest(event_params) p where p.key = "param1") param1
from `bigquery-public-data.ga4_obfuscated_sample_ecommerce.events_*`;

ところがどの型にキャストすればいいのかが問題になるが、

Firebase on Marketechlabo

GA4/Firebaseのログをフラット化する汎用クエリ

イベントパラメータ（ユーザープロパティ）名を使った動的クエリ

同じイベントパラメータに複数の型が混在する対策