bashスクリプトのエラー処理のベストプラクティス

Mon, 21 Oct 2019 00:00:00 +0900

データ処理バッチでシェルスクリプトは便利

データ処理などでバッチプログラムを書くことは多い。Pythonなどのプログラム言語を使って全部記述する方法もあるし、最近ではGUIのワークフローを描けるツールも出てきている。ただシェルスクリプトは依然として強い。シェルスクリプトは概して動作が高速で、イレギュラー処理に対しても柔軟に対応できる。gcloudやawscliなどのコマンドを使って記述できるので、できないことはない。機能がなければコマンドをインストールすることも可能。困ったときにも確実にゴールにたどり着くメリットがある。プログラム言語だとライブラリの出来に依存する。AirflowやPrefect、Cloud Composerなどワークフロー系ツールは成熟しているが、細かいイレギュラー処理を扱うにはシェルスクリプトの方が適している場合がある。便利なツールが出てきている時代ではあるが、シェルスクリプトを覚えておくのはおすすめである。バッチ処理ではエラーハンドリングが必須だが、bashではエラーハンドリングが難しい。そこでこの記事ではエラー処理を含めたbashスクリプトのベストプラクティスを紹介する。

必要な処理の流れ

エラー処理の要件

初期処理（init）
メイン処理（main） 2.1. エラーが発生したらエラー処理（catch） 2.2. 任意のエラーを発生させることができる（raise） 2.3. ループ内処理ではエラーが発生しても次のループに進むだけ（continue）
エラーの有無を問わずクリーンアップ処理（finally）

init()
try {
 :
} catch(e) {
 :
 if () raise();
 :
} finally {
 :
}

になるようなものをbashで実装する。

実装方法

シェルのエラー時の挙動を`set`コマンドで指定する

スクリプトの冒頭で

set -e -o pipefail

を実行する。setはシェル自体の挙動の設定を行うコマンド。この中でエラー関連の引数は -e: エラーが発生したら（exit statusが0以外だったら）スクリプトの実行を終了する -o pipefail: パイプラインの途中でエラーが発生してもスクリプトの実行を終了する

エラー処理まわりの3つの関数を設定

raise(): エラーを発生させる。コマンドがエラーを出さない場合でも任意の条件でエラー扱いにするための関数。出力するエラーメッセージを引数として受け取る。
catch(): エラー時の処理。いわゆるcatch。エラーの原因個所（行番号、関数／コマンド名）を特定できるようにするための引数を受け取る。
finally(): エラーの有無にかかわらず、最後に実行する関数。必ず最後に行う処理がなければ省略してもいい。

以下はテンプレートとして使っていい（finally()はケースバイケースになるので必要に応じて実装）

# エラーを発生させる。exitでなくreturnで戻り値として1を返すことでエラートラップ処理に渡せるようにする。
function raise() {
 echo $1 1>&2
 return 1
}

# エラー時の処理。グローバル変数としてエラーバッファを用意しておく
err_buf=""
function err() {
 # Usage: trap 'err ${LINENO[0]} ${FUNCNAME[1]}' ERR
 status=$?
 lineno=$1
 func_name=${2:-main}
 # ログに出力するエラー。ここだけ書き換えればいい
 err_str="ERROR: [`date +'%Y-%m-%d %H:%M:%S'`] ${SCRIPT}:${func_name}() returned non-zero exit status ${status} at line ${lineno}"
 echo ${err_str}
 err_buf+=${err_str}
}

# エラーの有無にかかわらず、最後に実行する関数
function finally() {
 :
}

エラー処理を適用する開始地点で`trap`コマンドを実行

trapコマンドはシグナルが発生した時の挙動を指定するコマンド。エラーのシグナルが発生した時の挙動を指定すればエラーハンドリングが可能になる。コマンドを実行した後で挙動が適用されるようになるので、エラー処理を行う対象のロジックの直前で実行する。という意味ではいわゆるtry()関数と同じ場所に差し込めばいい。

bash on Marketechlabo