テキスト処理 on Marketechlabo

linuxのテキスト編集（vi, sed, tr, grepなど＋xargs）まとめ

Tue, 09 Apr 2019 00:00:00 +0900

linuxなどで使うテキスト編集コマンドの使い方で、これさえ知っていればOKというもののまとめ（vi, sed, grep, sort, uniq, cut, join, tr, iconv, diff）。後半は特に必要とはいえないため適当。重要なのはvi, sed, grepまでかな。複数のファイルを扱う場合に使うxargsコマンドについても説明する。テキスト検索にはripgrep（rg）やfzfなどのモダンなツールもあるが、本記事では基本的なコマンドに絞る。

vi

※（数指定）のついているものは、コマンドの前に数を指定することで指定された数だけ該当する操作を行える。（6hで6字分左に移動）

コマンドモードと入力モード

コマンドモード→入力モード
- i: カーソルの直前に挿入（insert）
- I: カーソル行の最初に挿入
- a: カーソルの直後に挿入（add）
- A: カーソル行の最後に挿入
- o: カーソルの下の行に挿入
- O: カーソルの上の行に挿入
入力モード→コマンドモード: ESC

移動

（ちょうど右手のホームポジション）

h: 左（数指定）
j: 下（数指定）
k: 上（数指定）
l: 右（数指定）

（ページ移動）

Ctrl-b: PgUp（back）
Ctrl-f: PgDn（forward）

（行内）

^: 行頭（正規表現）
$: 行末（正規表現）

（行指定）

Ctrl-g: 現在の行表示
G: 最終行
数字G: 指定行に移動

コピー、カット、ペースト

x: 文字削除（数指定）
dw: 単語削除（数指定）
yw: 単語コピー（数指定）
dd: 行削除（数指定）
yy: 行コピー（数指定）
p: カーソルの下に貼り付け
P: カーソル行に貼り付け
s: カーソル位置の文字を修正、上書き（数指定）
Ctrl-h: Back Space
J: カーソル行と次行を連結する

undo,redo

u: 直前の作業の取り消し
.: 直前の作業の繰り返し

検索、置換

:/文字列: 文字列の検索（/.はエスケープが必要）
n: 下方向への検索
N: 上方向への検索
:%s/文字列1/文字列2/g: ファイル内の文字列1を文字列2に置換（全箇所）

便利なコマンド

:!コマンド: ローカルコマンド実行

設定

.swpファイルを生成しない。 :set noswapfile
.swpファイルを生成する。 :set swapfile

ファイルを開く

:e ../toedit.txt: 指定したパスのファイルを開く

保存、終了

:w!: 保存
:q!: 終了
:wq!: 保存して終了
:w ファイル名: ファイル名として保存

sed

行や文字列の置換、削除、抽出を行うコマンド

Perlのよく使うワンライナー（テキスト処理）

Fri, 05 Apr 2019 00:00:00 +0900

Perlのワンライナー。 sedやawkでは扱いにくい、複雑な条件分岐や変換が必要なテキスト加工（CSVファイル処理など）に適している。UTF-8が標準化した現在では文字コード変換のニーズは減っているが、複雑な正規表現やPerlの組み込み機能を活用できる場面では有用である。いろいろオプションはあるのだが、最小限に絞って備忘録的に。

よく使うオプション

基本

-e 'スクリプト'：実行するPerlスクリプトを指定（1行）

perl -e 'print "Hello"'

output:

Hello

入力が前提

-l：（入力から改行を取り除いたうえで最後に）出力結果を改行する。表示制御の目的で使われることが多い。データ加工の際は使わないほうが安全（使うとしても最後の処理として）。

perl -le 'print "Hello"'

output:

Hello

-n：ファイルを読み込んで1行ずつ（whileで）処理する。行の内容は特殊変数$_に格納される。

perl -ne 'func' file

は

perl -e 'open(FILE, "< file"); while(<FILE>) { func($_); }'

と同じことになる。

perl -ne 'print $.": ".$_' rand.txt

output:

-p：-nに加えて結果の$_をprintする。sed -eみたいなことをするときに使う。

perl -pe 's/[0-3]/A/g' rand.txt

output:

9
4
AA
5A
45

-0777：入力を行ごとに区切らない。-pや-eと同時に用いられる。行ごとに変わるはずのない文字コード判別などの際に使う。

perl -MEncode::Guess -0777 -ne 'print guess_encoding($_, qw/shiftjis eucjp utf8/)->name' multibyte.txt

output:

utf8

-i　ファイル名：ファイルの上書き
-i拡張子ファイル名：ファイルの上書き＆拡張子付きのバックアップファイル生成

-iオプションは末尾（スクリプトの後）に記述すること。それ以外の位置だとマルチバイト文字を含む場合などうまくいかないことがある。