気の向くままに辿るIT/ICT/IoT
UNIX/Linuxコマンド

UNIX/Linuxコマンド awk

ホーム前へ次へ
UNIX/Linuxのawkとは?

UNIX/Linuxコマンド awk

awk

 UNIX/Linux及びシェルにおいてテキスト編集と言えばawkでしょう。

awkはコマンドでありスクリプト

 awkはその発祥こそUNIXコマンドツールですが、後に拡張され、gawk(GNU awk)含め、制御構造を備え、関数も作成できる単独のscriptです。

 尚、awkにCはともかくPerlに似た機能や使い方があるのは、オープンソース文化と歴史的な背景によるものでPerlがCやawk等々を参考に開発された経緯があるからであり、またawk、findgrepsed他多くのコマンドは、ほぼ同時期に相互に影響しあいながら誕生した経緯があります。

awkの基本

 まず、awkの標準入力は基本的にパイプ経由のデータかファイルです(コマンドラインからファイルを指定せずEnter、改行され待機状態になるのでファイル以外の妥当なデータを入力、[Ctrl]+[D]で実行することもできますが、あまり現実的ではありません)。

$ cat file_foo 

 awk sed find grep 

 find grep awk sed 

 ここに入力ファイルの例として4つのコマンド名がスペース区切りで記述されたテキストファイルfile_fooがあるとします。

 awkコマンドの記述の基本形は、awkに続けてスペース、続く編集式全体をシングルクォートで括り、続けて入力ファイルを記述したもので、これら全体は指示・命令を表すステートメントと呼ばれます。

$ awk ' $3=="awk" ' file_foo 

$ awk ' ($3=="awk") ' file_foo 

awkステートメントの書き方

 この例(の等号=は2つで比較演算子)はfile_fooの$3に当たる場所にawkという文字列がある行を標準出力に出力しますが、文字列やエスケープシーケンスには引用符が必要でawkも同じタイプの引用符で重ねて括ることはできないので文字列awkをダブルクォートで括る必要があり、他方コマンドを含まない単一の式の場合、 ( ) の有無に関わらず同じ結果になります。

$ awk ' { print $0 } ' file_foo 

awk編集コマンドはアクション

 次にprintなどのコマンド(awkではアクションと呼ぶ)を含む場合には、シングルクォートの内側で式を { } で括り、この例はfile_fooの行全てを標準出力に表示します。

$ awk ' { if ( $3=="awk" )  print $0 } ' file_foo 

awk条件等はパターン

 これらを組み合わせて当該個所にawkという文字列がある行が表示されるこの例のようにコマンドを含む { } 内には条件式を記述することもでき、ifに続く条件式の ( ) は必須で省略不可、文字列"awk"もダブルクォートで括る必要がある一方、(お勧めはしませんが)寛容なことに?この例については { } 内でスペースを全て除去しても実行できたりします。

BEGIN/ENDはヘッダ/フッタ

 更にawkは、Perl同様、BEGINステートメントとENDステートメントを記述することもでき、テキスト編集加工の前処理、後処理ができるようになっています。

$ awk ' BEGIN{ ( $3=="awk" ) } { print $1 } ' file_foo 

$ awk ' BEGIN{ $3=="awk" } { print $1,$2 } END{ print "end" } ' file_foo 

$ awk ' { print $3 } END{ print "end" } ' file_foo 

 BEGINはヘッダで入力ファイルのデータ読み込み前に実行する処理を行う為に使用、コマンドや条件式の設定はしない(しても期待した結果にはならない)、ENDはフッタで後処理としてコメントの他にも小計や必要であれば入力データを利用したコマンドやコマンドを伴う条件式も記述でき、これらを記述する場合、その順序はBEGIN、メインのパターン・編集コマンド、ENDの順でBEGIN/ENDの後ろのステートメント部分も { } で括ります。

$ awk ' BEGIN{ print "header" } ' file_foo 

$ awk ' BEGIN{ printf( "%c \n" , 65 ) } ' 

$ awk ' END{ print $1 } ' file_foo 

 よって単独で記述はできるものの、それだけでは意味がないものとして、1つめのBEGINは入力ファイルをとってawkを実行する意味がなく、2つめと3つめのBEGIN、ENDはそれぞれBEGINと5文字、ENDと3文字余計に入力する意味も必要もありません。

$ awk ' BEGIN{ print "calc start" } { sum += $2 } END{ print "total:"sum } ' bar.txt 

calc start 

total:80 

$ cat bar.txt 

 1  20  +  awk  

 2  30  -  grep  

 3  20  *  sed  

 4  10  /  find  

 この例は、なんらかの数字や四則演算記号、awk、grep、sed、findという文字列がスペース区切りで羅列されたこのbar.txtを入力ファイルとして標準出力にcalc startと出力した後、bar.txtに記述されたセパレータ(既定のスペース)で区切られた2つめの値を(縦方向に20,30,20,10と)順次加算していきtotal:に続けて合計となる80を表示します。

位置変数パラメータ

 尚、ここに出てくるドル記号$に0はShellやPerlと似た自動変数でawkの場合、$0には受け取った文字列などの「全体」が格納され、$1,$2,$3...$nと必要な分だけ続く位置変数パラメータという特殊な変数には、ある決まりに沿った値が順次格納されることになっています。

 awkが自動的に格納する、ある決まりに沿った値とは(UNIX/Linuxコマンドにもawkにもsplitはありますが)Perlのsplit同様、一定の区切り文字・区切り記号(FS/Field Separator/フィールドセパレータ/セパレータ)によって分割される単位の値です。

$ awk -F: ' { print $2 } ' file_foo > hoge 

セパレータ/区切り記号

 awkの既定のセパレータはスペースで-Fオプション(スペースを入れずに-Fに続けてセパレータ)を付加することで記号、文字、数字など基本的になんでも指定することができ、この例ではコロン:を指定、file_foo内の行を順次見ていきコロン区切りの2番めの値をファイルhogeに出力します。

演算子種類
算術演算子 + - * / % ^ 
代入演算子 = += -= *= /= %= ^= 
論理演算子 && || ! 
条件演算子 ? 
マッチング演算子 ? !? 
比較演算子 < <= == ! >= > 
前置/後置演算子 ++ -- 

演算子

 awkの演算子には、算術演算子、代入演算子、条件演算子、マッチング演算子、比較演算子、increment(1加算)/decrement(1減算)における前置(prefix)演算子・後置(suffix)演算子があります。

意味
\b後退
\f改ページ
\n改行
\r復帰
\tタブ
\ddd8進数
\cその他エスケープ文字

エスケープシーケンス

 awkステートメント内で使用できるエスケープシーケンスです。

 尚、awkにおけるprint文の出力はbashのechoと同様、行末に改行付きで出力され、他方awkにはこれもbashやCのようにawk独自の書式付出力関数printfもあり、printfの場合はbashやC同様、明示的に改行を入れないと既定では改行されません。

 その他エスケープ文字というのは、特殊文字にバックスラッシュを付ければ、たいていの場合エスケープできることを意味します。

メタ文字マッチ条件
.何らかの1文字
?0個または1個の文字の並び
*直前の文字やパターン0個以上
+直前の文字やパターン1個以上
[ ]指定文字クラス
^行先頭
$行末尾
|条件or
( )パターンクラス
\バックスラッシュ
エスケープ

awk メタキャラクタ

 awkで正規表現及びパターンとして利用できるメタキャラクタは、ブラケット[]で括られたクラス、プラス+、アスタリスク*、クエスチョンマーク(疑問符)?、ドット/ピリオド.、キャレット^、ドルマーク$、縦棒|、丸かっこ()、バックスラッシュ\です。

#!/usr/bin/awk -f 

awk script

 awkをスクリプトとして利用する際には、他のコマンドインタプリタ、インタプリタスクリプト同様、1行めにシャープとエクスクラメーションマーク(感嘆符) #! に続けて実行ファイルパスを記述し、awkやsedの場合、更に-fオプションを付加する必要がありますが、awkはコマンドから拡張されたスクリプトと言うよりは、Perl、Python、Rubyのようなコマンドラインでも使えるスクリプトでありながら、むしろそれら以上にコマンドラインでの使い勝手もよいと言えるほどその全容は奥深いものです。

組み込み変数意味
ARGCscriptにおける引数の数
ARGVscriptにおける実引数の配列
ENVIRON環境変数の一覧
FILENAME現在読み込み中のファイル名
FNR現在のファイル内カレントレコード番号
FS入力フィールドセパレータの設定
コマンドラインオプション-Fと同様
既定はスペース
RS入力レコードセパレータの設定
既定は改行
NFカレントレコード内のフィールド数
NR今まで読み込んだレコード数
OFS出力フィールドセパレータの設定
既定はスペース
ORS出力レコードセパレータの設定
既定は改行

awk 組み込み変数

 ちなみにawk scriptが入力ファイルをとる際には、-Fではなくハイフン-なしのFSをセパレータ指定オプションとして使用、またawkの編集結果は標準出力に書き出されるので結果を残したい場合にはファイルリダイレクト等を利用します。

 ここでは、内容をかなり限定しましたが、これら以外についてはコマンドラインからawk/gawk、またはawk --help/gawk --help、更にman awkやinfo gawkで確認してください(help/info/man)。

LINK

ホーム前へ次へ