日志統(tǒng)計(jì)中awk常見的運(yùn)用
前言：首先awk是一門語言，其次跟其他語言相比，awk的優(yōu)勢是在文本處理、數(shù)值計(jì)算等方面，在我們?nèi)粘５倪\(yùn)維工作中，awk還有1個(gè)很重要的場景是配合sed、grep的使用，正是因?yàn)檫@些，awk是運(yùn)維工程師最常用的工具之一，下面記錄一下，awk在日志收集、統(tǒng)計(jì)場景的一些最常用的姿勢。
10年積累的成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有陳巴爾虎免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
awk使用格式
awk [-F value] [-vvar=value]
'program text' [files....]
program text：
BEGIN {actions}/pattern/{actions}END{actions}
內(nèi)置變量
FS--Field
Separator：域的分隔符，默認(rèn)的是以空白符分隔
RS--Record
Separator記錄的分隔符,默認(rèn)是以換行符來分隔
FILENAME
-- current filename
NF -- Number ofFeilds in current record，域的個(gè)數(shù)
NR
-- Number of Record輸入的記錄數(shù),相當(dāng)于行號(hào)一樣,多個(gè)文件時(shí)會(huì)接著遞增
FNR
-- File Number of Record輸入的當(dāng)前記錄數(shù),每個(gè)文件單獨(dú)計(jì)算
$0
--the
whole record 當(dāng)前整個(gè)記錄
$n --
the nth field of the current record當(dāng)前記錄的第n個(gè)域
awk常用函數(shù)
1、split (string, array, field separator)
2、substr(s,p,n) 返回字符串s中從p開始長度為n的后綴部分
3、 length函數(shù)返回沒有參數(shù)的字符串的長度
4、gsub(regular expression, subsitutionstring, target string)
awk擴(kuò)展使用
awk[options] 'script' FILES
選項(xiàng)
-F：字段分隔符
-v：聲明一個(gè)變量，F(xiàn)S=:
awk'{print $1 $2}' a.txt：則顯示welcometo
awk'{print $1,$2}' a.txt：則顯示wlecometo
--------------
內(nèi)置變量
ORS
OFS
FS
RS
NR
NF
FNR
ARGV：數(shù)組，保存命令行本身這個(gè)字符串，如awk'{print $0}' a.txt b.txt
這個(gè)命令中，ARGV[0]保存awk，ARGV[1]保存a.txt
ARGC：awk命令的參數(shù)個(gè)數(shù)
----------------
printf命令的使用格式
printfformat,item1
要點(diǎn)：
1、其與print命令最大的不同是，printf需要指定format
2、format用于指定后面的每個(gè)item的輸出格式
3、printf語句不會(huì)自動(dòng)打印換行符
format格式的指示符：
%c：顯示字符的ASCII
%d,%i：十進(jìn)制的整數(shù)
%e,%E：科學(xué)計(jì)數(shù)法顯示數(shù)值
%f：顯示浮點(diǎn)數(shù)
%g,%G：以科學(xué)計(jì)數(shù)法的格式或浮點(diǎn)數(shù)的格式顯示數(shù)值
%s：顯示字符串
%u：無符號(hào)整數(shù)
%%：顯示%自身
修飾符：
N：顯示寬度
-：左對(duì)齊
+：顯示數(shù)值符號(hào)
1，統(tǒng)計(jì)squid日志中各個(gè)狀態(tài)碼所占的百分比
# cat /usr/local/squid/var/logs/access.log | awk 'BEGIN{print "status code","\t""rate"}{count+=1;a[$9]+=1}END{for(i in a) print i,"\t",a[i]/count*100}' | sort -nk2
status code rate
400 0.00412448
416 0.00412448
478 0.00412448
204 0.00618672
401 0.0268091
0 0.0659916
301 0.0763028
302 0.787775
404 2.19628
403 2.66441
206 5.02567
304 17.7043
200 71.43392，統(tǒng)計(jì)squid日志中訪問次數(shù)前10的域名
]# cat /usr/local/squid/var/logs/access.log | awk 'BEGIN{print "domain","\t","rate"}{count+=1;a[$2]+=1}END{for(i in a){print i,"\t",a[i]}}' | sort -nk2 | tail
bsy.pp.starschinalive.com 125
js1.pcfg.cache.wpscdn.cn 131
portal.wsds.cn 162
vas.fun.tv 173
img.funshion.com 238
www.duba.com 277
plugin.video.51togic.com 280
p1.meituan.net 286
res.qxz.37wan.com 306
d.ifengimg.com 4813，統(tǒng)計(jì)最近5分鐘的流量
日志：27.156.95.175 uc.a.yximgs.com "p_w_picpath/webp" [25/Dec/2016:22:17:01 +0800] "GET http://uc.a.yximgs.com/upic/2016/11/27/11/BMjAxNjExMjcxMTIxMTNfODY2MTM1NV8xMzAxODgwMDQ4XzJfMw==_low.webp?tag=1-1482675421-f-0-8a7txqz36n-ce40124930229f39 HTTP/1.1" 200
cat /usr/local/squid/var/logs/access.log | awk '{i=int(substr($4,17,2)/5)*5;h=substr($4,14,2);s[h":"i]+=$10;}END{for(i in s)print i,s[i]*8/1024/1024/300"Mbps"}'
21:50 143.537Mbps4，MISS的域名請(qǐng)求數(shù)top10統(tǒng)計(jì)
# cat /usr/local/squid/var/logs/access.log | awk '{n+=1;if($0~/MISS/)a[$2]+=1}END{for(i in a){print i,a[i],a[i]/n*100}}' | sort -nrk2 | head
www.duba.com 237 0.868291
p1.meituan.net 163 0.597179
pas.suning.com 66 0.241803
shopping.suning.com 55 0.201502
77g4l9.com5.z0.glb.qiniucdn.com 55 0.201502
res.qxz.37wan.com 50 0.183184
review.suning.com 41 0.150211
static.1sapp.com 32 0.117238
s1.vas.wpscdn.cn 30 0.10991
fs.ios.kugou.com 25 0.0915919
新聞標(biāo)題：日志統(tǒng)計(jì)中awk常見的運(yùn)用
文章來源：http://m.jiaotiyi.com/article/gegdcg.html