因公司目前業(yè)務(wù)量不大,故把elk部在了虛機(jī)上,給予的硬盤空間少的離譜,需一天清一次開(kāi)測(cè)環(huán)境的日志,當(dāng)寫完腳本定時(shí)執(zhí)行發(fā)現(xiàn)每天的定時(shí)任務(wù)日志是正常的但是第二天發(fā)現(xiàn)索引還在!起初以為是腳本或定時(shí)任務(wù)的問(wèn)題,最后發(fā)現(xiàn)是索引的生成時(shí)間有問(wèn)題,索引默認(rèn)的生成時(shí)間是凌晨八點(diǎn)
;而腳本的定時(shí)任務(wù)是凌晨四點(diǎn),肯定是生效了,但是由于還有數(shù)據(jù)寫入就又會(huì)生成這個(gè)索引;
因?yàn)閘ogstash默認(rèn)使用的UTC時(shí)間
,我們現(xiàn)在處于的是東八區(qū)CST(CST=UTC+8h)
,也就是UTC時(shí)間是比我們慢8個(gè)小時(shí)的,當(dāng)UTC時(shí)間到00:00的時(shí)候,會(huì)觸發(fā)生成新的索引,這時(shí)候我們就已經(jīng)到了08:00;
1、索引的創(chuàng)建時(shí)間
或日志寫入es的時(shí)間
是根據(jù)默認(rèn)的"@timestamp"字段來(lái)創(chuàng)建寫入的,所以直接給"@timestamp"加上8小時(shí)即可;這樣,索引生成的時(shí)間就是00:00了
filter {date { match =>["log_time", "yyyy-MM-dd HH:mm:ss.SSS"]
target =>"@timestamp"
}
ruby { code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"
}
ruby { code =>"event.set('@timestamp',event.get('timestamp'))"
}
mutate { remove_field =>["timestamp"]
}
}
}
"@timestamp"
字段的時(shí)間+8個(gè)小時(shí)賦值給新的"timestamp"
字段"timestamp"
字段再賦值給"@timestamp"
字段"timestamp"
字段如下:
修改后觀察第二天索引的創(chuàng)建時(shí)間戳已正常改為凌晨00:00
2、還有一點(diǎn)是需要將kibana的顯示時(shí)間改為UTC
,默認(rèn)kibana是自動(dòng)根據(jù)瀏覽器"Browser"
的時(shí)間來(lái)的,這樣會(huì)導(dǎo)致我們現(xiàn)在的時(shí)間+8小時(shí);當(dāng)改為UTC后+8h正好符合我們現(xiàn)在的時(shí)間
使用kibana的默認(rèn)時(shí)間"Browser"
顯示日志如下
可以看出kibana顯示的時(shí)間為瀏覽器的時(shí)間東八區(qū)時(shí)間CST(CST=UTC+8h)
+8h,所以會(huì)比我們實(shí)際日志產(chǎn)生的時(shí)間多了8h,即只需要將kibana的顯示時(shí)間改為UTC即可;
kibana7.x修改顯示的時(shí)間為UTC:
kibana界??標(biāo)依次點(diǎn)擊如下:
(1)菜單欄;
(2)StackManagement;
(3)Kibana;
(4)高級(jí)設(shè)置;kibana6.x修改顯示的時(shí)間為UTC:
kibana界??標(biāo)依次點(diǎn)擊如下:
(1)菜單欄;
(2)管理
(3)Kibana;
(4)高級(jí)設(shè)置;
kibana修改顯示的時(shí)間為UTC格式后,日志如下:
顯示時(shí)間一切正常;
簡(jiǎn)單來(lái)說(shuō)解決方案就是兩步
(1)把logstash由默認(rèn)的UTC時(shí)區(qū)
修改為我們的東八區(qū)CST(CST=UTC+8h)
,也就是把logstash的默認(rèn)"索引的創(chuàng)建時(shí)間
或日志寫入es的時(shí)間"
+8h
;
(2)將kibana默認(rèn)的瀏覽器時(shí)間"Browser"
(東八區(qū))改為UTC時(shí)區(qū)
;
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級(jí)服務(wù)器適合批量采購(gòu),新人活動(dòng)首月15元起,快前往官網(wǎng)查看詳情吧
網(wǎng)站欄目:logstash修改es創(chuàng)建索引的時(shí)間為凌晨00:00;-創(chuàng)新互聯(lián)
本文URL:http://newbst.com/article44/dgiihe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、品牌網(wǎng)站設(shè)計(jì)、微信公眾號(hào)、網(wǎng)站導(dǎo)航、響應(yīng)式網(wǎng)站、軟件開(kāi)發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容