日志分析的發(fā)展

       日志本身來源于服務(wù)器、設(shè)備和傳感器等機(jī)器設(shè)備，且所有日志前都帶有時(shí)間戳，所以，其學(xué)術(shù)定義為“時(shí)間序列機(jī)器數(shù)據(jù)”。服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件以及用戶信息等內(nèi)容都包含在日志中，甚至還有物聯(lián)網(wǎng)傳感器等信息。隨著人們對日志分析的關(guān)注度不斷提升，日志分析也經(jīng)歷了以下幾個(gè)階段。

       在Gartner最新的報(bào)告中指出，到 2019 年，全球25%的公司都將系統(tǒng)性部署實(shí)施 AIOps 平臺支持兩個(gè)及以上的主要 IT 運(yùn)維功能。到2022年，40% 的大型企業(yè)會(huì)通過大數(shù)據(jù)和機(jī)器學(xué)習(xí)的能力來幫助甚至逐漸取代傳統(tǒng)運(yùn)維中的監(jiān)控、服務(wù)臺及自動(dòng)化流程。

        Gartner 報(bào)告稱，2012 年企業(yè) ITOA 支出為 30 億美元， 2013 年超過 80 億美元，2014 年增速達(dá) 100% ，預(yù)計(jì)到 2018 年將成為主流市場需求。ITOA 需要的數(shù)據(jù)源有機(jī)器數(shù)據(jù)（日志）、通訊數(shù)據(jù)、代理數(shù)據(jù)、探針數(shù)據(jù)，其中日志數(shù)據(jù)占比可達(dá) 80 %。隨著 ITOA 概念滲透率逐步提升，日志分析的價(jià)值度也逐步提升。

實(shí)時(shí)搜索日志分析平臺的應(yīng)用

        那么AIOps究竟在日志分析中有哪些典型的應(yīng)用場景呢？根據(jù)我們的實(shí)踐經(jīng)驗(yàn)，現(xiàn)總結(jié)出如下場景：

• 全局日志檢索：以一個(gè)典型金融行業(yè)為例，他們有上百個(gè)業(yè)務(wù)系統(tǒng)，面對每天產(chǎn)生的大量日志數(shù)據(jù)（TB級），日常運(yùn)維過程中，當(dāng)運(yùn)維人員需要排錯(cuò)或日志巡檢時(shí)，需要逐臺登錄服務(wù)器, 無法集中查看和管理日志數(shù)據(jù)；另外，日志查詢方式比較原始, 比如 Windows 服務(wù)器，手動(dòng)查看Event Log， Linux服務(wù)器則只能通過less、grep和awk等常見的Linux指令，無法從時(shí)間段、關(guān)鍵字、字段值統(tǒng)計(jì)等方面進(jìn)行多維度查詢。AIOps平臺通過收集各類數(shù)據(jù)源（包括操作系統(tǒng)、系統(tǒng)軟件、數(shù)據(jù)庫、應(yīng)用日志等），統(tǒng)一進(jìn)行管理。不同于以往每次僅可查看數(shù)量有限的幾種日志，運(yùn)維人員可通過智能運(yùn)維平臺所提供的關(guān)鍵字、統(tǒng)計(jì)函數(shù)、單條件、多條件、模糊查找等功能，在多個(gè)系統(tǒng)中快速定位故障信息，幫助運(yùn)維人員從全局視角查看系統(tǒng)的運(yùn)維數(shù)據(jù)信息。

• 復(fù)雜多維報(bào)表，應(yīng)用深度監(jiān)控：AIOps將各系統(tǒng)的運(yùn)維數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析并生成各類實(shí)時(shí)報(bào)表，對各類運(yùn)維數(shù)據(jù)（如應(yīng)用日志、交易日志、系統(tǒng)日志）進(jìn)行多維度、多角度深入分析及可視化展現(xiàn)，以業(yè)務(wù)視角實(shí)時(shí)展示各種業(yè)務(wù)指標(biāo)。

• 快速發(fā)現(xiàn)故障，精準(zhǔn)告警：實(shí)時(shí)采集各類運(yùn)維數(shù)據(jù)（日志、監(jiān)控系統(tǒng)告警、性能數(shù)據(jù)等），通過對歷史數(shù)據(jù)的挖掘和分析，AIOps 可以找出哪些告警和事件是頻繁一起出現(xiàn)的，并將其認(rèn)看作同一類故障的告警，從而把多個(gè)告警和指標(biāo)合并，推送給運(yùn)維人員，做到精細(xì)化告警，避免傳統(tǒng)監(jiān)控工具因一故障而導(dǎo)致的告警風(fēng)暴，生產(chǎn)告警噪音。

• 縮短故障解決時(shí)間：可以通過運(yùn)維數(shù)據(jù)可視化（復(fù)雜多維報(bào)表，熱力圖）及精細(xì)化告警信息，結(jié)合以前發(fā)現(xiàn)問題的經(jīng)驗(yàn)知識庫和模型，從而將運(yùn)維信息從平面變?yōu)榱Ⅲw，立體展現(xiàn)故障樹分析，通過推導(dǎo)路徑使運(yùn)維人員對于問題的定位更加快速、直觀，使得問題的解決更加容易。

• 預(yù)測未來：可以進(jìn)行數(shù)據(jù)挖掘，生成分析類報(bào)表，進(jìn)行趨勢/容量/故障預(yù)測。例如，某些故障之間有時(shí)間上的先后關(guān)系，交換頁不足、內(nèi)存不足會(huì)逐漸導(dǎo)致系統(tǒng)故障或應(yīng)用故障，該系統(tǒng)建立關(guān)聯(lián)模型，發(fā)現(xiàn)前者故障，提醒用戶可能后繼可能發(fā)生系統(tǒng)故障或應(yīng)用故障。在故障產(chǎn)生真正業(yè)務(wù)影響前，告知運(yùn)維人員事先解決問題。

• IT輔助決策支持：可以通過采集海量多維度數(shù)據(jù)，構(gòu)建多元結(jié)構(gòu)化底層數(shù)據(jù)倉庫，以搭積木的方式適配各類運(yùn)維場景，并在場景里刻畫系統(tǒng)和人員畫像，通過畫像形式來輔助企業(yè)進(jìn)行IT決策。

寫在最后

        規(guī)模不斷擴(kuò)大的 IT 系統(tǒng)、日益復(fù)雜的系統(tǒng)架構(gòu)，以及海量的 IT 日志數(shù)據(jù)使得運(yùn)維人員壓力山大，3.0實(shí)時(shí)日志搜索分析平臺的出現(xiàn)，將大大釋放運(yùn)維人員的生產(chǎn)力，使得運(yùn)維人員專注于提高業(yè)務(wù)的連續(xù)性。

        因此，企業(yè)搭建實(shí)時(shí)日志檢索分析平臺已迫在眉睫。

參考鏈接：

https://www.gartner.com/newsroom/id/3674017

https://en.wikipedia.org/wiki/IT_operations_analytics

http://os.51cto.com/art/201512/502040_all.htm