日志分析的發(fā)展

       日志本身來源于服務(wù)器、設(shè)備和傳感器等機器設(shè)備，且所有日志前都帶有時間戳，所以，其學術(shù)定義為“時間序列機器數(shù)據(jù)”。服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件以及用戶信息等內(nèi)容都包含在日志中，甚至還有物聯(lián)網(wǎng)傳感器等信息。隨著人們對日志分析的關(guān)注度不斷提升，日志分析也經(jīng)歷了以下幾個階段。

       在Gartner最新的報告中指出，到 2019 年，全球25%的公司都將系統(tǒng)性部署實施 AIOps 平臺支持兩個及以上的主要 IT 運維功能。到2022年，40% 的大型企業(yè)會通過大數(shù)據(jù)和機器學習的能力來幫助甚至逐漸取代傳統(tǒng)運維中的監(jiān)控、服務(wù)臺及自動化流程。

        Gartner 報告稱，2012 年企業(yè) ITOA 支出為 30 億美元， 2013 年超過 80 億美元，2014 年增速達 100% ，預(yù)計到 2018 年將成為主流市場需求。ITOA 需要的數(shù)據(jù)源有機器數(shù)據(jù)（日志）、通訊數(shù)據(jù)、代理數(shù)據(jù)、探針數(shù)據(jù)，其中日志數(shù)據(jù)占比可達 80 %。隨著 ITOA 概念滲透率逐步提升，日志分析的價值度也逐步提升。

實時搜索日志分析平臺的應(yīng)用

        那么AIOps究竟在日志分析中有哪些典型的應(yīng)用場景呢？根據(jù)我們的實踐經(jīng)驗，現(xiàn)總結(jié)出如下場景：

• 全局日志檢索：以一個典型金融行業(yè)為例，他們有上百個業(yè)務(wù)系統(tǒng)，面對每天產(chǎn)生的大量日志數(shù)據(jù)（TB級），日常運維過程中，當運維人員需要排錯或日志巡檢時，需要逐臺登錄服務(wù)器, 無法集中查看和管理日志數(shù)據(jù)；另外，日志查詢方式比較原始, 比如 Windows 服務(wù)器，手動查看Event Log， Linux服務(wù)器則只能通過less、grep和awk等常見的Linux指令，無法從時間段、關(guān)鍵字、字段值統(tǒng)計等方面進行多維度查詢。AIOps平臺通過收集各類數(shù)據(jù)源（包括操作系統(tǒng)、系統(tǒng)軟件、數(shù)據(jù)庫、應(yīng)用日志等），統(tǒng)一進行管理。不同于以往每次僅可查看數(shù)量有限的幾種日志，運維人員可通過智能運維平臺所提供的關(guān)鍵字、統(tǒng)計函數(shù)、單條件、多條件、模糊查找等功能，在多個系統(tǒng)中快速定位故障信息，幫助運維人員從全局視角查看系統(tǒng)的運維數(shù)據(jù)信息。

• 復(fù)雜多維報表，應(yīng)用深度監(jiān)控：AIOps將各系統(tǒng)的運維數(shù)據(jù)進行統(tǒng)計分析并生成各類實時報表，對各類運維數(shù)據(jù)（如應(yīng)用日志、交易日志、系統(tǒng)日志）進行多維度、多角度深入分析及可視化展現(xiàn)，以業(yè)務(wù)視角實時展示各種業(yè)務(wù)指標。

• 快速發(fā)現(xiàn)故障，精準告警：實時采集各類運維數(shù)據(jù)（日志、監(jiān)控系統(tǒng)告警、性能數(shù)據(jù)等），通過對歷史數(shù)據(jù)的挖掘和分析，AIOps 可以找出哪些告警和事件是頻繁一起出現(xiàn)的，并將其認看作同一類故障的告警，從而把多個告警和指標合并，推送給運維人員，做到精細化告警，避免傳統(tǒng)監(jiān)控工具因一故障而導致的告警風暴，生產(chǎn)告警噪音。

• 縮短故障解決時間：可以通過運維數(shù)據(jù)可視化（復(fù)雜多維報表，熱力圖）及精細化告警信息，結(jié)合以前發(fā)現(xiàn)問題的經(jīng)驗知識庫和模型，從而將運維信息從平面變?yōu)榱Ⅲw，立體展現(xiàn)故障樹分析，通過推導路徑使運維人員對于問題的定位更加快速、直觀，使得問題的解決更加容易。

• 預(yù)測未來：可以進行數(shù)據(jù)挖掘，生成分析類報表，進行趨勢/容量/故障預(yù)測。例如，某些故障之間有時間上的先后關(guān)系，交換頁不足、內(nèi)存不足會逐漸導致系統(tǒng)故障或應(yīng)用故障，該系統(tǒng)建立關(guān)聯(lián)模型，發(fā)現(xiàn)前者故障，提醒用戶可能后繼可能發(fā)生系統(tǒng)故障或應(yīng)用故障。在故障產(chǎn)生真正業(yè)務(wù)影響前，告知運維人員事先解決問題。

• IT輔助決策支持：可以通過采集海量多維度數(shù)據(jù)，構(gòu)建多元結(jié)構(gòu)化底層數(shù)據(jù)倉庫，以搭積木的方式適配各類運維場景，并在場景里刻畫系統(tǒng)和人員畫像，通過畫像形式來輔助企業(yè)進行IT決策。

寫在最后

        規(guī)模不斷擴大的 IT 系統(tǒng)、日益復(fù)雜的系統(tǒng)架構(gòu)，以及海量的 IT 日志數(shù)據(jù)使得運維人員壓力山大，3.0實時日志搜索分析平臺的出現(xiàn)，將大大釋放運維人員的生產(chǎn)力，使得運維人員專注于提高業(yè)務(wù)的連續(xù)性。

        因此，企業(yè)搭建實時日志檢索分析平臺已迫在眉睫。

參考鏈接：

https://www.gartner.com/newsroom/id/3674017

https://en.wikipedia.org/wiki/IT_operations_analytics

http://os.51cto.com/art/201512/502040_all.htm