回到首頁
資訊維運系統圖形化監控重點說明
-
使用視覺化圖形監控對於資訊維運監控系統是一項非常重要的監控型態
必須考慮親和性,專業性要盡量做到無論懂或不懂,都能一目了然
也要能符合專業工程師的進階除錯與追蹤(Debug)的功能需求
整合整體資訊設備的資訊關聯是基本條件
圖形化監控會依用途來分類
如:
*.即時資訊戰情中心監控圖
*.各監控類別即時狀態圖
*.流量分析圖
*.效能分析圖
*.數據分析圖
*.圓形比率分析圖
*.排名統計分析圖
*.警報分析圖
*.長期資料清單
*.排名分析圖
*.文字型態清單明細圖
下圖為資訊維運中心的主頁,涵蓋監控類別總數,監控項目總數與告警項目 等整體資訊中心狀態
下圖為伺服主機-告警排名分析圖 最近三個月前10名伺服器
下圖為伺服主機一年份12個月的告警數量總計的分析圖,分伺服器與其他類別
警報資訊
解除警報資訊
下圖為整體系統之圖形監控畫面首頁
圖形化視覺呈現,每個圖形均代表一個監控項目,所有警報一目了然
監控項目下的全部子項目均正常亮綠燈,若有一個或以上的子項目發出警報則亮紅燈
整體系統-圖形監控涵蓋功能廣泛,每個系統功能設計測目的不同,而有不同的偵測目地和監測目標
伺服主機首頁監控畫面會依需要而分小圖,中圖與大圖 下圖為大圖,每一台主機可呈現約30種狀態資訊
虛擬主機VMHost之首頁監控畫面
虛擬主機VMHost系統資源的監控畫面,由維運中心首頁的連結點選進入:
VMHost伺服器內的Guest主機清單與資源分配狀態圖
深入監控伺服器系統,無論懂或不懂,都一目了然的伺服器效能與資訊
一眼清楚的呈現伺服器效能與資訊
看 -> 伺服器效能與資訊圖形監控詳細說明
伺服主機依重要性區分:A,B,C級主機 伺服主機的圖示:
伺服主機的狀態系統狀態的圖示:
系統狀態可分為正常,警報,暫停,維修,失去連線,重新開機中
CPU,實體記憶體,虛擬記憶體使用率超過97%以上時為嚴重警報 嚴重警報之燈號如下:
已通報待處理之警報燈號:
已通報待處理之警報:
警報發生後可標示伺服主機為通知系統管理員處理中,已區別處理中和尚未處理之伺服器
每一台伺服主機內的監控項目:
監控項目的功能分為硬體層,作業系統層,應用系統層
*.硬體層,如IPMI,ILO,磁碟陣列
*.作業系統層(OS),如CPU,Memory
*.應用系統層(AP),如執行程式,事件警報,事件數據
監控項目的狀態與警示用顏色表示
偵測類功能如下:
封包測試,定時檔案,IP通信埠,硬碟使用,CPU與記憶體,硬碟效能,磁碟陣列,網卡流量,連線數量
程式比對,目錄比對,執行程式,檔案數量,檔案偵測,事件警報事件數據,排程資訊,連線測速-接收
連線測速-傳送,常駐程式,硬碟索引,系統比對,系統服務
資訊類功能如下:
代理程式,外網連線,重要記事,處理程序數量,處理程序數量拓樸圖,偵測項目拓樸圖,歸屬主機拓樸圖
TCP連線拓樸圖,TCP連線分析圖,封包測試,開機記錄
關聯類功能包含如下:
IPMI,交換器,系統記錄,UPS,網站連結,設備資訊
網路設備-交換器(Switch),防火牆(Firewall),負載平衡器(Load Balancer)的監控畫面
網路設備-交換器(Switch),防火牆(Firewall),負載平衡器(Load Balancer)等網通設備在本文內一律稱為(交換器Switch)
交換器Switch的 流量負載比-24H
Switch拓樸圖-關聯,在設定畫面輸入納入監控的Switch IP後,即可看到如下圖的網絡關係圖,如下圖
核心交換器(Core Switch)的拓樸圖
Switch-拓樸圖-核心可以看出Core Switch和其他主機以及Switch的連接架構
例如:透過圖型得知網路設備是否過度集中在特定幾個Switch
導致特定Switch出問題時導致為數眾多的網路設備癱瘓的問題等
集中化展示的交換器(Switch)狀態圖
全部交換器狀態圖可一覽各Switch的CPU, Memory使用率,每個通信埠的狀況,是否發佈警報
並對應埠的實體位置,功能如戰情圖,讓系統人員能夠一看就知道全部Switch的狀態
集中化展示的交換器(Switch) VLAN分佈圖
VLAN分佈圖可以一覽各虛擬網段VLAN的CPU,Memory使用率以及VLAN的分佈和劃分狀況,是否發佈警報
並對應埠的實體位置,讓維護人員能夠有效掌握VLAN分佈狀態與各VLAN的分佈情形
集中化展示的交換器(Switch)連接埠速度的分佈圖
連接埠速度的分佈圖全部可一覽各Switch的CPU,Memory使用率以及每個通信埠的埠速度
並對應埠的實體位置,讓維運管理人員能夠有效掌握全部埠速度的狀態,對有降速狀況立即處置
交換器(Switch)連接埠 使用清楚的圖形狀態顯示埠狀態
集中化展示的交換器(Switch) 廣播封包狀態圖
廣播封包狀態圖可以一覽各Switch的CPU,Memory使用率,包含每個通信埠的傳輸量,是否發佈警報
並對應埠的實體位置,讓網路管理人員能夠有效掌握各通信埠的廣播封包的傳輸狀態
其中紅色的IP表示Switch無法取得資料,通信埠中數字表示秒流量
每一個Switch的連接埠都有詳細資訊與分析圖
每一個連接埠都有100個以上的資料項目
項目包括:連接埠編號,連接埠名稱,連接埠簡稱,連接埠速度,最大傳輸MTU,連接之設備,設備類別;
序號,效能分析,效能-長期,警報分析,警報-長期,週(KB),週(MB),週(GB),狀態,偵測項目,名稱
資料時間,總流量Pkt,總流量,區間流量Byt,Pkt/值,區間秒數,封包長度Byt,秒負載比,秒流量Pkt
最低警報值,最高警報值,警報時間,訊息
Switch-拓樸圖 僅為特別重要的設備展示 伺服主機分佈圖
伺服主機分佈圖功能如戰情圖功用,能讓維護人員有效掌握各伺服主機和Switch的歸屬關係
如果是沒納入控管的伺服主機會另外歸為一類以方便判別,如上圖Switch和環成球形的伺服主機
交換器(Switch)使用"秒流量"為資料流單位,讓數據單位更符合原設備的單位規格
透過觀察各種秒流量排名圖,可以看出Switch資料傳輸量的不同面向
以下排名圖形可看出各Switch的通信埠的秒流量前50排名,本圖為將Switch依秒流量(%/sec)加以排序
交換器(Switch)各類型流量排名數據分析圖,有下列幾種資料類別:
1.流量使用比
2.資料流量(KB)
3.資料流量(MB)
4.流量封包
5.廣播封包
6.錯誤封包
7.忽略封包
每一種資料類別又分三種資料
*.資料流量-進
*.資料流量-出
*.資料流量-進出
以下圖形僅代表性展示二種
方便追蹤資訊設備在Switch的位置 依IP搜尋交換器位置
可依照IP進行搜尋交換器Switch的相關資料
搜尋到的Switch是以網路設備的埠的觀點判讀,打勾處為設備在Switch的位置
方便追蹤資訊設備在Switch之暗間串接的位置 依追蹤IP交換器位置
輸入起點和終點的網路設備IP,即可看出特定連線設備間的串接流程狀態
點選上方通訊埠,可能出現兩種情形,一是上方讀拓樸圖,一是Switch交換器狀態
應版面需要而使用較小的圖形監控來展示 交換器小圖展示
Switch-埠速度分佈圖
Switch-封包狀態圖
Switch-狀態圖-小圖為Switch-狀態圖,Switch-埠速度分佈圖,Switch-封包狀態圖三圖每隔120秒輪流播出
以便用有限的螢幕展示最多資訊,適合用螢幕展示於開放區域
提供網管人員甚至整間辦公室的工作人員全員監督系統狀態
主機硬體-IPMI
IPMI為監控伺服器內之硬體裝置與主機版安全指標數據
如:溫度感測器,風扇轉速,電壓電流,電源供應器等數十種監測項目
IPMI的同屬性的功能有HP iLO,IBM IMM與Dell iDRAC等不同名稱
偵測目的為即時掌控收集伺服器內的硬體裝置與主機板安全指標數據狀態,以保全主機硬體運作正常
如:風扇出問題時會讓主機溫度上升面當機,若是虛擬主機例如VMHost則會影響多台伺服主機,層面更為廣泛
封包測試
封包測試是檢測網路效能與斷線的基本方法,最重要的兩個檢測指標是封包漏失百分比(loss)與封包回應時間(time)
偵測目的為對網路設備做連線品質監測與斷線測試,並將記錄用於長短期數據分析.本功能有多種應用方式
其中常見的應用,例如將系統人員常做的ping網路設備以得知是否有回應,轉為自動化定時檢測
並且擴大其應用範圍,透過佈線追蹤找出網路串接之故障點
效能分析圖一週
警報分析圖一週
本圖之目的為顯示警報發生和結束的時間,以及持續的長度,從警報的規律性可判斷告警訊息
是否由系統事件造成或是假警報,例如下班,放假,系統測試或是例行維修
IP通信埠
IP通信埠從系統程式來看為Socket
針對有網路服務能力的設備進行Socket連線監測,以確認主機的網路服務程式或連線是否中斷
並檢測等待連線的服務是否為非法的Listening狀態
定時檔案
利用應用程式定時回報的機制來檢測系統或程式是否停止執行或當掉的的存活標記
檢測的方法是由受監控主機或執行程式定時送出標記或事件訊息,當維運溢時未收到訊息則視為警報事件
警報閘道
"警報閘道"的偵測目是將客製化的應用程式整合入資訊維運監控系統內並代發警報訊息
當應用程式的檢測機制必須發佈警報事件時,可將預定之事件名稱傳送至維運系統主機執行警報處理機制
可發佈警報與解除警報,並可設定警報有效時間,警報時間內不再另發警報,只亮警示燈,防止短時間內警報
本功能的監測目標為事件名稱和警報有效時間
IP與MAC
檢測IP與MAC是本偵測系統主要的功能,可限定資訊設備的IP對應MAC為一對一的綁定狀態
若資訊設備的IP位址與網卡位址(MAC)有一項不符原來設定的位址即視為警報事件
可透過多元管道email,簡訊與警示音效等立即通知系統管理員或網管人員
網站偵測
網站偵測利用定時取樣,每個網站以至多取10個網頁的抽樣方式蒐集資料
確定網路連線的每個節點(node)皆為通暢,以確保網站正常運行
同時檢測網路連線與DNS解析,WEB Server服務狀態如:Apachem與IIS,中介程式如Java AP
後台資料庫連線或系統是否正常,取得網頁花費的時間與比對網頁內文
命令閘道
命令閘道是管理伺服器的必備工具,當維運監控的各種偵測系統中的每一項目發出警報或解除警報時
可以利用 關連事件來觸發命令閘道,這個命令直接控制遠端伺服器,進行預定的命令執行如同遠端命令
例如:網站偵測中若無法取得網頁資料,研判服務程式可能有問題,就可以用命令閘道重啟服務程式
緊急關機或一鍵關機也是常用的一種功能
使用時機為事件發生時,自動執行某些指令作為應變措施,最常發生的機會有:
.偵測系統發出警報事件(資料夾內的檔案太多要自動清除)
.偵測系統解除警報事件(解除警報時會觸發遠端伺服器進行預定的命令執行)
.緊急狀況(如:停電關機,讓機房值班人員用簡易的方法快速關機)
.例行性作業(每天要定時關閉大量的主機,定時重新開機)
命令閘道的功能有下列:
1.利用相關主機傳送的命令名稱來遙控遠端主機
2.利用本機的單一偵測目標的警報事件來遙控遠端主機
3.利用本機的多項偵測系統(系統命令閘道)的警報事件來遙控遠端主機
若符合"命令閘道"定義的檔案名稱,會用簡短訊,Mail發出通知
事件數據-本機
事件數據-本機為一個客製化,整合需求,具有多元化的告警方式的數據型警報機制
警報的發佈是根據數據資料的判別,例如統計遠端伺服器主機資訊的各項連線數量
建立一個數字型態的事件資料,用於記錄與分析同時比較最低值與最高值定義數據是否符合警報條件
並將數據轉為多元化的告警機制是"事件數據-本機"的主要功能
連線測速-接收
定時經維運的程式接收傳送方固定數量之資料,用此功能測試維運系統主機和特定伺服器之間的傳送速度
偵測目的是由Watchdog維運系統負責檢測與主機間的網路實際傳送速度
全時收集主機網路卡的品質與交換器(Switch)連接埠,的速度,資料流量做為系統或網路調整之依據
監測目標為最低傳送速度(KB/sec)與最低回傳速度(KB/sec)
連線測速-傳送
"連線測速-傳送-本機"是模擬資料在兩台伺服器之間傳輸,先傳送至接收方主機後再回傳
用此功能測試兩台電腦之間的傳送速度,資料來回的傳輸速度不一樣,只要啟用回傳功能,可測出傳回的速度
其偵測目的是由維運主機負責檢測與主機間的網路實際傳送速度
全時收集主機網路卡的品質與交換器(Switch)連接埠的速度,資料流量做為系統或網路調整之依據
監測目標為最低傳送速度(KB/sec)與最低回傳速度(KB/sec)
網路流量-NetFlow/sFlow
流量記錄-NetFlow/sFlow功能是收集NetFlow/sFlow所提供流經Switch的關鍵資料
作為除錯(debug),分析,追蹤的依據
收集網路資料流向,提供每筆資料的詳細資訊,而資料內容包含網路協定的各種重要資訊
如:來源IP,來源協定,通信埠,來源MAC,通信協定(ICMP,IGMP,TCP,UDP,ARP),目地IP,目地協定通信埠目地MAC
依據資料源可分析統計下列資訊:
*.依網內進或出
*.依網外進或出
*.依TCP通信埠統計
*.依UDP通信埠統計:
*.每小時封包(Packet)統計量
*.每小時流量(Bytes)統計量
*.每小時次數統計量
*.每天總計量
*.網域名稱IP所屬國家清單
*.IP所屬國家的比例分佈圖(內建約36億筆的IP所屬國家資料庫)
依據伺服器和通信埠劃分NetFlow的資訊蒐集
依據星期幾,長期報表,ICMP,IGMP等類別將資料分類
網路流量-NetFlow-ICMP表單
ICMP和IGMP的統計項目皆同,包含有序號,拓樸圖,關連IP,一天,一週,測試,資訊,明細,主機,類別
網域名稱,國家,來源IP,總計,外網IP所歸屬的國家
其中國家網域分佈圖列舉出資料流進或流出網外時,各國家所佔的資料筆數依序為何
NetFlow網路流量一週分析圖中,取其中任一折線即為一天分析圖
每小時流量統計分為以下幾種:
*.每小時流量統計-依Packet排名
*.每小時流量統計-依Bytes排名
*.每小時流量統計-依筆數排名
每個項目又分為:
*.網內-流出
*.網內-流進
*.網內-流出+進
*.網外-流出
*.網外-流進
*.網外-流出+進
以上所產生的所有報表之圖表皆同,唯有個項目不管流進,流出,流出+進網外
均有圓餅圖列出資料流進或流出網外時各國家所佔的資料筆數
網路流量-ARP
ARP統計記錄(ARP要求與回應),ARP協定可在IPV4的環境下統計ARP要求和回覆的數量
讓網管人員隨時瞭解ARP流動量是否正常,即時掌控內網中ARP流動數據
依每一IP設備統計分為每小時要求量統計,每小時回應量統計,每天總計量統計
依伺服器統計的ARP資料,圖形監控大圖
週一到週日分日統計的ARP明細記錄,長期報表,ARP-Request,ARP-Reply,MAC記錄檔
資料主機:依伺服器統計的ARP Request和ARP Reply資料
每日小時明細報表-ARP Request統計記錄
ARP-Request統計記錄和ARP-Reply統計記錄包含序號,一天,一週,測試,資訊,明細,主機,類別
網域名稱,國家,來源IP,總計等項目
每日小時明細報表-ARP Request統計記錄-依小時次數分析
橫軸是小時,縱軸是次數的ARP小時-次數統計表
網路流量-ARP之一週分析圖
ARP一週分析圖:每週一至週日,橫軸是小時,縱軸是次數的ARP小時-次數統計表
網路流量-網路流量-ARP-長期報表-ARP Request
ARP-Request統計記錄和ARP-Reply統計記錄包含以下項目:
序號,一天,一週,測試,資訊,明細,主機,類別,網域名稱,國家,來源IP,總計
為每日小時明細報表-ARP Request統計記錄的長期記錄
ARP Request有警報事件發生
本功能有序號,時間,拹定,來源-IP,星期,時刻,取得值,訊息內容等項目,只要超過警報居界值
(通常指超過ARP Request的最大值)就會發出警報訊息
簡易網管-SNMP
偵測目的為定時取得指定設備特定的MIB與OID之文字或數據資料
並依據警報條件值判定為正常或異常,文字資料依部分符合或全部符合等特定字串來判定條件值為正常或異常
數字資料依大於,等於或小於等特定數值來判定條件值為正常或異常
監測目標為任何有SNMP功能之設備:
*.無條件轉送訊息內容
*.比對內容數據或字串是否符合警報條件(最大值,最小值為數據比對的關鍵指標
字串內容為字串比對的關鍵指標,當相等時為異常或當不相等時為異常)
簡易網管-SNMPtrap
偵測目的:整合其他設備的警示訊息,當設備故障或,因特定訊息而發出SNMP TRAP訊息時協助轉發告警訊息
監測目標:任何有SNMP TRAP功能之設備 如:儲存系統硬碟故障
*.無條件轉送訊息內容
*.有條件轉送訊息內容(限定來源IP,網段,限定物件ID(OID)
*.比對內容數據或字串是否符合警報條件,(最大值,最小值為數據比對的關鍵指標
字串內容為字串比對的關鍵指標,當相等時為異常或當不相等時為異常)
郵件轉送-本機信箱
偵測目的是利用郵件方式整合其他設備的警示訊息,協助其他設備處理告警事件
為某些監控系統或設備有自我監控能力,但在警報處理機制上僅有郵件通知功能或需要以維運系統整合集中處理
監測目標為本機郵件信箱帳號(SMTP):
*.無條件轉送郵件主旨內容
*.比對內容是否符合警報條件
郵件轉送-遠端信箱
偵測目的是利用郵件方式整合其他設備的警示訊息,協助其他設備處理告警事件
為某些監控系統或設備有自我監控能力,但在警報處理機制上僅有郵件通知功能或需要以維運系統整合集中處理
監測目標為本機郵件信箱帳號(使用POP3)取得郵件:
*.無條件轉送郵件主旨內容
*.比對內容是否符合警報條件
系統日誌-Syslog:
即時收集系統日誌(Syslog)或事件日誌(Eventlog)依訊息等級分類處理
包含了伺服器Unix/Linux與網通設備的Syslog與Windows系列的Eventlog
*.即時依等級分類警報事件
*.篩檢比對訊息內容發出警報
*.事後追查問題
*.應付規定準則
監測目標為指定系統日誌或事件日誌的主機與網通設備
系統日誌-Syslog之圖形監控小圖:
一覽已設定網路設備之暫停,啟用等狀態
圖形監控大圖
點左上藍點切換大圖,可查看IP與別名對照的詳細資料
網路資訊-UPS
拹助監控機房環境之電力設備-不斷電系統(UPS),輔助性拹助監控並不是Watchdog資訊維運監控系統的主要監控項目
拹助性的監控主要是用於
*.整合資訊中心任何資訊設備的營運狀態
*.整合資訊中心任何資訊設備的關聯串接
*.提供第三方的監控數據與狀態做為比較
*.納入整體維運的解決方案
*.統一告警處理機置
監測目標:
*.市電輸入電壓
*.輸入頻率
*.輸出電壓
*.輸出負載
*.電池剩餘容量
一覽市電輸入電壓,輸入電壓,輸出電壓,電池電壓,輸出負載,電池剩餘容量與機箱溫度等各數值的使用情形
警報分析圖一週
網路佈線
網路佈線圖顯示兩個網路設備間經過的所有節點(node),利用ping指令逐一測試網路佈線圖尚未排除的節點
便能找出有問題的網路設備
直接串接與自動搜尋交換器的位置
打勾的連接埠表示以設備的觀點,UPS在交換器Switch上的連接埠位置,方便網管人員在複雜的線路中
快速找到網路設備的位置
數位輸入與數位輸出在資訊中心的應用
數位輸入(DI)與數位輸出(DO)常見於工業上應用與電腦機房環境監控系統中使用
Watchdog資訊維運監控系統對於資訊中心是採全面性監控,同時拹助監控資訊機房環境設備
(如:不斷電系統(UPS),智慧型電力插座PDU),漏水檢測
也提供事件訊息與數據型態的監控項目及告警機制,拹助原生的"機房監控系統"整合於資訊維運監控系統內
同時對於"數位輸入(DI)"與"數位輸出(DO)"還應用於"機房環境監控"以外的用途
數位模組-DI功能的監測目標與適合ON/OFF類的實體開關管控之應用
在資訊維運監控系統的應用上常見於下列機項功能
數位輸入(DI)
*.門禁與攝影快拍的觸動源(如:紅外線感應器)
*.緊急處置的實體按鍵執行觸控點(如:緊急關機,一鍵關機)
數位輸出(DO)
*.驅動照明燈光
*.驅動電源開關
*.驅動緊急關機指示燈
依"數位輸入(DI)"傳送訊號來源方式,用途也不太一樣
*.主動式(Active Message)訊號傳送(微型PLC與模組化PLC較多)
*.被動式-定時輪詢取得訊號狀態
主動式數位輸入 DI Trap
主動式(Active Message)"數位輸入(DI)"用例
1.緊急關機(一鍵關機)
使用"實體按鍵"來執行"緊急關機"的動作
2.門禁攝影快拍記錄
使用紅外線感應器啟動攝影機進行進出資訊中心IDC電腦機房的攝影快拍記錄
數位模組-DITrap的圖形監控小圖:
數位模組-DI
拹助監控機房環境之溫度與濕度感測器
輔助性拹助監控並不是Watchdog資訊維運監控系統的主要監控項目
拹助性的監控主要是用於
*.強化監控機房內不足或要新增的溫度與濕度感測器
*.整合資訊中心任何資訊設備的營運狀態
*.整合資訊中心任何資訊設備的關聯串接
*.提供第三方的監控數據與狀態做為比較
*.納入整體維運的解決方案
*.統一告警處理機置
"溫度與濕度感測器" 監控項目的警報臨界值有下列幾項
*.無法取得資料
*.溫度感測器的最低與最高臨界值
*.濕度感測器的最低與最高臨界值
關鍵指標為溫度(C)和濕度(%)
類比模組-AI溫濕度一週分析表
緊急關機-關機監控
緊急關機為使用一鍵關機來執行緊急關機的程序,同時進入即時關機監控的畫面監看關機狀況
當市電中斷時,UPS電池如果品質還很好時,會有20-30分鐘的時間進行緊急關機
要使用多重方式來執行"緊急關機"動作,如:
*.實體按鍵來進行全面關機是一個快速又安全的方法
*.虛擬按鍵(由瀏覽器操作)
實施緊急關機必須要有嚴密的控管機制與步驟:
*.要考慮系統之間的依賴性與順序或延遲執行的時間
*.依不同重要等級依序關機
*.依不同性質的伺服主機使用不同的方法關機,如實體主機/虛擬主機(VMware)/儲存系統(Storage)
*.建立執行控管機制
*.要考慮執行的方法與位置,如機房火災人員無法進入
緊急關機狀態監控
檢測時段
*.平常10分鐘一次
*.進入緊急關機狀態30秒一次
監控畫面更新
*.平常60秒一次
*.進入緊急關機狀態30秒一次
檢測項目
*.PLC設備利用封包測試檢查網路是否連線正常
*.DI Trap觸動警報啟用
*.命令警報啟用
*.遠端主機程式啟用狀態
*.虛擬主機與Guest主機的連線狀態(ping)
*.IPMI電源狀態
警報標示
*.Watchdog圖控劃面會出現警報燈閃亮
*.檢測系統監測到poweroff標記產生,進入緊急狀態
回到首頁
