將NetFlow與sFlow的流量資訊用最人性化的方法整合關聯資訊

     資訊中心對於監控網路狀態除了"流量"以外,Core Switch與路由器,防火牆的流向安全也是必要的監控項目
     網路中的資訊如:來源IP,來源拹定通信埠,來源MAC,通信拹定,目地IP,目地拹定通信埠,目地MAC 等資訊
     可由NetFlow或sFlow的協定取得必要的資料加於分類,統計

     將來源IP,目地IP或網域名稱從內建資料庫中找到所屬國家
     資訊維運監控系統除了對網路採全面監控,還提供人性化的整合資訊

     監控"NetFlow與sFlow"的系統規格
       偵測目的: 即時掌控網路資料流向,提供每筆資料詳細資訊,資料內容包含網路拹定的各種重要資訊
           如:
             來源IP,來源拹定通信埠,來源MAC,通信拹定(ICMP,IGMP,TCP,UDP,ARP)
             目地IP,目地拹定通信埠,目地MAC,資料流量依據資料源可分析統計下列資訊
           網內進或出,網外進或出的
           *.每小時封包(Packet)統計量
           *.每小時流量(Bytes)統計量
           *.每小時次數統計量
           *.每天總計量
           *.依TCP通信埠統計
           *.依UDP通信埠統計
           *.網域名稱IP所屬國家清單
           *.IP所屬國家的比例分佈圖
       監測目標: 任何由NetFlow與sFlow捕捉到的網路流量
       警報條件: 每小時統計量
       即時資訊: 數據/警報發佈
       資訊收集: 訊息,數據,警報發佈/解除時間點
       緊急處置: 通報,執行預定程式
       警報臨界值: 依應用定義警報值

     特別說明:NetFlow與sFlow的各項功能均與Sflow相同,資料內容雖有些不同,但維運系統會盡量使其一致

     維運系統的"流量記錄-NetFlow與sFlow"功能,用於收集流經Router,Firewall與Core Switch等設備
     有支援NetFlow與sFlow協定網路流量之數據,並且以統計,分析與追蹤的依據
     Watchdog資訊維運監控系統的國家網域資料庫,有約36億以上的資料,可立即取得IP的來源國家

     以下為點選進入到NetFlow與sFlow功能之流量記錄的偵測主頁面:



     流量記錄-NetFlow與sFlow功能將會資料依Switch IP和Port Number進行分類

     點選可以進入到更深的偵測項目清單之中,如下圖:



     流量記錄-NetFlow與sFlow可即時掌控網路資料流向,提供每筆資料的詳細資訊
     而資料內容包含網路協定的各種重要資訊,如來源IP,來源協定通信埠與來源MAC等…
     即為本功能的偵測目的,監測目標則為任何由NetFlow與sFlow捕捉到的網路流量
     NetFlow與sFlow之偵測狀態會依每小時流量統計,包含有ICMP,IGMP等統計記錄
     每小時流量統計-依Packet,Bytes,筆數與PORT等方式排名

     本功能由於是收集巨量資料,會先依一週七天,長期報表,ICMP與IGMP等類別將資料分類



     流量記錄-NetFlow與sFlow功能將資料依Switch IP和Port Number進行分類
     詳細偵測進入請參考下圖:



     流量記錄-NetFlow與sFlow功能所收集並且經過整理的數據能提供系統人員多面向的分析
     呈現流量趨勢並及早發現異常狀況
     維運系統將NetFlow與sFlow所提供的資料,經過分類整理後,以多面向的呈現方式,協助系統人員判斷與決策
     例如收集到的海量資訊以一週七天分類之後,再以資料流進或是流出的packet,bytes,筆數,port數量
     ICMP與IGMP等進行分類,使得維運人員應用該數據的判斷更為全面

     本頁面為詳細分類的目錄:



     偵測狀態目錄如下:
       *.NetFlow與sFlow 偵測狀態
       *.每小時流量統計
       *.ICMP統計記錄
       *.IGMP統計記錄
     每小時流量統計-依Packet排名
       網內-流出
       網內-流進
       網內-流出+進
       網外-流出
       網外-流進
       網外-流出+進
     每小時流量統計-依Bytes排名
       網內-流出
       網內-流進
       網內-流出+進
       網外-流出
       網外-流進
       網外-流出+進
     每小時流量統計-依筆數排名
       網內-流出
       網內-流進
       網內-流出+進
       網外-流出
       網外-流進
       網外-流出+進
     每小時流量統計-依PORT排名
       網內-流出
       網內-流進
       網內-流出+進
       網外-流出
       網外-流進
       網外-流出+進



     每小時流量統計-不明協定
       網內外-流出+進
     進階搜尋-每日明細報表
     依IP搜尋明細記錄:每日小時明細報表00-23時
       明細記錄清單-00時
       明細記錄清單-01時
       明細記錄清單-02時
       明細記錄清單-03時
       明細記錄清單-04時
       明細記錄清單-05時
       明細記錄清單-06時
       明細記錄清單-07時
       明細記錄清單-08時
       明細記錄清單-09時
       明細記錄清單-10時
       明細記錄清單-11時
       明細記錄清單-12時
       明細記錄清單-13時
       明細記錄清單-14時
       明細記錄清單-15時
       明細記錄清單-16時
       明細記錄清單-17時
       明細記錄清單-18時
       明細記錄清單-19時
       明細記錄清單-20時
       明細記錄清單-21時
       明細記錄清單-22時
       明細記錄清單-23時

     以上若依據星期分類,資料將依此格式劃分,則如上圖

     點選網路流量的ICMP分類進入以下圖表:



     圖表需注意有關ICMP和IGMP的統計項目皆同,包含有序號,拓樸圖,關連IP,一天,一週,測試,資訊,明細,主機,類別
     網域名稱,國家,來源IP與總計等等的項目



     其中以上的圖表可以顯是當國家網域分佈圖列舉出資料流進或流出網外時,各國家所佔的資料筆數依序為何
     每小時流量統計分為以下幾種:
       *.每小時流量統計-依Packet排名
       *.每小時流量統計-依Bytes排名
       *.每小時流量統計-依筆數排名
       *.每小時流量統計-依PORT排名

每小時流量統計分為以下幾種:
       *.網內-流出
       *.網內-流進
       *.網內-流出+進
       *.網外-流出
       *.網外-流進
       *.網外-流出+進



     NetFlow與sFlow網路流量一週分析圖中, 取其中任一折線即為一天分析圖

     也可選擇是和分析的長期記錄,如下圖:




     NetFlow與sFlow 偵測狀態-長期報表,目錄如下:
       *.每日明細報表
       *.FLOW-明細記錄
       *.每小時流量統計
       *.ICMP統計記錄
       *.IGMP統計記錄

       每小時流量統計
       網內-流出
       網內-流進
       網外-流出
       網外-流進

     每小時流量統計-依通信埠
       網內-流出-TCP
       網內-流出-UDP
       網內-流進-TCP
       網內-流進-UDP
       網外-流出-TCP
       網外-流出-UDP
       網外-流進-TCP
       網外-流進-UDP
     每小時流量統計-不明協定
       網內外-流出
       網內外-流進

     流量記錄-NetFlow與sFlow功能操作之圖示為利用多面向之圖示協助判讀短期流量記錄或警報資料的趨勢
     及其關聯功能,資料流進或流出的packet,bytes,筆數,port數量,ICMP與IGMP等數據
     若是超過告警臨界值便會發出警報通知系統人員

     建立NetFlow與sFlow功能的設定說明

     要設定流量記錄-NetFlow與sFlow功能來收集偵測目標的NetFlow與sFlow數據,需輸入設備位址
     通信埠與網卡介面等資訊之後
     設定好預先要發出警報的資料,例如網內最高流量-流進/流出,網外最高流量-流進/流出
     ICMP-最高量與IGMP-最高量等偵測數值,設定好後用點選啟用即可開始收集數據

     主設定頁面於偵測名單底下:



     偵測名單項目如下:
     序號:顯示偵測目標之編號的欄位
     啟用與暫停:選擇是否進行偵測的欄位
     刪除與確認刪除:選擇是否刪除偵測目標的欄位
     設備:顯示偵測目標之設備類別的欄位,如果是OS作業系統,例如是IBM AIX ,SPARC,LINUX
               如果是其他設備,例如KVM,IP Camera,Switch,Route,UPS,VPN等圖示
     設備位址:輸入目標之偵測設備IP位置的欄位
     通信埠:輸入欲偵測設備的IP通信埠之輸入欄位
     網卡介面:輸入欲偵測設備的網卡介面種類之欄位
     說明:輸入註解與說明的欄位
     網內最高流量-進(MB):輸入偵測網內最高流量-進之偵測值的欄位,單位為MB,超出告警臨界值則發出告警
     網內最高流量-出(MB):輸入偵測網內最高流量-出之偵測值的欄位,單位為MB,超出告警臨界值則發出告警
     網外最高流量-進(MB):輸入偵測網外最高流量-進之偵測值的欄位,單位為MB,超出告警臨界值則發出告警
     網外最高流量-出(MB):輸入偵測網外最高流量-出之偵測值的欄位,單位為MB,超出告警臨界值則發出告警
     ICMP-最高量:輸入偵測ICMP之最高量的欄位,單位為MB,超出告警臨界值則發出告警
     IGMP-最高量:輸入偵測IGMP之最高量的欄位,單位為MB,超出告警臨界值則發出告警
     明細每日:勾選欄位:如勾選,則會記錄每日之明細的勾選欄位
     明細長期:勾選欄位:如勾選,則會記錄長期之明細的勾選欄位
     小時統計長期:勾選欄位,以每小時記錄的長期數據
     歸屬主機:以伺服器角度為出發點,一台伺服器可能有數個IP,本頁面為輸入標註哪個IP屬於哪台伺服器的頁面



     群組名單:可點選已建立之群組或個別輸入名單
     單位部門:警報通報之群組名單的單位,部門名稱之註記
     別名:使用別名可以讓系統管理者很快的知道設備用途,設定好後儲存,設備名稱就會以別名的形式顯示
     群組:發佈或解除警報時的通報名單是依群組,部門,特性定義為一群組名稱,分為警報發送的通報名單
          或伺服器的分組群組名單
     資訊:此項設備的詳細資訊,如:用途,位置,機櫃,設備照片等資料

     使用說明如下列圖文:



     使用說明
     網路流量之資訊分下三類
       *.網路流量-NetFlow
       *.網路流量-Sflow
       *.網路流量-ARP
    網路流量-NetFlow
      *.TCP
      *.UDP
      *.ICMP
      *.IGMP
    網路流量-Sflow
      *.TCP
      *.UDP
      *.ICMP
      *.IGMP
      *.ARP
    網路流量-ARP
      *.ARP-Request
      *.ARP-Reply

    資訊統計與警報的定義
       網路流量-NetFlow與sFlow
             .TCP與UDP
                   警報值:每小時總量(流量 用MB為單位)
                   警報發佈:依每目的IP+每天一次為限
                   警報明細資料:依每目的IP+每天+每一小時(時刻)為限
                   警報項目分網內與網外
                         1. 依每目的IP
                         2. 依每目的IP+通信埠
             .ICMP與IGMP
                   警報值:每小時總量(次數)
                   警報發佈:依每目的IP+每天一次為限
                   警報明細資料:依每目的IP+每天+每一小時(時刻)為限
       網路流量-Sflow
             .TCP與UDP
                   警報值: 每小時總量(流量 用MB為單位)
                   警報發佈: 依每目的IP+每天一次為限
                   警報明細資料: 依每目的IP+每天+每一小時(時刻)為限
                   警報項目分網內與網外
                         1. 依每目的IP
                         2. 依每目的IP+通信埠
             .ICMP與IGMP與ARP
                   警報值:每小時總量
                   警報值:每小時總量(次數)
                   警報發佈:依每目的IP+每天一次為限
                   警報明細資料:依每目的IP+每天+每一小時(時刻)為限
       網路流量-ARP
             .ARP-Request與ARP-Reply
                   警報值:每小時總量(次數)
                   警報發佈:依每目的IP+每天一次為限
                   警報明細資料:依每目的IP+每天+每一小時(時刻)為限

資料格式
       清單明細
       每小時總量
                   ARP,ICMP 使用'次數統計'
                   流量 使用'Packet:Bytes:次數' 三項資訊統計
       總計
                   . 每天
                   . 每小時總量
       流量單位
                   KB
                   MB
                   GB
                   TB
未標示為Bytes

網內與網外的定義
       網內:設備IP可以提供MAC資訊則定為網內
       網外:設備IP無法提供MAC資訊則定為網外
*.某些FLOW系統的設備(Switch)提供的MAC資訊為閘道IP之MAC,會造成誤判故須比對過濾閘道IP之MAC,如:sflow
*.建立網內閘道IP之MAC,在'環境設定->自定網內閘道IP,內建立閘道之IP,系統會自動取得此IP之MAC,
例如:192.168.1.254
流出與流進的定義
       . 流出
             以來源IP(Source IP)定義為"設備位址"者是 "流出"
             從來源IP(Source IP)的方向看
       . 流進
             以目的IP(Destination IP)定義為"設備位址"者是 "流進"
             從來源IP(Destination IP)的方向看
             *** 不是從 Watchdog主機或Switch的角度看流出與流進之方向
             *** 流出與流進的內容會因流出,流量分開統計而會重複計算
長期報表
             明細記錄會即時寫入
             小時統計之流量與次數統計則會在7天後才寫入
* 己刪除之目標IP將會保留30天,若此IP在30天之內重新建立將會使用舊資料還原
* 網路流量-ARP是由Watchdog本身的網卡,使用'tcpdump'專為ARP收集訊息,請不要指定主網卡,如: eth0
* 網路流量-ARP是依指定之網卡名稱為收集目標(如: eth1),若重複將無效
* 每天是指一星期之0 - 6天,'0'是星期日
* 每台依每天小時記錄的"明細記錄"檔案最高不超過1GB(約500萬筆資料),若超過將不會在記錄,但每小時統計會繼續
* 每台依月的長期記錄的"明細記錄"檔案最高不超過2GB(約一仟萬筆資料),若超過將不會在記錄
* 查詢"明細記錄"若超過約一萬筆資料,會出現確認執行之提示
* 依通信埠統計是要特別指定
* 僅有網外IP才納入百分比之"國家網域分佈圖",排名前10名,依IP數量,統計次數,Bytes數,封包數
       分例不同的分析圖,依"統計次數"是在同一IP下的資料筆數之次數總合,因尾數小數點進位問題
       (未滿1%用1%計算),固總計可能會超出100%,百分比計算是依條件下之全部資料總計,非前10名之總和
*.警報是依來源IP或目的IP的'小時總量'之流量或次數為計算值
*.警報發佈若是採用 '小時總量' 則超出此量時會立即發佈
*.取消警報之發佈並不會依偵測系統自動發佈(無取消警報)
*.警報標記,警報明細標記 警報有效時間預設24小時後自動刪除
*.警報發佈的限制
       . 每天同一目標僅會發出一次警報
       . 如果使用'天'為單位發佈,若有發生大量異常警報時不會發出太多訊息
*.警報明細記錄檔則會每小時超出警報值時記錄
*.若有設定為'不發警報之IP設備'時,其警報明細記錄檔會照常記錄
*.記錄查詢時之主機名稱的顏色
       黑色:可由DNS取得此IP之主機名稱
       紅色:在/Daip 內有建立此IP為危險性IP
       紫色:在/Puip 內有建立此IP為通用拹定IP
*.記錄網內,網外的主機網域名稱的保存時間,未異動者30天後刪除, 3天內同IP不會再更新網域名稱
*.查詢網內,網外的主機網域名稱,必須先設定"環境設定"->"網域伺服"(DNS)



回到首頁