1 引 言

近年來，隨著云計算技術的發展，對于云平臺監控的需求越來越迫切． 作為云計算數據中心的運維人員，需要隨時關注服務器的性能指標，避免服務器性能降低甚至當機的風險． 通過云平臺資源的特點，可以知道云平臺監控的主要難點集中在被監控的資源的多樣性、動態性及規模巨大這幾個方面:

1\\) 資源的多樣性—云平臺上的資源是多種多樣的，從操作系統上分，包括 windows，linux，unix 等不同的操作平臺; 從系統架構上分，包括如 cpu、內存、硬盤等底層的硬件; 還包括如 mysql 數據庫、apache 等各種應用程序和服務． 如何將這些復雜的資源進行抽象分類，從而簡化監控任務，是云平臺監控的一個重大挑戰．2\\) 資源的動態性—云平臺上的資源不是固定不變的，云平臺的節點可以動態的增加或減少，云平臺上的應用及服務也可以動態的安裝或卸載． 如何讓云平臺監控動態適應云平臺變化，是云平臺監控一個重大挑戰．3\\) 資源的規模巨大—云平臺往往包括成千上萬計算節點，而每個節點上運行著各種應用軟件和服務，造成云平臺資源規模巨大，這就給監控系統帶來很大的負擔，同時影響云平臺的性能． 如何提供一種對云平臺影響較小，且監控效率較高的系統，是云平臺監控的一個重大挑戰．單一的監控軟件往往無法滿足云平臺被監控資源的動態性、多樣性以及資源規模巨大的需求． 為全面監控云平臺資源，往往需要安裝多種監控軟件，在查詢時需頻繁切換不同軟件，不利于實時監控，同時增加了運維人員的工作量． 文獻［2］提出一種基于 Ganglia 與 MDS 結合的網格監控體系研究，但該體系不具備可擴展接口，當現有軟件需要升級或需要增加新的監控軟件時，只能通過手工修改代碼來完成． 針對上述問題，提出一種可擴展集成化云平臺監控機制，可以靈活集成多種監控軟件，以滿足對云平臺資源的監控需求，并有效減輕運維人員的工作壓力，提高工作效率．

2 相關工作

隨著云平臺的發展，人們越來越關注云平臺上資源的運行和使用情況，以滿足云平臺監控使用者及時掌握云平臺的運行狀態，因此，對云平臺監控的研究也逐漸發展起來． 下面從學術界和工業界兩方面討論云平臺監控的相關工作．學術研究方面，在云計算技術發展之前，集群技術以其高性價比、易于擴充與易于裁減等諸多優點已經成為高性能計算常見的解決方案，對集群監控的研究也逐漸受到研究人員的重視． 隨后對網格計算的研究，研究人員針對于網格環境中的監控問題做了大量的研究工作，文獻［5］對這些研究進行了概括性介紹． 文獻［6］介紹了監控在云計算中扮演重要的角色，有助于提高服務質量． 文獻［7］介紹了一種云計算監控的概要方法． 文獻［8］中介紹了用 RESTful 方法來監控云計算平臺上基礎設施資源，如計算、存儲以及網絡資源等，但是這樣的監控架構只適合監控云平臺上的基礎設施層資源，對云平臺上運行的服務和應用監控存在不足． 文獻介紹了一種分層的自適應的云監控架構，但其不支持動態的集成監控軟件，存在監控不足的情況．工業產品方面，隨著云平臺的廣泛應用，許多適合監控云平臺的軟件應運而生． 其中，Ganglia是 UC Berkeley 的一個開源集群監控項目，用于測量數以千計的節點． 文獻［12］介紹了 Ganglia 的主要優點有: 分層架構設計以適應大規模服務器集群的需要，可擴展; 廣泛支持各種操作系統，支持虛擬機．Cacti 是基于 PHP，Mysql，SNMP 及 RRDTool 開發的網絡流量監測圖形分析工具． 通過增加模版和監控插件，可以實現對大多數云平臺資源的監控． Nagios 是用來監視系統和網絡的開源應用軟件，其配置非常靈活，可以通過自定義 shell 腳本進行監控服務，但它沒有適合目標主機的可伸縮內置代理．3 集成化云平臺監控機制針對在云平臺監控中遇到的被監控的資源的動態性、多樣性及規模巨大等難題，提出了一種可擴展集成化云平臺監控機制，下面將從監控系統框架、監控模型和監控軟件集成方法三個方面進行介紹．

3． 1 監控系統框架

我們提出一種可擴展集成化云平臺監控體制，可以在云平臺監控系統的底層動態的增加監控軟件，以適應云平臺資源的多樣性和動態性的特點，這些操作對于使用者來說是透明的． 圖 1 是監控系統框架圖，將從云平臺資源、監控數據的提取及存儲、監控服務這三個方面介紹系統的框架．

3． 1． 1 云平臺資源根據云平臺資源的特點，可以知道云平臺被監控節點具有多樣性，根據不同的劃分方法對被監控節點進行分類，具體分類如下:

1\\) 操作系統不同—根據操作系統的不同分類可以將監控節點分為 window 系統監控節點和類 linux 系統監控節點．2\\) 應用和服務不同—由于被監控節點上運行著不同的應用程序及服務，如對 mysql 數據庫、apache 等應用服務以及hadoop 分布式框架進行監控，不同的監控軟件對于服務和程序的支持不同．

3． 1． 2 監控數據的提取及存儲首先對監控數據的完整性進行定義: 監控數據的完整性是指對監控軟件的數據進行即時保存，并保證對所有的監控數據進行準確保存，而不淘汰任何老數據.一般情況下，監控軟件會將監控數據存放在監控服務端的 RRD 數據庫中，RRD 數據庫最大的特點是以循環格式來存儲數據，在持續插入新數據的過程中不斷淘汰老數據，因此RRD 文件大小保持在一定的范圍內． 這樣不利于監控數據的完整保存，所以需要采用一定的方法將監控數據存儲到可保證數據完整性的數據庫\\( 如 mysql，mongodb 等\\) 中，并進行持久存儲． 具體方法如下:【圖略】

1\\) 讀取特定端口取數據—被監控的節點將監控數據通過特定的端口傳輸到服務節點，按照一定的時間間隔去讀該端口并獲取 xml 數據，然后利用解析工具取得監控數據，最終存入可保證數據完整性的數據庫．2\\) 通過腳本轉存數據—對于不易通過端口獲取數據的監控軟件，則需要通過執行 python 或 shell 腳本將監控數據從RRD 數據庫轉存到可保證數據完整性的數據庫中，相比于上一種方法，這種轉存方式效率較低，實時性較差．

3． 1． 3 監控服務在介紹監控服務之前首先要明確監控服務的使用者，使用者定義如下:

監控服務的使用者主要包括運維人員以及最終使用者．運維人員是需持續關注云平臺資源的使用情況，并根據監控數據進行作業調度，任務遷移等操作的相關人員，另外運維人員還負責添加監控軟件，并進行相應配置． 最終使用者是指需要查看云平臺資源的狀態，以及需要關注特定資源使用情況的相關人員．基于監控數據完整性保存模塊，云平臺監控系統提供了配置引擎、查詢引擎、統計引擎和報警引擎四種功能引擎，并向上提供相應的功能接口．1\\) 配置引擎: 當現有的監控系統無法滿足著云平臺資源的監控需求時，則可部署新的滿足條件的監控軟件，并通過配置引擎建立或修改監控軟件指標集與監控類屬性集間的映射關系．2\\) 查詢引擎: 系統默認向用戶提供給定時間段的查詢;另外系統還提供用戶自己定義時間段，監控系統通過一定的算法實現在這個時間段內的監控狀態查詢．3\\) 統計引擎: 系統向用戶提供了監控集群以及自定義子監控集群整體負載的統計．4\\) 報警引擎: 系統向用戶提供系統設定閾值的報警，也提供用戶自定義指標的監控報警．

3． 2 監控模型

定義 1． 監控模型． 可擴展集成化的云平臺監控模型可以定義為一個三元組: MM = \\( MC，MS，MR\\) ，其中:1\\) MC 表示監控類，監控類可定義為一個二元組: MC =\\( ON，OP\\) ，其中:\\( a\\) ON 表示監控類的名稱\\( b\\) OP 表示監控類的屬性集2\\) MS 表示監控軟件，監控軟件可定義為一個二元組:MS = \\( SN，SV\\) ，其中:\\( a\\) SN 表示監控軟件的名稱\\( b\\) SV 表示軟件監控的指標集3\\) MR 表示映射關系，定義如下:

設 mc 是集合 MC 中一個監控類，對于\ue02fp1 ∈mc． OP，\ue055ms∈MS，\ue055v∈ms． SV，\ue055mr∈MR，滿足 mr\\( p1\\) = v，且對于\ue02fp2∈mc． OP，p1≠p2，滿足 mr\\( p2\\) ≠v．定義 2． 監控對象 MO = \\( ON，OP，OV，OT，MN\\) ，其中:

\\( a\\) ON 表示監控類的名稱\\( b\\) OP 表示監控類的屬性集\\( c\\) OV 表示監控對象的屬性值\\( d\\) MT 表示取得監控數據的時間\\( e\\) MN 表示監控數據屬于哪個節點定義 3． 監控類實例化． 設 mc 為集合 MC 中一個監控類，mo 為集合 MO 中一個監控對象，對于\ue02fp1∈mc． OP，\ue055p2∈mo． OP，且 p1 = p2，對于\ue02fp3∈mo． OP，\ue055p4∈mc． OP，且 p3= p4，則可稱 mo 是 mc 的實例化，記為 mo≤mmc．定理1． 如果某個監控類的屬性與某監控軟件的指標之間存在映射關系，且一個監控對象是這個監控類的實例化，則這個監控對象的屬性與該監控軟件的指標之間存在映射關系．證明: 設 mc 為集合 MC 中一個監控類，mo 為集合 MO 中一個監控對象，根據定義 3，mo≤mmc，對于 \ue02fp1 ∈ mo． OP，\ue055p2∈mc． OP，則 p1 = p2，又根據定義1，\ue055v∈ms． SV，\ue055ms∈MS，滿足 mr\\( p2\\) = v，所以 mr\\( p1\\) = v; 又根據定義 3，\ue02fp3∈mo． OP，且 p1≠p3，\ue055p4 ∈mc． OP，則 p3 = p4，p1 ≠p4 ，p2 ≠p4． 根據定義 1，mr\\( p4\\) ≠v，所以 mr\\( p3\\) ≠v．通過定義抽象的監控類以及監控類和監控對象之間的實例化關系，使運維人員只需對監控類屬性和監控軟件指標之間的映射關系進行配置，不需要配置每個監控對象屬性與監控軟件指標之間的映射關系． 定義了監控類實例化后，可以根據實例化關系自動生成監控對象與監控軟件之間的映射關系，大大減少了運維人員的工作量，也保證了映射關系的準確性．

3． 3 監控軟件集成方法

對于云平臺來說，決不能假設它是一成不變的，對于云平臺資源的動態變化或資源出現故障的情況，需要云平臺能及時采取措施，做到對高層用戶透明或者盡可能減少用戶的損失． 當現有的監控系統無法滿足云平臺資源的動態增加而產生有些監控指標監控不到的時候，則需要考慮集成新的監控軟件，結合使用多種監控軟件對云平臺資源進行監控．添加新的監控軟件時，首先將要增加的軟件注冊并部署到云平臺，在軟件集合 MS 中增加 ms． 通過配置引擎建立或修改監控類屬性集 OP 與 ms 指標集 SV 間的映射關系 mr． 對于原監控軟件監控不到，而新增加的軟件可提供的指標項，直接增加新的軟件的指標項; 對于原軟件與新軟件都可提供的指標項，可以從監控數據的實時性和準確性等角度綜合考慮是否要調整原有的映射關系． 映射關系確定后，可推導得到監控對象的屬性與監控軟件指標集里的元素形成的一對一映射關系． 監控數據提取模塊將根據新的映射關系提取監控數據，完成監控軟件的集成． 監控數據存放在保證監控數據完整性的存儲模塊，用來向上層提供業務服務． 監控軟件集成流程如圖 2 所示．【圖略】

通過上述對集成化的云平臺監控機制的論述可表明，該機制的創新性主要體現在可以靈活的增加、刪除多種監控軟件，運維人員只需對監控類屬性和監控軟件指標之間的映射關系進行配置，繼而根據監控對象的實例化關系自動生成監控對象與監控軟件之間的映射關系，提高了監控軟件接入效率，也保證了映射關系的準確性． 該機制還可將監控數據提取到可保證數據完整性的數據庫中進行持久存儲，以及封裝成相應的接口，以方便運維人員更好的對云平臺進行監控管理．

4 實驗及分析

4． 1 實驗環境設置

為了驗證這種可擴展集成化的云平臺監控機制是否適應云平臺的資源的多樣性、動態性及規模巨大的特點，我們搭建了一個云平臺監控實驗系統．該實驗選擇 4 臺服務器組成小型集群，其中一臺 win-dow s server 08 的服務器，三臺 centos 5． 7 的服務器，軟件采用Ganglia-3． 1． 7，Cacti-0． 8． 8a． 硬件環境均為 2G 內存，20G 硬盤． 一臺 centos 的服務器作為監控頭結點，剩余三臺服務器作為實驗系統的代理節點． 通過數據完整性提取方法將監控數據存到 mysql 數據庫中，并向使用者提供業務服務，實驗系統物理部署如圖 3 所示，其中．1\\) 代理節點 a: w indow s 服務器，開啟了 snmp 服務．2\\) 代理節點 b: Linux 服務器，開啟了 snmp 服務，且部署了 hadoop 分布式框架．3\\) 代理節點 c: Linux 服務器，開啟了 snmp 服務，且安裝了 mysql 數據庫服務．

4． 2 實驗結果與分析

實驗環境配置完成后，需要代理節點 b 上的 hadoop 框架進行監控，而 Cacti 對 hadoop 的指標監控不完整，所以需要集成 Ganglia 這款新的監控軟件，通過實驗系統提供的配置引擎，并遵循監控軟件的集成方法，將 Ganglia 集成到實驗系統并進行實驗．對 Ganglia 和 Cacti 共同監控的節點 b 進行實驗，每隔 5分鐘記錄一次數據，并于實驗開始 15 分鐘后執行計算任務以增加負載和內存使用，35 分鐘后結束任務，50 分鐘后結束實驗． 其中，系統真實值是調用 linux 的系統命令 uptime、free 得到的．圖4，圖5 和圖6 是從監控的實時性，準確性方面進行對比的． 圖4 和圖5 中的縱坐標表示1 分鐘和 15 分鐘的平均負載，單位是個． 圖6中的縱坐標是空閑內存的容量，單位是KB． 從實驗結果可以看出，云平臺監控系統的監控數值與系統真實值更為接近，說明云平臺監控系統的實時性和準確性較高．同時，我們還對監控指標的完整性進行了比較，如表 1 所示，在監控指標的完整性方面，云平臺監控系統比 Ganglia、Cacti 單獨監控的指標更完整，從而保證了監控指標的完整性．通過以上的比較，可以發現搭建的云平臺監控實驗系統在實時性、準確性及監控指標完整性方面要優于 Ganglia 或Cacti 單獨監控，該云平臺監控系統可以在一定程度上適應云平臺資源規模巨大，動態性和多樣性方面的特點．

5 結 語

提出一種可擴展集成化的云平臺監控機制，確定了添加新監控軟件的流程，并定義了兩種監控數據完整性提取和存儲方法． 根據這種機制搭建了集成 Ganglia 和 Cacti 的云平臺監控實驗系統，實驗表明，該系統具有良好的可擴展性，滿足對云平臺動態變化資源的監控，可以有效減輕運維人員的工作壓力，提高工作效率． 同時也驗證了該機制可以適應云平臺表現出的特點，是解決云平臺監控難題的一種有效途徑．