引言

當前，人類正在邁入一個前所未有的大規模生產、消費和應用大數據的時代。大規?？茖W研究，以及近幾年互聯網、物聯網的快速發展，把人類帶入了“大數據時代”。根據數據的來源，大數據可以粗略地分成兩大類：一類來自物理世界，另一類來自人類社會。前者多半是科學實驗數據或傳感數據，后者與人的活動有關系，特別是與互聯網有關。歐洲核子中心的大型強子對撞機LHC（Large Hadron Collider）上的探測器每年產生的數據量達到 25 PB。用電子顯微鏡重建大腦中的突觸網絡，1 mm3大腦的圖像數據就超過 1PB。同時，人們的日常生活與網絡關聯得越來越緊密，海量的數據在網絡中產生、傳輸、存儲、處理。據 IDC（Internet Data Center）公司統計，2011 年全球來自于個人的數據（主要是圖片、視頻和音樂），遠遠超過人類有史以來所有印刷材料的數據總量（200 PB）。根據 2012 年 IDC 的數字宇宙研究報告，人類在 2010 年步入 ZB（1ZB=1×106PB）時代后，到 2020 年數據量將增長50 倍（圖 1）。

無論科學實驗數據還是人類社會產生的數據，最終只有在大數據計算平臺上進行分析處理，才能將數據轉換成知識和信息，發揮出大數據的價值。

本文首先介紹科研模式的轉變以及科研大數據的需求和現狀。然后，針對科研大數據平臺中的關鍵技術，包括數據采集、數據存儲、數據傳輸、數據處理以及共享和安全進行分析。最后，結合高能物理領域的數據處理對科研大數據平臺的一些實踐進行介紹。

1 科研大數據及其計算平臺現狀

1.1 科研模式的轉變

人類探索世界的腳步永無止境，而科學研究的方式也在不斷發展。遠古時期，人們依靠觀察和思辨來認識和探索世界。17 世紀以來，隨著牛頓經典力學基本運動定律的發表，科學家們逐漸把實驗與理論作為科學研究的基本手段。然而，隨著人類探索世界的不斷深入，許多科學問題的實驗研究和理論研究變得越來越復雜，甚至難以給出明確的結論。近半個世紀以來，隨著電子計算機的誕生與快速發展，計算機仿真模擬變成第三種不可或缺的科學研究手段，以幫助科學家們去探索實驗與理論難以解決的問題，如宇宙的起源、汽車碰撞、天氣預報等。而在當前社會，各個學科領域的研究不斷向縱深發展，不管是實驗裝置還是計算機仿真模擬的規模都變得越來越大，產生了越來越多的數據，從而催生了圍繞海量數據獲取、存儲、共享和分析的科學研究手段。

來自大科學裝置或者計算機仿真模擬的實驗數據被收集和存儲起來，并通過先進高速的網絡與處于不同國家或機構的合作者分享。依靠分布式計算技術及協同工作環境，科學家們不僅共享數據，還共享軟件、模型、計算、專家知識甚至人力等資源，從而加快科學成果的產出?，F代科學研究，特別是粒子物理、生命科學、能源環境、先進材料與納米科學等新興或交叉領域的發展要進行跨國家、跨地域的協作與交流，而大數據技術的發展正在對其產生深遠的影響。

下面以高能物理為例來說明科研大數據的需求及計算平臺現狀。新一代高能物理實驗，如 LHC實驗、北京正負電子對撞機 BESIII 實驗、大亞灣中微子實驗、宇宙線觀測實驗等產生了海量的數據。到 2012 年，世界高能物理的實驗數據超過200 PB，并將在以后幾年中超過 1 000 PB。全球近萬名物理學家利用這些數據進行物理研究。

1.2 大型強子對撞機 LHC 實驗

大型強子對撞機LHC是歐洲粒子物理研究中心（European Organization for Nuclear Research，CERN）的一個大型高能物理實驗裝置。來自全世界（包括中國）的研究機構和大學的近萬名科學家參加 LHC 上的四個主要實驗。這四個實驗包括 ALICE（A Large Ion Collider Experiment，大型離子對撞實驗）、ATLAS（A Toroidal LHC Appa-ratuS，超環面儀器）、CMS（Compact Muon So-lenoid ，緊湊 m 子線圈）、 LHCb （ Large HadronCollider beauty experiment，大型強子對撞機底夸克實驗）（圖 2）。LHC 實驗將探索物理學最前沿的課題，包括尋找物質質量起源的希格斯粒子、反物質、暗物質、暗能量及超對稱粒子等。

LHC 對撞機的四個實驗于 2009 年投入運行，每年產生約數十 PB 的原始數據。到 2012 年底為止，已經積累了超過 200 PB 的數據。LHC 實驗將運行 20 年以上。累積的實驗數據需要進行分析處理，對計算系統是一個巨大的挑戰。LHC 采用了分級式計算平臺，將實驗數據復制到各地區的數據分析中心。這個解決方案叫做 LHC 網格，即WLCG（Worldwide LHC Computing Grid）（圖3）。LHC 網格由不同規模和任務的計算中心組成。

這些計算中心包括 CERN 的零級站點（Tier0）、地區的一級站點（Tier1）、大型機構的二級站點（Tier2）、實驗室或研究團隊的三級站點（Tier3）等組成。一級站點往往由參加 LHC 實驗的成員國建立，二級站點則由規模較大的研究機構建立。

LHC 網格使 LHC 的每個實驗能夠利用該系統的存儲和計算資源，確保了實驗數據和計算任務智能化地分發到世界各地的網格站點上進行數據分析處理，并使所有的科研人員能夠透明地訪問這些數據和計算結果。目前 WLCG 由世界上約 200個網格站點組成，總共裝備了 25 萬余個 CPU 的計算資源，每年完成超大規模的計算任務，為 LHC實驗的數據分析處理提供了不可或缺的支撐。1.3 北京譜儀 BESIII 實驗新一代北京正負電子對撞機（BEPCII）是運行在 2.0~4.6 GeV 質心能量區間的大型高能物理實驗裝置。BEPCII 的實驗探測器叫做北京譜儀BESIII。BESIII 的物理目標包括輕強子譜測量、粲素研究、粲介子的電弱作用物理、量子色動力學和強子物理、t-物理研究以及新物理探索。

BESIII 實驗的原始數據將達到 3.6 PB。對原始數據進行處理還將產生約 1.8 PB 的物理重建數據。

除了實驗數據外，BESIII 的物理模擬過程將產生規模相當的模擬數據，因此未來幾年中，BESIII的數據規模將達到 10 PB 以上。BESIII 實驗的數據分析并不會隨著數據采集的結束而結束，實驗數據的生命期至少達 15 年以上。BESIII 合作組共有近 400 名來自世界各國的科學家參與，因此需要建立一個國際化分布式的計算環境為數據處理提供支撐。

數據存儲是 BESIII 實驗的重大挑戰之一。最小代價的高效數據存儲解決方案是支撐 BESIII 數據處理和物理分析的基礎。BESIII 數據存儲包括分級存儲系統和并行文件系統兩部分。BESIII 分級存儲系統由磁帶庫和磁盤池，以及自主研發的GRASS（Grid-enabled Advanced Storage System）存儲管理系統等三部分組成。分級存儲系統提供大規模海量數據的在線和近線存儲訪問服務。

并行文件系統為根據中國科學院高能物理研究所（簡稱高能所）的數據訪問特點進行優化的 Lustre文件系統。該系統還對穩定性及并發訪問性能等進行了改進。到 2012 年底，并行文件系統的容量達 3 PB，并發訪問性能達到 25 GB/s 以上。為大批量計算作業提供無阻塞的高吞吐率數據并行訪問服務。

BESIII 實驗數據處理的另一個重大挑戰是數據共享和分布式處理。因此 BESIII 采用網格技術建立了一個網格平臺，該平臺由高能所的一個網格中心站點和國內外的若干個衛星網格站點組成。

網格平臺采用 EMI（Electromagnetic Interference）為中間件，同時也可以與 GOS（Grid OperatingSystem）中間件實現互操作。計算任務可在網格站點之間全局調度。網格平臺的數據傳輸管理采用 Dirac 系統，可高效智能地實現站點間的數據傳輸。網格平臺將 BESIII 實驗的數據處理任務分發到世界各地的合作單位，使各合作單位的計算及存儲資源得以共享，大大提高了數據處理的效率，為近年來取得重要物理成果的研究提供了不可替代的支撐。

1.4 科研大數據平臺需求

從以上高能物理領域的數據處理的例子可以看出，當前以數據為中心的科學研究，產生了越來越多的數據，迫切需要用大數據的技術和工具進行數據分析和處理?？蒲写髷祿脚_用于海量數據的存儲和處理，很多技術仍然不能滿足應用的需求。比如，現有存儲能力的增長遠遠趕不上數據的增長，設計最合理的存儲架構成為關鍵。

此外，數據的移動已成為信息系統最大的開銷之一，需要高速穩定的數據傳輸系統。

2 科研大數據平臺關鍵技術

2.1 科研大數據平臺典型架構

科研大數據平臺的典型架構如圖 4 所示?？蒲写髷祿脚_的底層是 IT 基礎設施，包括存儲設備、計算設備、網絡設備等，以及對這些設備進行的虛擬化形成的虛擬資源，屬于基礎設施層。

海量的數據通過科研設備、傳感器或者網絡爬蟲匯集到數據存儲系統中。同時，大數據平臺還具有并行數據處理能力。在海量存儲和超級計算能力之上，根據應用來部署不同的數據分析和挖掘工具，如高能物理領域的 Geant4 和 Gaudi 軟件、流體力學 FLUENT 軟件、機器學習經典算法實現軟件 Mahout。平臺的最上層面向不同的應用需求提供服務，包括物理、天文、生物及社交網絡分析等。標準規范、制度建設、運行維護等支撐體系保障整個大數據平臺正常實施與運作，是不可或缺的重要內容。

2.2 數據采集與清洗

數據采集是指從數據源中獲取數據。數據清洗指發現并糾正數據文件中可識別的錯誤，包括檢查數據一致性，處理殘缺數據、重復數據和錯誤數據等。在整個大數據的處理流程中，數據清洗是保證數據質量的重要程序。數據源不同，數據清洗的要求也不同。

在科研大數據平臺中，數據源主要包括科研設備、各類傳感器和互聯網?？蒲性O備，特別是大型科研設備，產生了大量的數據。比如，大型強子對撞機 LHC 上的 ATLAS（A Toroidal LHCApparatuS，超環面儀器）探測器，以 40 MHz的事例率來采集數據，原始數據可達到驚人的1 PB/s。顯然，這樣大的數據量無法直接保存。因此，ATLAS 采用了強大的在線事例判選系統，也稱為觸發系統（trigger system），實時將物理學家不感興趣的事例過濾掉。過濾后，ATLAS 記錄的原始數據仍然達到 320 MB/s（圖 5）。

LHC 上還有其他三個類似的探測器，再加上模擬數據等，LHC 每年產生的數據達到 25 PB?？茖W設備的結構雖然各不相同，但是具體到某一設備都是固定的，因此其產生的數據格式往往是確定的，有統一的規范。這對于數據分析者來說，無論數據是以文件還是數據庫存儲的，數據都可以被認為是結構化的。因此，一般無需數據清洗過程。

除了大型科研設備，溫度、濕度、空氣質量、輻射量、攝像頭、相機等各類傳感器也產生了大量數據，成為開展氣候變化、生物遷移、交通、環境、醫學等科學研究的必備數據。這類數據往往以半結構化或非結構化形式存儲。特別是視頻和圖片是典型的非結構化數據，必須要進行有效的數據提取和表示。所以，各類傳感器數據在采集后，要根據應用進行數據清洗。

第三類數據來源主要是互聯網，一般通過網絡爬蟲來采集?；ヂ摼W數據包括簡單的 web 頁面，完全對外公開，通過網頁訪問和正則表達式匹配即可獲取數據，相對簡單。還有一類稱為深度網絡資源（deep web），通常隱藏在后臺數據庫，有時也稱為“暗網”，傳統搜索引擎無法查找和索引，如社交網絡、論壇、電子商務等，而這類數據占網絡全部信息數據的 90%以上。深度網絡資源雖然可以通過網絡爬蟲抓取一定的數據，但是要進行全面的分析，還是需要數據擁有者的合作。

需要特別說明的是，不論哪種方式獲得，互聯網的數據是最雜亂無章的，各種類型的不確定數據可能會大量引入系統，造成數據中含有各種各樣的錯誤和誤差，表現為數據不正確、不精確、不完全、過時陳舊或者重復冗余。據高德納公司（Gartner）統計，在全球財富 1 000 強公司中有超過 25%的公司關鍵數據不正確或不精確。在美國企業中有1%~30%的公司數據存在各類錯誤和誤差，僅就醫療數據而言，有 13.6%~81%的關鍵數據遺缺或陳舊。因此，數據清洗對于互聯網數據非常重要，要保證數據的質量，實現數據的可表示和可靠性。

2.3 數據存儲

數據存儲系統不僅要保存海量數據，同時還要考慮與數據處理系統的配合，提高數據分析效率。目前，常用的數據存儲系統包括集群文件系統、應用層存儲系統和分級存儲系統等。這三者都采用分布式存儲技術，本身并沒有非常嚴格的區分，只是關注的側重點有所不同。

集群文件系統一般以傳統文件系統的方式來訪問，客戶端實現內核模塊，完全兼容 POSIX 語義，因此上層的數據處理軟件無需任何修改即可使用海量的存儲空間，能夠很好地兼容原有應用。

常見的集群文件系統包括 Lustre、Gluster、GPFS、ISILON 等，其中全世界最快的超級計算機中 70%以上的都在使用 Lustre 系統。

應用層存儲系統一般不實現文件系統內核模塊，不完全兼容 POSIX 語義，針對特定的應用場景進行優化，因此往往表現出更好的可擴展性和性能，但是上層應用程序必須要調用特定的API 才能訪問?，F有的分布式存儲系統有谷歌文件系統（google file system，GFS）和 HDFS（hadoop distributed file system）等，其中 HDFS是一套開源軟件，在互聯網的大數據存儲中應用尤為廣泛。

科研大數據的存儲量往往達到 PB 級甚至更高，因此存儲的成本和性價比也是重要的考慮因素。分級存儲系統是指根據文件的訪問頻率、熱度等因素，將不同的文件分配到不同的存儲設備上存放?；诖疟P–磁帶的分級存儲系統比較成熟，比如 CASTOR、dCache等系統廣泛應用于高能物理領域。當前，基于 SSD 硬盤、SATA硬盤做分級存儲是研究熱點，如開源項目 flash-cache和擴展項目 flashcachegroup等。

2.4 數據處理

由于海量數據的數據量及分布性等特點，必須要采用并行處理技術才能快速處理。根據數據的特點，數據處理系統主要分成批處理計算系統和實時計算系統。批處理計算系統用于離線數據分析，包括高吞吐量計算（high throughputcomputing，HTC）、MP（IMessage Passing Interface）并行計算、MapReduce等。實時計算系統主要用于在線系統，使得系統和應用程序能夠從龐大且多樣的連續數據流中提取有效的知識和信息，常用的系統包括開源（open source）的 Storm、S4及商業軟件 StreamBase等。

高吞吐量計算和MPI并行計算主要用于高能物理、天文等傳統科學技術領域，常用的資源管理器包括 IBM 的 Platform LSF、開源的 Condor、Torque/PBS等。

MapReduce 是 2004 年由谷歌公司提出的一個用來進行并行處理和生成大數據集的模型。Hadoop是 MapReduce 的開源實現，是企業界、學術界共同關注的大數據處理技術。針對并行編程模型易用性，出現了多種大數據處理高級查詢語言，如 Hive、Pig、Sawzall等。這些高層查詢語言通過解析器將查詢語句解析為一系列 MapReduce 作業，在分布式文件系統上執行。與基本的 MapReduce 系統相比，高層查詢語言更適于用戶進行大規模數據的并行處理。由于 Hadoop 的生態系統不斷完善，目前已經成為大數據分析的首選平臺。

2.5 數據傳輸

面向大科學工程領域的科研大數據與其他領域大數據之間的另一個明顯區別是需要進行跨地域的海量數據搬遷。如果用千兆互聯網接入的高速專線，需要近 80 年才能傳輸完成。因此，需要更高的網絡帶寬和更高效的數據傳輸管理工具，包括 FTS（File Transfer Service）、Phedex等。同時，軟件定義網絡（Software DefinedNetwork，SDN）可以有效提高帶寬利用率，目前正在全球高能物理網絡（LHC Open Network En-vironment，LHCONE）中推廣應用。

2.6 數據共享和安全

在大數據時代，數據只有開放和融合才能發揮數據的最大價值。但是，數據開放會帶來安全問題，主要體現在三個方面：文件安全性、動態數據安全性、數據隱私。文件安全性需要保證文件完整性，并保證文件不被非授權用戶訪問、不被非法篡改等。目前文件安全性主要由操作系統來保證，包括訪問控制列表、訪問權限、加密保存和傳輸等方法。動態數據安全性指保證數據處理平臺中動態數據（內存數據、進程等）的安全。

目前虛擬機廣泛采用，如何進行細粒度的安全監測與數據保護，對于大數據平臺來說是一個重要的需求，目前這方面的研究比較活躍。

數據隱私主要是指保護數據中用戶的敏感信息，在數據挖掘中更加強調在不暴露用戶敏感信息的前提下進行數據分析。數據匿名性、關聯性一直作為數據隱私分析的重要概念，用于對數據隱私度進行度量，如 k-匿名性（k-anonymity）、l-多樣性（l-Diversity）、t-Closeness 和 FF-Anonymity等概念和方法針對不同需求相繼出現。2006 年，Dwork 針 對 概 率 攻 擊 原 理 提 出 了 差 分 隱 私（Differential Privacy），可以較準確地度量數據發布前后信息量的變化，得到廣泛認可，后來有較多學者對其改進。目前，關于數據隱私的問題和研究仍在不斷發展。

3 科研大數據開放平臺實踐

借鑒高能物理海量數據處理的技術與經驗，依托大規模的數據密集型計算平臺，高能所正在建設一個面向領域的科研大數據開放平臺和應用中心，其基本框架如圖 6 所示。

如圖 6 所示，整個系統由分布式數據獲取與整合、數據管理、數據處理環境、應用等幾個部分組成。數據來源包括大型科學儀器、物聯網傳感器、模擬計算以及互聯網，同時還可以通過開放接口與第三方數據提供方進行數據交換。系統在數據采集、數據管理、數據挖掘、應用等多個層次進行開放，提供 IaaS（基礎設施即服務）、DaaS（數據即服務）、PaaS（平臺即服務）、SaaS（軟件即服務）等多種服務?？蒲写髷祿_放平臺的特點首先表現在數據開放性上。系統集分布式數據獲取和整合、存儲、共享、傳輸、處理與展現于一體，通過將平臺和應用的分工細化，在各個不同的層次進行開放，提供 DaaS、PaaS、SaaS 等不同級別的大數據基礎支撐服務。大數據應用的研究者、開發者只需要利用平臺開放的數據獲取能力，獲取需要的數據，或整合平臺已有數據，并調用已有的存儲、計算以及數據挖掘工具進行工作，即可以最高的效率、最低的成本達到研究及應用的目標。高能物理領域一直是按照這個模式在工作，目前嘗試將這種模式從高能物理擴大到其他大數據領域。

科研大數據開放平臺的特點還表現在數據融合能力上?？蒲写髷祿_放平臺上的數據是流動的且不斷更新的。一方面，高能所基于自身科研需求，可以聚合海量的高能物理、天體物理、化學、生物工程、生命科學、材料科學等多個科學應用的海量數據。另一方面，基于志愿計算的分布式數據采集技術可以實現對互聯網海量數據的有效采集，具有時效性、廣泛性與精準性的顯著特征。目前，面向互聯網數據的采集系統已經向公眾開放。最后，通過數據合作、交換，可以整合更多領域的科研數據、物聯網數據、互聯網數據等海量數據。這些來源不同的數據依托科研大數據開放平臺，實現高效、便捷、可控的分享、交換、融合，最終促進跨學科交叉創新，實現數據價值的最大化。

科研大數據開放平臺的特點還表現在數據跨地域的傳輸與共享方面?？蒲写髷祿c其他大數據的一個明顯區別就是需要進行跨地域的海量數據搬遷。為了解決這一難題，高能所正在建設高能物理數據傳輸虛擬專用網（Chinese High EnergyPhysics Data Transfer Network，CHEPDTN），采用新型軟件定義網絡技術和網絡架構（SDN），充分利用已有的網絡基礎設施（設備）和資源（IPv4和 IPv6 帶寬），滿足跨地域的高能物理實驗合作單位之間的高速、穩定、安全的高能物理數據傳輸需求。

4 小結

大數據作為未來的發展方向，其重要性已經獲得了科研界、企業界和政府的認可。而圍繞數據和數據分析為核心的數據密集型科研從第三范式（計算機模擬）中分離出來單獨作為一種新的科研范式（第四范式），受到越來越多的重視。

但是在大數據發展的過程中，還面臨技術和管理等多方面的挑戰，包括數據開放性不夠，數據融合度不高，支撐能力不足等問題。如果讓每一個大數據的“掘金者”都要完成“找礦”、“購買工具”、“冶煉”、“販賣”的全部工作，無疑存在大量重復勞動和浪費，同時效率低下，創新門檻也極高，大數據的真正價值不能完全發揮，不利于創新。實際上，早在“大數據”理念提出之前，高能物理研究領域已經很好地解決了海量數據開放融合、高效處理的問題。高能物理研究是一個完全開放的計算模式，海量基礎數據、計算能力、存儲能力、傳輸能力對于全球合作組成員都是開放共享的。高能物理研究是科研大數據的主要來源，也是科研大數據的典型案例。因此，高能所正在嘗試借鑒高能物理領域的技術和經驗來設計和建設一個科研大數據開放平臺，面向科學研究和大數據產業發展需求，提供統一的數據采集、數據存儲、并行計算和數據分析等服務，實現數據開放和融合，為大數據應用的開發創建安全、可靠、高效的基礎平臺，從而降低應用門檻，推動大數據產業健康快速發展?！緢D略】