國內(nèi)某大型生產(chǎn)銷售通信設(shè)備的民營通信科技公司，1987年正式注冊成立，總部位于中國深圳坂田，是全球領(lǐng)先的信息與通信技術(shù)（ICT）解決方案供應商，專注于ICT領(lǐng)域，堅持穩(wěn)健經(jīng)營、持續(xù)創(chuàng)新、開放合作，在電信運營商、企業(yè)、終端和云計算等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢，為運營商客戶、企業(yè)客戶和消費者提供有競爭力的ICT解決方案、產(chǎn)品和服務，并致力于使能未來信息社會、構(gòu)建更美好的全聯(lián)接世界。2017年，華為排名《財富》世界500強第83位。

在企業(yè)規(guī)模飛速擴張的今天，各類業(yè)務、應用系統(tǒng)全方位地覆蓋了整個企業(yè)。應用系統(tǒng)從最初的滿足用戶需求，跨越到分析用戶體驗及用戶畫像，立志為全球用戶提供最好的服務和體驗。

基于此初衷，該企業(yè)各部門越來越重視運營這個模塊，IT數(shù)字化運營的概念也逐漸浮出水面。數(shù)字化運營在中小型企業(yè)實現(xiàn)起來也許不會那么困難，但對于龐大且歷史長久的華為來說必會大動干戈，數(shù)字化運營將面對海量的數(shù)據(jù)存儲，企業(yè)級數(shù)據(jù)倉庫和各業(yè)務數(shù)據(jù)集市的建設(shè)，以及如何在海量數(shù)據(jù)中挖掘分析出有價值的KPI。對于運營人員來說，最快、最準、最新的運營數(shù)據(jù)支持，往往能讓他們事半功倍。

IT數(shù)字化運營所面對的困難：

1、海量數(shù)據(jù)的存儲和處理引擎

2、企業(yè)級的數(shù)據(jù)倉庫和數(shù)據(jù)集市的建設(shè)

3、數(shù)據(jù)處理的可拓展性（挖掘算法、自定義算法的支持）

4、運營頁面的響應速度

為解決以上問題，項目中使用我公司自主研發(fā)的分布式大數(shù)據(jù)庫產(chǎn)品PetaBase ，代替了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫作為主要的數(shù)據(jù)處理引擎。

挑戰(zhàn)一：海量數(shù)據(jù)的存儲和處理引擎

PetaBase數(shù)據(jù)存儲基于Hadoop提供的HDFS分布式文件存儲方式，支持關(guān)系型數(shù)據(jù)庫和非結(jié)構(gòu)化的數(shù)據(jù)導入，解決了用戶海量數(shù)據(jù)存儲的問題。數(shù)據(jù)處理使用impala內(nèi)存計算引擎，相對于Hadoop生態(tài)中其他的計算引擎，他有著計算快，支持大多數(shù)SQL中的DDL和DML語句等優(yōu)勢。在本次華為數(shù)字化運營項目中共處理60多T的數(shù)據(jù)，其中單表最大數(shù)據(jù)量達到80億條，3級ETL跑批只需4到6個小時即可完成。

挑戰(zhàn)二：企業(yè)級的數(shù)據(jù)倉庫和數(shù)據(jù)集市的建設(shè)

IT數(shù)字化運營系統(tǒng)共分為四層，分別是底層數(shù)據(jù)源，存儲層，服務層和應用層。底層數(shù)據(jù)源包含多個業(yè)務系統(tǒng)的底層數(shù)據(jù)，來源于關(guān)系型數(shù)據(jù)庫，Nosql數(shù)據(jù)庫，文本數(shù)據(jù)等多種數(shù)據(jù)源。存儲層通過PetaBase大數(shù)據(jù)平臺進行搭建，在PetaBase中對底層多源數(shù)據(jù)進行匯總存儲并分層處理，形成多層次數(shù)據(jù)模型，完成面向應用的數(shù)據(jù)倉庫與數(shù)據(jù)集市的建設(shè)。PetaBase大數(shù)據(jù)平臺為其他平臺提供數(shù)據(jù)接口，為上層應用提供數(shù)據(jù)基礎(chǔ)。

由于PetaBase的數(shù)據(jù)存儲在HDFS中，Hadoop生態(tài)中有多種多樣的數(shù)據(jù)處理引擎，并能支持用戶自定義函數(shù)的擴展（數(shù)據(jù)挖掘函數(shù)等）。項目中有用到多種數(shù)據(jù)挖掘的方法，比如通過箱線圖的算法來排除異常性能數(shù)據(jù)，然后取正常性能數(shù)據(jù)升序排序后的90%位置的數(shù)據(jù)作為性能值的一個度量，并通過用戶自定義的函數(shù)來實現(xiàn)。

挑戰(zhàn)四：運營頁面的響應速度

億信BI可以直接配置PetaBase為數(shù)據(jù)連接池。基于億信BI的并行運算等性能優(yōu)化手段結(jié)合PetaBase數(shù)據(jù)庫的運算性能優(yōu)勢，目前IT數(shù)字化運營報表可實現(xiàn)5秒內(nèi)響應這一效率要求。

一、海量數(shù)據(jù)高效存儲與運算

隨著華為IT智能運營平臺(eSee)承擔的IT數(shù)字化轉(zhuǎn)型的使命加強，eSee平臺的底層數(shù)據(jù)覆蓋范圍和數(shù)據(jù)量呈指數(shù)級增長，單靠傳統(tǒng)關(guān)系型數(shù)據(jù)庫已無法滿足要求，平臺需要一套基于大數(shù)據(jù)架構(gòu)的數(shù)據(jù)庫承擔底層數(shù)據(jù)存儲計算工作，而PetaBase的出現(xiàn)正好彌補了華為IT運營平臺的不足，并且PetaBase與億信BI同出一脈，天然的融為一體，讓PetaBase對比其他大數(shù)據(jù)架構(gòu)平臺有更多優(yōu)勢，在項目中應用起來非常便捷。

當前PetaBase已經(jīng)承擔華為IT智能運營平臺(eSee)底層大部分的數(shù)據(jù)存儲以及計算處理工作，處理能力得到客戶充分認可：

在Saas服務層，PetaBase底層處理的數(shù)據(jù)已覆蓋600+IT產(chǎn)品、80萬+IT用戶的用戶行為、產(chǎn)品質(zhì)量以及應用本身的業(yè)務量的數(shù)據(jù)，這些應用數(shù)據(jù)計算處理后被廣泛用于單產(chǎn)品的數(shù)字化運營、全球IT服務的5s度量、產(chǎn)品經(jīng)營分析、用戶服務畫像等重要的業(yè)務場景中。通過運營洞察各產(chǎn)品在網(wǎng)運行情況，驅(qū)動產(chǎn)品自我改進；支持撐各類IT用戶的ROADs體驗落地；發(fā)現(xiàn)業(yè)務流量的高地，支撐流量低的應用"日落"。

在Paas平臺層，PetaBase在平臺底層支撐華為云服務的百萬級VM對應資源的性能容量的運營數(shù)據(jù)的處理，通過資源使用率的度量，幫助業(yè)務優(yōu)化資源管理和分配，讓云資源能及時合理使用和釋放，提升云資源使用效率。

在Iaas基礎(chǔ)設(shè)施層，Patabase底層承擔華為全球5大中心和RDC、SR數(shù)據(jù)中心的機柜、電力、能耗數(shù)據(jù)的處理工作，同時支撐著全球10萬+IT后端資產(chǎn)的性能容量的運營數(shù)據(jù)的后臺處理，處理的數(shù)據(jù)通過前端億信BI給各業(yè)務場景構(gòu)建的運營界面，助力華為IT的資產(chǎn)使用效率的提升、降低IT基礎(chǔ)設(shè)施的成本投資，使能華為IT數(shù)字化轉(zhuǎn)型成功！

二、與億信BI完美結(jié)合

在內(nèi)部要求全球IT服務頁面5s達標，對于IT智能運營平臺(eSee)而言這也是一項必須完成的目標。如何讓報表計算能在5s內(nèi)得到響應，這是一項不小的挑戰(zhàn)，尤其是在數(shù)據(jù)下探分析的時候，因為明細的數(shù)據(jù)量很大，計算結(jié)果一般很難在5s得到。但是如果把這種無法做匯總的大數(shù)據(jù)的計算放在PetaBase里面計算情況就不一樣了，通過項目的實踐證明，將報表的明細查詢放在PetaBase里進行，之前無法達到業(yè)務要求的報表，通過優(yōu)化都可以達標。

完成數(shù)字化運營后，基于已構(gòu)建的企業(yè)級別的數(shù)字化平臺，實現(xiàn)物與物、物與人之間的互聯(lián)，向智能物聯(lián)網(wǎng)(IoT)華麗轉(zhuǎn)身。