國內某大型生產銷售通信設備的民營通信科技公司，1987年正式注冊成立，總部位于中國深圳坂田，是全球領先的信息與通信技術（ICT）解決方案供應商，專注于ICT領域，堅持穩(wěn)健經營、持續(xù)創(chuàng)新、開放合作，在電信運營商、企業(yè)、終端和云計算等領域構筑了端到端的解決方案優(yōu)勢，為運營商客戶、企業(yè)客戶和消費者提供有競爭力的ICT解決方案、產品和服務，并致力于使能未來信息社會、構建更美好的全聯接世界。2017年，華為排名《財富》世界500強第83位。

在企業(yè)規(guī)模飛速擴張的今天，各類業(yè)務、應用系統(tǒng)全方位地覆蓋了整個企業(yè)。應用系統(tǒng)從最初的滿足用戶需求，跨越到分析用戶體驗及用戶畫像，立志為全球用戶提供最好的服務和體驗。

基于此初衷，該企業(yè)各部門越來越重視運營這個模塊，IT數字化運營的概念也逐漸浮出水面。數字化運營在中小型企業(yè)實現起來也許不會那么困難，但對于龐大且歷史長久的華為來說必會大動干戈，數字化運營將面對海量的數據存儲，企業(yè)級數據倉庫和各業(yè)務數據集市的建設，以及如何在海量數據中挖掘分析出有價值的KPI。對于運營人員來說，最快、最準、最新的運營數據支持，往往能讓他們事半功倍。

IT數字化運營所面對的困難：

1、海量數據的存儲和處理引擎

2、企業(yè)級的數據倉庫和數據集市的建設

3、數據處理的可拓展性（挖掘算法、自定義算法的支持）

4、運營頁面的響應速度

為解決以上問題，項目中使用我公司自主研發(fā)的分布式大數據庫產品PetaBase ，代替了傳統(tǒng)的關系型數據庫作為主要的數據處理引擎。

挑戰(zhàn)一：海量數據的存儲和處理引擎

PetaBase數據存儲基于Hadoop提供的HDFS分布式文件存儲方式，支持關系型數據庫和非結構化的數據導入，解決了用戶海量數據存儲的問題。數據處理使用impala內存計算引擎，相對于Hadoop生態(tài)中其他的計算引擎，他有著計算快，支持大多數SQL中的DDL和DML語句等優(yōu)勢。在本次華為數字化運營項目中共處理60多T的數據，其中單表最大數據量達到80億條，3級ETL跑批只需4到6個小時即可完成。

挑戰(zhàn)二：企業(yè)級的數據倉庫和數據集市的建設

IT數字化運營系統(tǒng)共分為四層，分別是底層數據源，存儲層，服務層和應用層。底層數據源包含多個業(yè)務系統(tǒng)的底層數據，來源于關系型數據庫，Nosql數據庫，文本數據等多種數據源。存儲層通過PetaBase大數據平臺進行搭建，在PetaBase中對底層多源數據進行匯總存儲并分層處理，形成多層次數據模型，完成面向應用的數據倉庫與數據集市的建設。PetaBase大數據平臺為其他平臺提供數據接口，為上層應用提供數據基礎。

由于PetaBase的數據存儲在HDFS中，Hadoop生態(tài)中有多種多樣的數據處理引擎，并能支持用戶自定義函數的擴展（數據挖掘函數等）。項目中有用到多種數據挖掘的方法，比如通過箱線圖的算法來排除異常性能數據，然后取正常性能數據升序排序后的90%位置的數據作為性能值的一個度量，并通過用戶自定義的函數來實現。

挑戰(zhàn)四：運營頁面的響應速度

億信BI可以直接配置PetaBase為數據連接池。基于億信BI的并行運算等性能優(yōu)化手段結合PetaBase數據庫的運算性能優(yōu)勢，目前IT數字化運營報表可實現5秒內響應這一效率要求。

一、海量數據高效存儲與運算

隨著華為IT智能運營平臺(eSee)承擔的IT數字化轉型的使命加強，eSee平臺的底層數據覆蓋范圍和數據量呈指數級增長，單靠傳統(tǒng)關系型數據庫已無法滿足要求，平臺需要一套基于大數據架構的數據庫承擔底層數據存儲計算工作，而PetaBase的出現正好彌補了華為IT運營平臺的不足，并且PetaBase與億信BI同出一脈，天然的融為一體，讓PetaBase對比其他大數據架構平臺有更多優(yōu)勢，在項目中應用起來非常便捷。

當前PetaBase已經承擔華為IT智能運營平臺(eSee)底層大部分的數據存儲以及計算處理工作，處理能力得到客戶充分認可：

在Saas服務層，PetaBase底層處理的數據已覆蓋600+IT產品、80萬+IT用戶的用戶行為、產品質量以及應用本身的業(yè)務量的數據，這些應用數據計算處理后被廣泛用于單產品的數字化運營、全球IT服務的5s度量、產品經營分析、用戶服務畫像等重要的業(yè)務場景中。通過運營洞察各產品在網運行情況，驅動產品自我改進；支持撐各類IT用戶的ROADs體驗落地；發(fā)現業(yè)務流量的高地，支撐流量低的應用"日落"。

在Paas平臺層，PetaBase在平臺底層支撐華為云服務的百萬級VM對應資源的性能容量的運營數據的處理，通過資源使用率的度量，幫助業(yè)務優(yōu)化資源管理和分配，讓云資源能及時合理使用和釋放，提升云資源使用效率。

在Iaas基礎設施層，Patabase底層承擔華為全球5大中心和RDC、SR數據中心的機柜、電力、能耗數據的處理工作，同時支撐著全球10萬+IT后端資產的性能容量的運營數據的后臺處理，處理的數據通過前端億信BI給各業(yè)務場景構建的運營界面，助力華為IT的資產使用效率的提升、降低IT基礎設施的成本投資，使能華為IT數字化轉型成功！

二、與億信BI完美結合

在內部要求全球IT服務頁面5s達標，對于IT智能運營平臺(eSee)而言這也是一項必須完成的目標。如何讓報表計算能在5s內得到響應，這是一項不小的挑戰(zhàn)，尤其是在數據下探分析的時候，因為明細的數據量很大，計算結果一般很難在5s得到。但是如果把這種無法做匯總的大數據的計算放在PetaBase里面計算情況就不一樣了，通過項目的實踐證明，將報表的明細查詢放在PetaBase里進行，之前無法達到業(yè)務要求的報表，通過優(yōu)化都可以達標。

完成數字化運營后，基于已構建的企業(yè)級別的數字化平臺，實現物與物、物與人之間的互聯，向智能物聯網(IoT)華麗轉身。