中國新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟技術(shù)分委會秘書長、

首席數(shù)據(jù)官聯(lián)盟發(fā)起人、北京萬山數(shù)據(jù)首席架構(gòu)師魯四海

 

　　各位朋友大家好，我這次主要匯報三個方向內(nèi)容：第一是個人對大數(shù)據(jù)的理解；第二和政府合作通過大數(shù)據(jù)促進(jìn)傳統(tǒng)行業(yè)轉(zhuǎn)型升級的案例；第三是我們在技術(shù)方面遇到的難點及我們的技術(shù)實現(xiàn)的路徑，希望各位專家們能夠給我們多提一些意見。

 

　　大數(shù)據(jù)應(yīng)用有兩個場景，AI與 BI。兩者都是通對數(shù)據(jù)的感知、理解、挖掘，然后形成決策支持，最終反饋到“行動”中去；只不過AI對行動的“影響”是自動化的。不管是AI還是BI，都需要大數(shù)據(jù)回答我們這幾個問題：過去發(fā)生了什么，現(xiàn)在正在發(fā)生什么，為什么發(fā)生，將來要發(fā)生什么。而這些又都是通過透視業(yè)務(wù)活動中產(chǎn)生的數(shù)據(jù)得到的。舉例來說，未來的商業(yè)，誰能更多的搜集業(yè)務(wù)過程中的數(shù)據(jù)并加之有效分析挖掘，誰就占得先機；誰在產(chǎn)品運行過程記錄了更多的數(shù)據(jù)，結(jié)合機器學(xué)習(xí)等技術(shù)進(jìn)行深度挖掘，誰的產(chǎn)品就更有優(yōu)勢。

 

　　不難看出，大數(shù)據(jù)核心環(huán)節(jié)是數(shù)據(jù)理解、挖掘。對于政務(wù)大數(shù)據(jù)平臺來說，除了考慮系統(tǒng)管理人員、政務(wù)管理人員兩類用戶外，更多得需要考慮數(shù)據(jù)分析人員的訴求。大數(shù)據(jù)平臺的魅力所在是讓分析人員便捷的進(jìn)行數(shù)據(jù)挖掘。如果分析人員不能自主的進(jìn)行數(shù)據(jù)挖掘，那么數(shù)據(jù)的價值、大數(shù)據(jù)平臺的價值都將大打折扣。

 

　　下面我們舉個例子來說，數(shù)據(jù)挖掘和數(shù)據(jù)分析人員在整個大數(shù)據(jù)利用過程中的重要性。魚腥草，在我家鄉(xiāng)有很多野生的，想吃的時候拿把鋤頭上山，很快就能背一背簍回去。但這確實是一個好東西，可以煮湯當(dāng)茶水喝清熱解暑，可以做成美味的涼菜，加到調(diào)料里更是別有一翻風(fēng)味，還可以做成藥品治病。我想說，這東西長在山上的時候毫不起眼，經(jīng)過不同的工藝加工后，就完成不一樣了。正如數(shù)據(jù)本身是沒有“價值”的，只有經(jīng)過不同角度的分析挖掘，反饋到不同的“行動”中去，才能將其價值發(fā)掘出來。

 

 

　　前段時間我們北大CIIM-瀘州電子商務(wù)大數(shù)據(jù)開放實驗室通過大數(shù)據(jù)對白酒電商行業(yè)發(fā)展進(jìn)行分析。其中有一部分內(nèi)容就是對各電子商務(wù)網(wǎng)站上陳列的產(chǎn)品信息、用戶評論進(jìn)行分析。就這個數(shù)據(jù)來講，公開的，誰都見過，誰都能通過正常渠道獲取。但不同的分析師分析出來的結(jié)果是大不相同的。我們一開始的時候就是自選一個熟悉的角度對這些數(shù)據(jù)進(jìn)行分析，結(jié)果就這點數(shù)據(jù)，就出現(xiàn)了上百分析維度。

 

　　電子商務(wù)大數(shù)據(jù)開放實驗室由北大CIIM中心和瀘州電商產(chǎn)業(yè)園共建，很重要的一項功能就是提供一個能讓分析師自助分析大數(shù)據(jù)平臺，讓分析師從不同的角度進(jìn)行數(shù)據(jù)挖掘，為政府提供決策支持，為產(chǎn)業(yè)發(fā)展提供數(shù)據(jù)支撐，為傳統(tǒng)行業(yè)轉(zhuǎn)型提供建議。

 

　　在瀘州白酒行業(yè)存在很大一批OEM廠商，由于供應(yīng)鏈和品牌廠商的影響，轉(zhuǎn)型壓力巨大，也有不少想發(fā)展電商，但找不著好的路徑和標(biāo)桿，從這次的數(shù)據(jù)分析中就能看到如果有一定品牌知名度，洋河是一種不錯的發(fā)展方式，如果從零拓展一個品牌，那么江小白無疑是值得學(xué)習(xí)的。

 

　　我們對互聯(lián)網(wǎng)銷售的白酒的酒精度分布進(jìn)行分析，發(fā)現(xiàn)35度以下的酒呈明顯的上升態(tài)勢，這是為什么呢，通過對用戶數(shù)據(jù)進(jìn)行分析后發(fā)現(xiàn)，電商酒類消費者女性用戶和85、90后用戶越來越多。對于企業(yè)來講就意味著市場需求要發(fā)生變化，產(chǎn)品要做出相應(yīng)的調(diào)整。

 

　　對用戶評論進(jìn)行分析，我們發(fā)現(xiàn)影響用戶體驗最主要的三大因素是：真假、價格、包裝，做電商產(chǎn)品，這幾個方面的的保障，也就變得非常重要。

 

　　計劃下一步和流通溯源大數(shù)據(jù)結(jié)合，開展更深度的分析，為企業(yè)、政府提供更有價值的數(shù)據(jù)。

 

　　前面講到大數(shù)據(jù)的價值，需要分析師從不同的角度進(jìn)行挖掘，分析師的精力要聚焦在數(shù)據(jù)挖掘上，所以需要一個敏捷分析平臺。這個敏捷分析平臺應(yīng)該是什么樣子，我們一開始也有一些爭論，同時延伸到了對敏捷BI的思考。比如這個平臺是不是就是敏捷BI？又是不是僅是一個在線的報表工具？是不是只要實現(xiàn)拖拽就意味著敏捷？最后發(fā)現(xiàn)沒這么簡單，我們真正需要的平臺要具備以下特點：

 

　　1、實現(xiàn)可管控的開放數(shù)據(jù)集；

 

　　2、分析人員可以通過平臺直接對開放數(shù)據(jù)集進(jìn)行數(shù)據(jù)挖掘；

 

　　3、分析人員在平臺上分析的結(jié)果可以進(jìn)行分享交流，集體討論并優(yōu)化；

 

　　4、數(shù)據(jù)集、分析結(jié)果均可以實現(xiàn)動態(tài)更新；

 

　　5、移動化，一是操作界面可以自適應(yīng)不同的屏幕，二是閱讀界面能針對不能設(shè)備定制；

 

　　6、支持多租戶；

 

　　7、我們需要系統(tǒng)安全可控、可以便捷地進(jìn)行二次。

 

　　通過考察，我們最終選擇了開源BI工具--SpagoBI。它是目前全球唯一一個100%開源的。它的主要功能有以下幾點：

 

　　大數(shù)據(jù)支持：可以構(gòu)建自己的大數(shù)據(jù)分析平臺，處理任何格式的數(shù)據(jù)，甚至可以對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。

 

　　內(nèi)存計算：可以自己建立一個交互式的管理駕駛艙。通過一個動態(tài)的和交互的方式瀏覽你的數(shù)據(jù)，使您在業(yè)務(wù)的各個方面快速做出決策。

 

　　多租戶：即單個 SpagoBI 實例服務(wù)多個組織（租戶）。在多租戶架構(gòu)中，每個租戶可獨立擁有和管理自己的用戶、文件、配置和參數(shù)。

 

　　自助分析：只要通過點擊幾下鼠標(biāo)和簡單拖拽動作，就可以立馬得到您所要的分析報表。

 

　　即時分析、假設(shè)分析、地理位置分析等多功能。

 

　　SpagoBI各組件之前耦合度低，各種引擎均使用該領(lǐng)域內(nèi)主流的開源工具進(jìn)行集成，對于學(xué)習(xí)和應(yīng)用的成本較低，同時解決了很多兼容性的問題。SpagoBI存在的問題現(xiàn)在還沒有中文版，資料也基本是英文的。我們在做這個項目的過程中，同時對SpagoBI進(jìn)行了漢化，重要的部署、操作資料也進(jìn)行了翻譯，很快整理之后都將通過Spago86社區(qū)進(jìn)行公布。

 

 

　　我的匯報就到這，感謝各位。