• <th id="hnp9g"></th>
    1. <th id="hnp9g"></th>

      1. <em id="hnp9g"></em>

        <button id="hnp9g"><object id="hnp9g"></object></button>


      2. 背景

          隨著云計算和大數據的興起和發展,云計算已經成為處理大數據很重要的一個組成部分,伴隨著數據量的幾何增長,傳統的數據挖掘平臺系統架構模式已經遠遠不能適應現代數據挖掘的建設要求。DataSense就是建立在數據立方基礎上針對海量的數據的集中計算與挖掘,建立一套具有高可靠、可在線彈性伸縮,提供數據內在關系和價值的數據挖掘計算平臺。為業務決策提供便捷、快速和高效的平臺支撐。



        產品介紹

          DataSense是南京云創大數據科技股份有限公司自主研發的分布式數據挖掘平臺。具有高處理性能和高可靠性,可不間斷接受任務。

          系統實現了大多數主流的數據挖掘功能,包括屬性選擇、分類預測、回歸預測、聚類分析、關聯分析、時間序列分析等6大類。為適應不同業務數據的特點,對同一個數據挖掘功能,通過多種算法進行實現,例如“分類預測”有決策樹、分類回歸樹、支撐向量機分類、神經網絡分類、貝葉斯網絡、樸素貝葉斯、邏輯回歸、分類組合模型等算法可供用戶選用,共計包含了27個數據挖掘算法。



        系統基本組成


        DataSense分布式數據挖掘平臺總體架構


          DataSense數據挖掘系統分為前臺管理平臺以及后臺數據挖掘平臺兩部分組成。其總體架構如下圖:

        總體架構圖


          其中采用了數據立方作為對系統海量數據的底層存儲平臺,提供了高效的ETL工具,能夠對海量數據進行高效快速的清洗。前端WEB部分方便用戶管理和使用系統,對于數據挖掘的結果提供了餅圖、散點圖、折線圖、面積圖、柱狀圖、雷達圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段,利于用戶對數據和模型的觀察和理解。


        DataSense數據挖掘核心模塊系統架構如下圖所示:


        DataSense系統架構圖


        DataSense系統架構圖

        分布式數據挖掘引擎
        管理本機上同時運行的多個計算任務,協調資源分配。
        分布式挖掘運行時
        單獨的數據挖掘程序,負責對切分好的很小單元任務進行處理。
        DataSense分布式數據挖掘管理引擎
        提供對數據挖掘應用的API,同時負責對整個數據挖掘任務的調度管理。
        分布式數據挖掘算法庫
        提供對數據挖掘常用的基本挖掘算法,同時用戶可以自己任意添加新的挖掘算法。

        分布式數據挖掘可靠性設計


          DataSense采用了JobKeeper作為整個系統的可靠性調度平臺。調度平臺提供了一套基于Web的管理化界面,可以實時的觀察各個處理節點的任務運行狀態,以及任務列表的分配情況,機器的負載情況等。用戶在管理系統界面上可以完成所有的工作,如新任務的添加,任務的手動調度以及集群日志的查看與分析等。


        JobKeeper任務分發流程圖


        JobKeeper任務分發流程圖

          分布式機器任務處理節點和管理節點之間維護一個心跳時間,實時向管理節點匯報任務處理信息,同時,任務處理節點在每個心跳時間內向管理節點獲取該處理的任務列表,并和 本機正在處理的任務列表進行比對,完成相關的任務調度工作。若一個處理節點在多個心跳時間范圍內仍然沒有主動的和管理節點相互聯系,那么管理節點將會根據 各機器的負載情況,將失去心跳連接的處理節點上的任務進行任務的重新分配和執行。



        產品優勢和特點

          大數據挖掘平臺是一套軟件與硬件相結合的系統,其中專有技術和軟件是高附加值部分,可以廣泛應用于需要海量數據挖掘的應用場合(如廣電、電信、互聯網、銀行等領域)。該系統相比傳統數據挖掘系統有如下技術優勢:


        高度可靠


          大數據挖掘系統采用云架構,底層數據被分塊存儲在不同的存儲節點上,數據采用1:1容錯機制進行容錯,可在任意損壞一個存儲服務器節點的情況下實現數據完整可靠,系統對外存儲訪問服務不間斷。

          云存儲的管理節點采用了主備雙機鏡像熱備的高可用機制,在主管理節點出現故障時,備管理節點自動接替主管理節點的工作,成為新的主管理節點,待故障節點修復并重啟服務后,它則成為新的備管理節點,保障系統的7×24小時不間斷服務。

          數據挖掘采用了任務調度框架JobKeeper,當出現故障節點后,JobKeeper會自動轉移處理任務,保證數據挖掘過程的完整性和正確性。


        優異性能


          數據挖掘采用分布式并行計算技術,將海量數據的計算處理轉化為各個存儲節點上并行讀寫和計算,這樣減少了網絡的帶寬使用,提高了數據的處理速度。同時隨著處理節點數目的增多,整個系統的計算性能將呈線性增長。

          同時,JobKeeper采用負載均衡技術,自動均衡各服務器負載,使得各處理節點的性能調節到很高,實現資源優化配置。


        海量存儲


          數據挖掘平臺所依賴的數據存儲層數據立方容量僅受限于卷管理服務器內存,可支撐的容量接近無限,經推算,理論容量為1024×1024×1024 PB (1G個PB容量)。這樣為超大規模的數據挖掘提供了數據支撐。


        在線伸縮


          大數據挖掘系統擴容非常方便,支持不停止服務的情況下,動態加入新的處理節點,無需任何操作,即實現擴容;同時,無需人為干預,也可以摘下任意節點,系統自動縮小規模而不影響挖掘業務,運行在此節點上的計算將會重新運行到其他節點上。


        通用易用


          大數據挖掘系統提供專用的API接口,供開發人員調用。


        智能管理


          提供基于WEB的管理控制平臺,所有的管理工作均由大數據挖掘管理模塊自動完成,使用人員無需任何專業知識便可以輕松管理整個系統。通過管理平臺,可以對數據立方中的數據源進行挖掘業務,同時提供挖掘結果的可視化查詢界面,可以方面的查看挖掘結果,為業務決策做支持。此外,用戶還可以通過監控界面可以清楚地了解到每一個處理節點的負載、存儲和運行情況。


        快速高效


          大數據挖掘平臺算法庫采用了分布式并行算法能夠在較短的時間內完整各種算法,同時隨著機器的增加系統性能線性增長。



        平臺界面介紹


        DataSense平臺主頁


        DataSense平臺主頁

          DataSense分布式數據挖掘平臺提供對集群機器的負載監控,磁盤監控等基本管理功能。用戶可以快速方便的監控整個集群的運行狀態。


        數據導入

          負責對數據的導入,支持數據庫,文件系統兩種數據抽取方式。將數據抽取保存到數據立方。


        點擊查看大圖


        元數據信息管理

          對數據本身結構信息管理,提供新建、刪除、修改表等操作。


        點擊查看大圖

        點擊查看大圖


        數據管理

          可以查詢不同表的數據信息,可以導出原始數據文件。


        點擊查看大圖


        任務管理

          由于算法的輸入規模的不同,部分數據挖掘業務可能運行時間過長,系統提供了挖掘任務的查看、管理功能。


        點擊查看大圖


        用戶管理

          大數據挖掘平臺提供了多用戶使用,系統管理員可以通過用戶信息管理功能實現對系統多用戶的管理。


        點擊查看大圖


        系統配置

          提供系統平臺自身的參數信息管理。


        點擊查看大圖


        可視化查詢介紹

          系統提供了對于已有數據的可視化查詢,用戶可以自定義查詢邏輯,系統會在后臺自動提交查詢任務。目前查詢支持了標準SQL 60%的查詢功能。


        點擊查看大圖


        分類算法介紹

          分類算法目前提供了對于數據集的學習、分類的功能。同時用戶還可以保存數據訓練模型以便決策者或者第三方系統能夠在線獲取模型,并基于模型進行企業經營行為的決策或計算。分類結束后系統會通過可視化的方式展示系統訓練分類后的結果,如下圖所示:


        點擊查看大圖

        點擊查看大圖


        聚類算法介紹

          聚類分是對未知事物的分類,系統提供了對結構化數據的聚類,用戶可以選擇不同緯度的聚類。


        點擊查看大圖


          上圖為聚類設計頁面,用戶可以選擇數據源,聚類屬性,聚類本身的相關屬性等信息。


        點擊查看大圖


          聚類完成后,系統通過可視化的查詢,目前提供了餅圖、散點圖、折線圖、面積圖、柱狀圖、雷達圖、線箱圖、分布圖、多折線圖、帕累托圖等10類可視化手段,利于用戶對數據和模型的觀察和理解。



        市場應用



        應用范圍 應用描述
        互聯網行業 基于用戶行為的智能推薦
        移動行業 智能化移動業務的準確推薦
        電力行業 海量運營數據的預測,設備負載預測
        ... ...



        更多下載

        聯系方式    總機:400-8855-360



        市場部

        區域/行業
        銷售人員
        分 機
        手機號
        郵 箱
        騰訊QQ
        河南 重慶 湖北 貴州 陜西
        王  軍
        8035
        13851877991
        wangjun2@cstor.cn
        福建、湖南、安徽、天津、黑龍江、吉林、環保
        張先生
        8027
        18602548008
        zhengxuwenxin@cstor.cn
        云創學習工場、北京、遼寧、通用產品
        張 偉
        8028
        15805157345
        zhangwei@cstor.cn
        浙江、四川、廣西、山東
        楊  劍
        8030
        18751869256
        yangjian@cstor.cn
        河北、上海、內蒙、云南、人臉識別、單向光閘
        李云龍
        8050
        15722710158
        liyunlong@cstor.cn
        山西、地震、智慧路燈伴侶
        邱毅林
        8022
        15950494413
        qiuyiling@cstor.cn
        寧夏、甘肅、西藏、青海
        何傳武
        8086
        13601464646
        hechuanwu@cstor.cn
        海南、公安
        左  賽
        8033
        18017566211
        zuosai@cstor.cn
        江西、測繪
        劉立宏
        8034
        13815414773
        liulihong@cstor.cn
        廣東
        單明月
        8056
        13770311887
        shanmingyue@cstor.cn
        內蒙廣電
        何家樂
        8031
        18951832499
        hejiale@cstor.cn
        數據大腦
        范濤
        8088
        13851709539
        fantao@cstor.cn
        新疆
        楊松
        18609918305
        yangsong@cstor.cn
        網格化、燃氣報警
        謝久軍
        8042
        13805153062 
        xuejiujun@cstor.cn
        K12
        湯鵬
        15380975854
        tangpeng@cstor.cn
        新疆分公司
        任家瑞
        13851763165
        renjiarui@cstor.cn
        廣東分公司
        羅藝峰
        13822231734
        luoyifeng@cstor.cn
        河南辦事處
        劉宏
         
        13333831976
        liuhong@cstor.cn
        湖北辦事處
        周俊
         
        13995587166
        zhoujun@cstor.cn
        貴州辦事處
        湯添智
        13602805009
        1589819668@qq.com
        重慶辦事處
        曾娟
        13628383332
        zengjuan@cstor.cn




        校企合作

        校企合作基地 北京華科云創大數據科技有限公司


        分享到: 微信 QQ空間 人人網 更多
        閱讀:23259次


        版權所有 © 2011-2021 南京云創大數據科技股份有限公司(股票代碼:835305), 保留一切權利。(蘇ICP備11060547號-1)  
        云創大數據-大數據存儲與智能處理高新技術企業