數(shù)據(jù)科學(xué)平臺

《數(shù)據(jù)科學(xué)平臺》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、數(shù)據(jù)科學(xué)平臺Elemental系統(tǒng)產(chǎn)品白皮書孔明科技2019年2月產(chǎn)品概述隨著數(shù)據(jù)技術(shù)的發(fā)展，各行各業(yè)信息化水平和數(shù)據(jù)積累程度越來越高，數(shù)據(jù)挖掘、建模分析、人工智能算法等技術(shù)的適用場景越來越廣泛，企業(yè)對數(shù)據(jù)資產(chǎn)的重視程度隨之大幅提升，對存量數(shù)據(jù)的應(yīng)用落地和價值挖掘的訴求越來越強烈。與此同時，傳統(tǒng)數(shù)據(jù)挖掘技術(shù)和機?學(xué)習(xí)應(yīng)用的門檻很高，需要數(shù)據(jù)科學(xué)家、大數(shù)據(jù)工程師非常熟悉企業(yè)業(yè)務(wù)和數(shù)據(jù)結(jié)構(gòu)，掌握機?學(xué)習(xí)算法，通過代碼編程等方式對算法進行調(diào)用和參數(shù)調(diào)優(yōu)建立模型。如此種種不便，造成了企業(yè)開展數(shù)據(jù)資產(chǎn)價值挖掘、擴展業(yè)務(wù)和優(yōu)化成本的代價非常高?？酌骺萍嫉耐ㄓ眯蛿?shù)據(jù)科學(xué)平臺Elemental系

2、統(tǒng)，專為解決全行業(yè)的各類數(shù)據(jù)分析問題而設(shè)計研發(fā)，是進行數(shù)據(jù)挖掘、建模分析的工作流程可視化的系統(tǒng)級平臺。通過對數(shù)據(jù)的集中接入、統(tǒng)一管理，基于底層的分布式存儲和索引，Elemental系統(tǒng)最大程度的保證了企業(yè)數(shù)據(jù)的可用性、優(yōu)質(zhì)性、一致性、使用便捷性和安全性，為數(shù)據(jù)運算和查詢提供了必要的讀寫性能基礎(chǔ)Elemental系統(tǒng)是基于分布式運算框架的數(shù)據(jù)挖掘、建模分析平臺，其特有的“拖拽式”工作流編輯模式，使數(shù)據(jù)分析人員脫離編程和調(diào)試過程，快速復(fù)用計算邏輯，實現(xiàn)數(shù)據(jù)的自動運算流程，并幫助用戶快速實現(xiàn)BI報表展示和將數(shù)據(jù)結(jié)果集成到業(yè)務(wù)系統(tǒng)，促成數(shù)據(jù)應(yīng)用。Elemental系統(tǒng)提供以下價值：?數(shù)據(jù)

3、集中管理，快速查找所需數(shù)據(jù)；?通過用戶鑒權(quán)和數(shù)據(jù)共享保證數(shù)據(jù)安全性和方便性；?無需編程，降低數(shù)據(jù)開發(fā)成本；?提供大量算法模塊，提高AI應(yīng)用能力和便捷性；?可實現(xiàn)實施數(shù)據(jù)分析任務(wù)的半/全自動完成；?快速實現(xiàn)數(shù)據(jù)展現(xiàn)和業(yè)務(wù)報表，快速理解數(shù)據(jù)，提升業(yè)務(wù)質(zhì)量；?快速實現(xiàn)業(yè)務(wù)對接和數(shù)據(jù)應(yīng)用；info@kongming-inc.com2/10上?市長寧區(qū)愚園路753號E棟六層021-63669001北京市朝陽區(qū)惠新東街甲2號住總地產(chǎn)大廈10層010-52434248產(chǎn)品簡介Elemental系統(tǒng)是一站式大數(shù)據(jù)解決方案，基于分布式存儲和分布式計算框架自主研發(fā)，系統(tǒng)集成數(shù)據(jù)處理功能及機?學(xué)習(xí)算法

4、，包括可視化大數(shù)據(jù)挖掘工具及配套組件，提供高效的數(shù)據(jù)洞察。用戶在Elemental系統(tǒng)中無需編程，即可快速開展數(shù)據(jù)分析、挖掘、建模工作流，從數(shù)據(jù)接入、清洗、特征工程、建模、評估、預(yù)測，到BI報表、業(yè)務(wù)集成應(yīng)用，一應(yīng)俱全。通過使用流程圖來組織數(shù)據(jù)處理過程，系統(tǒng)具有高度可復(fù)用的特點，可低成本高效率地解決業(yè)務(wù)需求到數(shù)據(jù)模型之間的邏輯轉(zhuǎn)化。企業(yè)無須消耗大量預(yù)算和時間成本，就可輕松對數(shù)據(jù)進行深度挖掘，實現(xiàn)業(yè)務(wù)應(yīng)用。架構(gòu)設(shè)計Elemental系統(tǒng)采用微服務(wù)架構(gòu)，具有全異步、高可用、彈性伸縮的技術(shù)棧，集成了批量、流式、深度學(xué)習(xí)等不同風(fēng)格的分布式計算引擎。服務(wù)架構(gòu)如下：?支持HDFS、S3、OS

5、S等分布式存儲；?Alluxio分布式緩存，確保整體系統(tǒng)高擴展性；?基于SPARK、FLINK、MXNET等通用計算框架的分布式計算底層，大大提高計算效率；?基于Docker的底層系統(tǒng)架構(gòu)，便于輕松部署和擴展；?自主研發(fā)的ACO調(diào)度層，將任務(wù)流程動作編譯成計算框架語言，確保不同任務(wù)在處理過程中使用最優(yōu)計算邏輯及資源；:(%$33/,&$7,21??:HE5HDFW-6$33L26$QGURLG???????????????????5HVWIXO$3,:HE6RFNHW046HUYLFH'6/$&2&OXVWHU?????$&2????5HVRXU

6、FH0DQDJHU????????????????????????1RGH0DQDJHU1RGH0DQDJHU&RQWH[W0DQDJHU??????????5DEELW04????????????&RQWH[W0DQDJHU????63$5.)/,1.????63$5.?)/,1.?'ULYHU-REPDQDJHU????????????????????????H[HFXWHUH[HFXWHU?7DVNPDQDJHU7DVNPDQDJHU????6WRUDJH+')6??65HGLV0RQJR'%$OOX[LR???,QJUHVV.XEHUQHWHV?????

7、??????????????'2&.(5info@kongming-inc.com3/10上?市長寧區(qū)愚園路753號E棟六層021-63669001北京市朝陽區(qū)惠新東街甲2號住總地產(chǎn)大廈10層010-52434248產(chǎn)品簡介服務(wù)端技術(shù)優(yōu)勢Elemental系統(tǒng)針對不同的計算引擎開發(fā)了不同的驅(qū)動，將計算引擎和計算資源的管理作為服務(wù)調(diào)用，無縫融合到產(chǎn)品整體架構(gòu)中，具有多層次的分隔和抽象。用戶通過頁面交互自定義邏輯計算過程，后臺引擎進行流程優(yōu)化和代碼自動生成，并將任務(wù)分解為不同規(guī)模的J