產(chǎn)品架構(gòu)
項目中心
平臺實現(xiàn)多租戶管理機制,項目中心是對當前項目工程的管理和維護操作。
其中可管理當前項目角色、用戶以及項目所需的配置信息(如:預警群維護 等)。
同時項目管理員還可以對項目中所有作業(yè)交接情況進行管理和維護。
數(shù)據(jù)集成
數(shù)據(jù)任務(wù)開發(fā)
數(shù)據(jù)任務(wù)開發(fā)主要是常規(guī)類型數(shù)據(jù)開發(fā)。開發(fā)任務(wù)時,系統(tǒng)自動解析任務(wù)血緣關(guān)系。當任務(wù)開發(fā)完成,可在工作流中進行任務(wù)依賴關(guān)系配置。
調(diào)度管理
依賴可夸集群,夸項目間進行依賴關(guān)系配置。任務(wù)調(diào)度既是對任務(wù)周期運行進行的配置。
數(shù)據(jù)服務(wù)
數(shù)據(jù)錄入
數(shù)據(jù)錄入可通過平臺自行創(chuàng)建錄入表,并將外部數(shù)據(jù)上傳錄入,數(shù)據(jù)錄入可通過平臺自行創(chuàng)建錄入表,并將外部數(shù)據(jù)上傳錄入。
數(shù)據(jù)導出
可將平臺數(shù)據(jù)通過執(zhí)行sql語句的方式將數(shù)據(jù)導出。
數(shù)據(jù)保留策略
是對平臺中分區(qū)表中數(shù)據(jù)進行保留天數(shù)的配置。
作業(yè)補數(shù)功能
通過配置保留天數(shù),系統(tǒng)將自動清理范圍之外的數(shù)據(jù)。
數(shù)據(jù)管理
技術(shù)元數(shù)據(jù)
其中技術(shù)元數(shù)據(jù),主要是對設(shè)備、應(yīng)用以及庫表間關(guān)系的管理。同時通過對任務(wù)的關(guān)聯(lián),可以獲得任務(wù)血緣關(guān)系。
業(yè)務(wù)元數(shù)據(jù)管理
主要是對業(yè)務(wù)條線、指標、維度等口徑進行記錄。
實時計算
作業(yè)開發(fā) I 任務(wù)列表
實時計算集成Flink將Kafka、RDBMS源抽象成流表。通過查詢流表來實現(xiàn)實時計算過程。
使用戶只需關(guān)注業(yè)務(wù)實現(xiàn)即可。同時實時計算還支撐Scale、Java 等編程開發(fā)。
產(chǎn)品優(yōu)勢
應(yīng)用場景
工藝流水線優(yōu)化
星河大數(shù)據(jù)平臺基于自身成熟穩(wěn)定的大數(shù)據(jù)分析處理技術(shù),沉淀焊裝、尺寸和力矩的模型,通過調(diào)度配置,實現(xiàn)模型自動化調(diào)度運行,
使用算法優(yōu)化工藝參數(shù),為汽車的研發(fā)和制造過程提供優(yōu)化解決方案,縮短研發(fā)周期,提高研發(fā)效率。
精準營銷
基于星河平臺搭建精準化營銷平臺,將所有日志,用戶行為數(shù)據(jù)在平臺上進行離線調(diào)度和分析,
在上億用戶人群里面,精確的找到目標人群,進行資源營銷策略。