
海聚支持多種任務(wù)類型,包括批任務(wù)、流任務(wù)、SQL任務(wù)、JAR任務(wù)。對數(shù)據(jù)融合來說,SQL任務(wù)是一個全新的處理形態(tài),它能把數(shù)據(jù)的融合邏輯,轉(zhuǎn)為一個簡單的SQL語句來完成。
調(diào)度計劃用于配置任務(wù)的定時運行策略,合理的給任務(wù)分配調(diào)度計劃可以使得多個任務(wù)協(xié)同運行并且合理使用服務(wù)器資源,避免出現(xiàn)過多任務(wù)爭搶線程和數(shù)據(jù)庫等資源以及大量任務(wù)排隊等待等現(xiàn)象,為服務(wù)器穩(wěn)定運行提供保障。
海聚支持集中管理任務(wù)中使用的所有外部連接的資源,并生成相應(yīng)的血緣圖譜。
海聚支持分布式架構(gòu)部署,以及flink執(zhí)行引擎的熱插拔和自動分配,包括flink standalone模式和yarn session模式。
海聚支持任務(wù)的執(zhí)行統(tǒng)計分析、資源的統(tǒng)計分析、錯誤分析等多維度運行分析。
海聚還支持對全息操作行為進(jìn)行審計分析功能,包括任務(wù)的增刪改運行、資源的增刪改、用戶管理行為等等。
海聚支持多種任務(wù)類型,包括批任務(wù)、流任務(wù)、SQL任務(wù)、JAR任務(wù)。對數(shù)據(jù)融合來說,SQL任務(wù)是一個全新的處理形態(tài),它能把數(shù)據(jù)的融合邏輯,轉(zhuǎn)為一個簡單的SQL語句來完成。
調(diào)度計劃用于配置任務(wù)的定時運行策略,合理的給任務(wù)分配調(diào)度計劃可以使得多個任務(wù)協(xié)同運行并且合理使用服務(wù)器資源,避免出現(xiàn)過多任務(wù)爭搶線程和數(shù)據(jù)庫等資源以及大量任務(wù)排隊等待等現(xiàn)象,為服務(wù)器穩(wěn)定運行提供保障。
海聚支持集中管理任務(wù)中使用的所有外部連接的資源,并生成相應(yīng)的血緣圖譜。
海聚支持分布式架構(gòu)部署,以及flink執(zhí)行引擎的熱插拔和自動分配,包括flink standalone模式和yarn session模式。
海聚支持任務(wù)的執(zhí)行統(tǒng)計分析、資源的統(tǒng)計分析、錯誤分析等多維度運行分析。
海聚還支持對全息操作行為進(jìn)行審計分析功能,包括任務(wù)的增刪改運行、資源的增刪改、用戶管理行為等等。
2.基于圖形化的數(shù)據(jù)流程定義,通過簡單拖拽相關(guān)系統(tǒng)組件進(jìn)行組合即可設(shè)計指定的ETL規(guī)則。
3.客戶端內(nèi)置了常用的任務(wù)定義模板,用戶可選擇指定的模板快速創(chuàng)建任務(wù);
4.把常用的配置信息定義為資源,從而在多個流程中復(fù)用該配置信息,減輕了配置工作量。
5.系統(tǒng)提供了多種監(jiān)控視圖,可以方便的監(jiān)控流程的運行狀態(tài)以及統(tǒng)計信息,幫助分析性能瓶頸。
2.集群支持彈性擴展,任務(wù)可分裂為多個子任務(wù),分別調(diào)度運行到不同的集群節(jié)點,從而提升系統(tǒng)數(shù)據(jù)處理能力。
3.與k8s、Yarn、Mesos緊密集成,快速故障恢復(fù),動態(tài)擴縮容作業(yè)。
2.支持if-else、switch-case、while等多種處理邏輯。
3.任務(wù)之間支持相互調(diào)用,以及依賴等多種關(guān)聯(lián)方式,以實現(xiàn)復(fù)雜的ETL處理邏輯。
4.高度靈活的窗口機制,支持對亂序事件的處理。
2.與主流大數(shù)據(jù)計算框架的集成,可以將復(fù)雜的業(yè)務(wù)邏輯提交到計算平臺進(jìn)行處理。
3.采用Apache Flink作為數(shù)據(jù)處理內(nèi)核,支持流批處理,具有高吞吐、低延遲的特點。
2.提供常用功能的API,方便的與業(yè)務(wù)應(yīng)用集成。
2.數(shù)據(jù)處理任務(wù)的審計功能,增加了數(shù)據(jù)處理任務(wù)的可溯性。
3.異常數(shù)據(jù)的集中查看和管理功能。
4.自動識別背壓點,方便快速定位任務(wù)性能瓶頸。



