成人A片高潮痉挛,精品无码一区二区三区爱欲,盛夏晚晴天在线观看 ,男女啪啪

靈蜂數(shù)據(jù)集成軟件BeeDI

　　由北京靈蜂縱橫軟件有限公司研發(fā)的數(shù)據(jù)集成軟件BeeDI， 集數(shù)據(jù)抽取、清洗、轉(zhuǎn)換及裝載于一體，通過(guò)標(biāo)準(zhǔn)化企業(yè)各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)，向數(shù)據(jù)倉(cāng)庫(kù)或Hadoop分析平臺(tái)提供高質(zhì)量的數(shù)據(jù)，從而為企業(yè)高層基于數(shù)據(jù)倉(cāng)庫(kù)的正確決策分析提供了有力的保證。軟件提供跨庫(kù)數(shù)據(jù)聯(lián)邦 、基于數(shù)據(jù)庫(kù)日志的數(shù)據(jù)同步、ETL任務(wù)災(zāi)備及負(fù)載均衡等功能，支持同一數(shù)據(jù)流向多個(gè)接口的分發(fā)，同時(shí)也支持多個(gè)數(shù)據(jù)流的合并，是一款完全面向數(shù)據(jù)倉(cāng)庫(kù)或Hadoop分析平臺(tái)的數(shù)據(jù)集成產(chǎn)品。

　　BeeDI包含2個(gè)發(fā)行版本,分別為BeeDI SE V8.0和BeeDI EE V8.0。
　　BeeDI SE即BeeDI標(biāo)準(zhǔn)版，單機(jī)程序架構(gòu)，任務(wù)的設(shè)計(jì)、運(yùn)行及監(jiān)控集成在一個(gè)模塊內(nèi)部。
　　BeeDI EE即BeeDI企業(yè)版，基于C/S架構(gòu)，客戶端軟件(BeeDI EE Client)負(fù)責(zé)任務(wù)配置及遠(yuǎn)程監(jiān)控，服務(wù)器軟件包含BeeDI EE RJS和BeeDI EE Monitor（僅Windows平臺(tái)），分別負(fù)責(zé)任務(wù)運(yùn)行和及本地監(jiān)控，用戶可以通過(guò)Client遠(yuǎn)程登錄到RJS進(jìn)行任務(wù)的發(fā)布，刪除、調(diào)度或終止。

　　BeeDI CE即BeeDI集群版，基于分布式架構(gòu)，客戶端(BeeDI CE Client)負(fù)責(zé)任務(wù)配置及運(yùn)行監(jiān)控，任務(wù)服務(wù)器(BeeDI CE RJS)負(fù)責(zé)任務(wù)運(yùn)行，資源管理器(RM)負(fù)責(zé)任務(wù)在多個(gè)任務(wù)服務(wù)器的自動(dòng)部署執(zhí)行，用戶可以通過(guò)客戶端登錄到RM進(jìn)行任務(wù)的發(fā)布，刪除、調(diào)度或終止。

　　

　　BeeDI主要功能如下：

　　數(shù)據(jù)轉(zhuǎn)換(數(shù)據(jù)集成) 

　　1.支持?jǐn)?shù)據(jù)接口如下表：

   　2.支持ETL元數(shù)據(jù)管理功能，采用圖形操作界面輔助用戶完成數(shù)據(jù)抽取、轉(zhuǎn)換、裝載等規(guī)則的設(shè)計(jì)。
　　3.提供異步ETL過(guò)程處理模式，數(shù)據(jù)抽取、轉(zhuǎn)換及裝載過(guò)程并行執(zhí)行，實(shí)現(xiàn)數(shù)據(jù)的高速處理，滿足G、T級(jí)的數(shù)據(jù)轉(zhuǎn)換。
　　4.支持各種字段級(jí)的映射轉(zhuǎn)換，如類型轉(zhuǎn)換、字段運(yùn)算、參照轉(zhuǎn)換、字符串處理、字符集轉(zhuǎn)換、空值處理、日期轉(zhuǎn)換、聚集運(yùn)算、既定取值、字段切分、字段合并等。
　　5.支持自定義SQL的數(shù)據(jù)抽取。
　　6.支持MD5、SHA消息摘要計(jì)算。
　　7.支持DES、AES、RSA數(shù)據(jù)加密解密。
　　8.支持各類數(shù)據(jù)庫(kù)大對(duì)象(LOB)的讀寫(xiě)。
　　9.支持多字段的混合運(yùn)算。
　　10.支持記錄間的合并及計(jì)算。
　　11.支持抽取數(shù)據(jù)的分流、過(guò)濾。
　　12.支持橫表、縱表轉(zhuǎn)換。
　　13.支持映射自動(dòng)匹配，可自動(dòng)完成異構(gòu)數(shù)據(jù)庫(kù)間數(shù)據(jù)類型的映射。
　　14.支持批量表的遷移映射，遷移信息包括表名、字段屬性、主鍵屬性、索引屬性等。
　　15.支持表的動(dòng)態(tài)創(chuàng)建，支持表名的動(dòng)態(tài)生成。
　　16.支持根據(jù)主外鍵的目標(biāo)表裝載順序自動(dòng)調(diào)整。
　　17.支持緩慢漸變維的更新，支持代理鍵的生成、慢速變化維度三種更新類型的設(shè)置等。
　　18.支持抽取表及裝載表的重定向。
　　19.支持?jǐn)?shù)據(jù)接口的重定向，ETL作業(yè)從設(shè)計(jì)環(huán)境到運(yùn)行環(huán)境的無(wú)縫移植。
　　20.支持?jǐn)?shù)據(jù)庫(kù)存儲(chǔ)過(guò)程及函數(shù)的調(diào)用。
　　21.支持源表和目標(biāo)表的差異比較及回補(bǔ)。
　　22.支持ETL任務(wù)各個(gè)環(huán)節(jié)的數(shù)據(jù)預(yù)覽?！?

　　數(shù)據(jù)聯(lián)邦

　　數(shù)據(jù)聯(lián)邦支持對(duì)兩路以上數(shù)據(jù)流（異構(gòu)數(shù)據(jù)庫(kù)或文件）進(jìn)行關(guān)系運(yùn)算產(chǎn)生一路輸出流，包括：
　　對(duì)多路數(shù)據(jù)流橫向連接產(chǎn)生一路扁平輸出流，連接方式支持內(nèi)連接、左外連接、右外連接及全外連接，可以對(duì)輸出流進(jìn)行過(guò)濾、分組、排序和去重操作。
　　對(duì)多路數(shù)據(jù)流縱向合并產(chǎn)生一路輸出流，支持?jǐn)?shù)據(jù)去重操作。

　　數(shù)據(jù)同步

　　數(shù)據(jù)同步實(shí)現(xiàn)源系統(tǒng)的數(shù)據(jù)變化（增、刪、改）實(shí)時(shí)映射到目標(biāo)庫(kù)中，BeeDI提供以下數(shù)據(jù)同步處理機(jī)制：
　　時(shí)間戳
　　要求源表中存在一個(gè)或多個(gè)字段（時(shí)間戳），其值隨著新記錄的增加而不斷增加，執(zhí)行數(shù)據(jù)抽取時(shí)，程序通過(guò)時(shí)間戳對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，抽取結(jié)束后，程序記錄時(shí)間戳信息。
　　觸發(fā)器
　　要求用戶在源數(shù)據(jù)庫(kù)中有創(chuàng)建觸發(fā)器和臨時(shí)表的權(quán)限，觸發(fā)器捕獲新增的數(shù)據(jù)到臨時(shí)表中，執(zhí)行抽取時(shí)，程序自動(dòng)從臨時(shí)表讀取數(shù)據(jù)。
　　日志解析
　　要求源數(shù)據(jù)庫(kù)為Oracle(8i、9i、10g、11g、12c)、SQL Server(2005、2008、2012、2014)、DB2(9.5、9.7、10.5)、MySQL(5.6)。
　　對(duì)于Oracle需要開(kāi)啟日志歸檔功能，抽取輸出列中存在邏輯主鍵(邏輯主鍵為在源表和目標(biāo)表中可以唯一標(biāo)識(shí)一條記錄的一列或多列)。
　　SQL Server需要數(shù)據(jù)庫(kù)開(kāi)啟完全事務(wù)日志。
　　MySQL需開(kāi)啟二進(jìn)制日志且設(shè)置日志格式為ROW。
　　DB2需要開(kāi)啟日志且啟用表的完整日志。
　　全表比對(duì)
　　通過(guò)邏輯主鍵逐行比較輸入流和目標(biāo)表記錄，輸入記錄在目標(biāo)表不存在則插入，記錄存在但部分信息不同則更新目標(biāo)數(shù)據(jù)，如果目標(biāo)記錄在輸入流中不存在則刪除目標(biāo)數(shù)據(jù)。

　　大數(shù)據(jù)集成

　　大數(shù)據(jù)集成既支持任意關(guān)系數(shù)據(jù)庫(kù)或文本文件數(shù)據(jù)到Hadoop系統(tǒng)的傳輸，也支持將Hadoop文本文件及HBase的數(shù)據(jù)傳輸?shù)饺我怅P(guān)系數(shù)據(jù)庫(kù)或文本文件。軟件通過(guò)Hive接口將數(shù)據(jù)存為HDFS文本文件，或從HDFS文件中讀取數(shù)據(jù)。
　　Hive
　　BeeDI通過(guò)Hive接口批量寫(xiě)入數(shù)據(jù)到HDFS，并將存入的數(shù)據(jù)文件映射為數(shù)據(jù)表。
　　讀取數(shù)據(jù)時(shí)，BeeDI支持對(duì)HDFS文件數(shù)據(jù)進(jìn)行選擇、過(guò)濾、分組等操作。
　　HBase
　　BeeDI提供SQL抽象接口訪問(wèn)HBase，支持將任意關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)實(shí)時(shí)同步寫(xiě)入HBase數(shù)據(jù)庫(kù)，支持對(duì)HBase的增、刪、改操作。讀取數(shù)據(jù)時(shí)，BeeDI支持對(duì)HBase數(shù)據(jù)進(jìn)行選擇過(guò)濾。

　   文件同步

　　BeeDI內(nèi)置FTP文件傳輸功能，可以通過(guò)FTP傳輸功能同步遠(yuǎn)程機(jī)器文件夾到本地，也支持本地文件夾同步到遠(yuǎn)程機(jī)器。FTP傳輸文件采用多線程并發(fā)傳輸，支持文件的斷點(diǎn)續(xù)傳。

　　工作流調(diào)度 

　　軟件內(nèi)置工作流建模工具和調(diào)度引擎，用戶可自由定義任務(wù)的觸發(fā)條件及執(zhí)行路徑，控制多任務(wù)的協(xié)同運(yùn)行 
　　1.支持多任務(wù)的并發(fā)運(yùn)行，支持并發(fā)任務(wù)的同步完成； 
　　2.支持成功、失敗、條件等三種路徑，支持基于全局變量的條件路徑轉(zhuǎn)移； 
　　3.支持任務(wù)的定時(shí)(可基于日、周、月、工作日、時(shí)、分、秒等)觸發(fā)； 
　　4.支持系統(tǒng)命令、外部程序調(diào)用； 
　　5.提供HTTP、FTP等文件傳輸功能；
　　6.提供郵件通知功能； 
　　7.流程運(yùn)行時(shí)的動(dòng)態(tài)軌跡指示，向用戶反饋?zhàn)尤蝿?wù)的執(zhí)行狀況；

　　WebService 

　　BeeDI可作為數(shù)據(jù)源向外發(fā)布數(shù)據(jù)，通過(guò)與Apache HTTP Server的結(jié)合，Beeload可作為WebService供用戶調(diào)用，交互的數(shù)據(jù)采用SOAP封裝，用戶在IE中可直接訪問(wèn)軟件發(fā)布的數(shù)據(jù)，用戶也可以按照標(biāo)準(zhǔn)的WebService接口創(chuàng)建自己的客戶端程序 獲取數(shù)據(jù)。
　　用戶可通過(guò)HTTP協(xié)議遠(yuǎn)程控制BeeDI中的任何作業(yè)，如遠(yuǎn)程啟動(dòng)或停止作業(yè)，遠(yuǎn)程查詢作業(yè)狀態(tài)。

　　腳本調(diào)試 

　　在BeeDI中，支持創(chuàng)建三類任務(wù)：ETL、工作流及Bee腳本，用戶可以對(duì)每種任務(wù)進(jìn)行調(diào)試。 
　　1.支持ETL、工作流模板視圖到腳本視圖的快速切換，用戶可直接了解任務(wù)執(zhí)行細(xì)節(jié)； 
　　2.在腳本視圖中支持任務(wù)的斷點(diǎn)運(yùn)行，任務(wù)執(zhí)行到斷點(diǎn)所在腳本時(shí)暫停； 
　　3.在腳本視圖中支持逐行單步調(diào)試任務(wù)，任務(wù)每當(dāng)執(zhí)行完一行腳本后即進(jìn)入暫停狀態(tài)； 
　　4.在任務(wù)處于斷點(diǎn)暫?；蚪Y(jié)束狀態(tài)時(shí)，可以對(duì)腳本中變量值的進(jìn)行查看；

　　作業(yè)監(jiān)控 

　　BeeDI采用作業(yè)調(diào)度策略控制任務(wù)的運(yùn)行： 
　　1.支持多個(gè)作業(yè)的并發(fā)運(yùn)行，可以限制最大運(yùn)行作業(yè)數(shù)； 
　　2.支持作業(yè)排隊(duì)機(jī)制，當(dāng)已運(yùn)行作業(yè)達(dá)到最大數(shù)時(shí)，后續(xù)啟動(dòng)作業(yè)進(jìn)入排對(duì)等待狀態(tài)； 
　　3.支持作業(yè)的優(yōu)先級(jí)設(shè)置，多個(gè)作業(yè)處于排隊(duì)狀態(tài)時(shí)，優(yōu)先級(jí)高的作業(yè)首先進(jìn)入運(yùn)行狀態(tài)； 
　　4.支持作業(yè)的啟動(dòng)、暫停、恢復(fù)運(yùn)行和停止等控制； 
　　5.作業(yè)支持定時(shí)啟動(dòng)，提供多種定時(shí)策略，包括日、周、月、工作日、時(shí)、分、秒等，通過(guò)對(duì)作業(yè)定時(shí)啟動(dòng)可實(shí)現(xiàn)作業(yè)的循環(huán)自動(dòng)運(yùn)行； 
　　6.直觀的作業(yè)執(zhí)行進(jìn)度及狀態(tài)顯示；

　　集群調(diào)度 

　　BeeDI支持ETL任務(wù)災(zāi)備及負(fù)載均衡，根據(jù)任務(wù)服務(wù)器負(fù)載情況自動(dòng)遷移任務(wù)到負(fù)載較小的服務(wù)器，當(dāng)某一服務(wù)器出現(xiàn)故障，其上運(yùn)行的任務(wù)將被加載到其它任務(wù)服務(wù)器上重新運(yùn)行。 
　　1.支持遷移任務(wù)的斷點(diǎn)續(xù)傳功能； 
　　2.支持集群環(huán)境中的任務(wù)腳本調(diào)試； 
　　3.同一工作流的多個(gè)子任務(wù)將分配到多個(gè)任務(wù)服務(wù)器運(yùn)行； 　

BeeDI完全采用數(shù)據(jù)流的思想定義ETL轉(zhuǎn)換規(guī)則，數(shù)據(jù)轉(zhuǎn)換不再局限于一對(duì)一的接口方式，而是支持多對(duì)多的數(shù)據(jù)接口方式,界面設(shè)計(jì)更加直觀流暢、ETL規(guī)則定義更具擴(kuò)展性。