概述
目前行業應用數據種類繁多,在數據治理、共享應用的前期,進行各類數據收集匯總,構建原始數據資源池,成為數據管理應用的重要一環。通過多源異構數據通用引接模塊可以實現各類數據的收集與管理。
一、在線數據接引
在線數據接引主要包括數據庫接引、API接口接引、實時報文接引。
1、數據庫接引
以Python技術為基礎,集成各類數據庫操作組件,構建數據庫引擎,通過數據庫地址、用戶、密碼等信息實現數據庫的直接連接。連接測試成功,即可獲取數據庫中的數據表清單。
用戶根據具體業務需求,選擇需要的數據表(部分或全部),確定接引的外部源數據。通過本地原始數據管理,創建數據庫作為接引目標庫。支持增量接引和覆蓋接引,支持定時引接和一次性引接。

數據庫表接引模型
2、API接口接引
API接口由外部業務系統提供,用于獲取相關數據。以Python技術為基礎,搭建API接口引擎,支持POST、GET等接入方式,實現接口數據的獲取。返回結果為json格式,分為結構化和半結構化數據。

API接口接引模型
3、實時報文接引
以Python技術為基礎,針對不同的報文格式進行解析組件開發,形成解析組件庫,實現數據的連接、接收、數據解析,形成結構化數據集合。

實時報文接引模型
二、離線數據接引
支持Excel、Json、離線數據庫文件、二進制文件以及其他文檔資料的接引,針對性的設計接引模型,實現離線數據的導入匯聚。
1、Excel類型數據接引模型
將Excel文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統根據數據庫表字段對應配置,通過調用Python通用解析組件,將上傳的Excel文件入庫到指定數據表及數據庫中。

Excel類型數據接引模型
2、Json文件接引模型
將Json文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用Json通用解析組件,將上傳的Json文件解析為Json結構數據,根據頁面配置需要信息及對應表字段,將Json文件數據入庫到指定數據表及數據庫中。

Json文件接引模型
3、DB離線數據庫接引模型
將DB離線數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用DB庫連接實例,將DB文件解析為表及數據記錄,根據指定存儲目標表及對應字段,入庫到相應數據庫中。

DB離線數據庫接引模型
4、二進制文件接引模型
將二進制文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用特定解析組件,根據表字段對應配置,將二進制文件解析為數據記錄,入庫到相應數據庫中。

二進制文件接引模型
5、文件資料接引模型
將音視頻、圖像、文件資料、其他文件資料等文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統新增文件資料表,并將文件數據存儲在結構化數據庫中。

文件資料接引模型