政務數據共享交換中的創新應用:微服務總線+分布式數據區

發布時間:2018-11-07 19:40:51


2.png



微服作為一種新興的軟件架構,把一個大型的單個應用程序和服務拆分為數十個的支持微服務,系統中的各個微服務可被獨立部署,各個微服務之間是松耦合的。每個微服務僅關注于完成一件任務并能很好地完成該任務。


與傳統ESB架構相比,微服務架構主要用于實現業務系統之間的松散耦合框架,ESB僅僅幫助實現系統間的緊耦合;微服務架構屬于有狀態框架,而ESB屬于無狀態的業務框架。因此,采用微服務架構、云平臺、Docker技術的組合可以摒棄原有ESB的缺點。比如:基于SOA的ESB實現服務是一種粗粒度的服務,而微服務屬于細粒度的服務。針對微服務的技術特點,我們可以在電子政務共享交換實際應用過程中,對每一個數據項建立標準接口,對數據接口進行二次封裝,提供規范化、標準化、統一化的發布、訪問管理,以及推送用戶數據、消息隊列等服務。微服務架構基于云平臺和Docker之類虛擬容器,允許不同語言開發,方便輕量集成,這也減少集成或接入第三方軟件數據時候的開發成本,提高響應速度。


在現有的電子政務數據共享交換應用場景中,建設以微服務技術為支撐的數據服務體系,通過微服務總線技術模式,實現數據共享交換服務。對于數據遷移中不能或不愿進行數據搬家的數據生產者源數據,可以建設分步式數據區。這種“微服務總線+數據區”創新應用模式,也為現有政務數據共享交換模式提出了全新的實踐路線。


圖:微服務總線+數據區邏輯架構示意圖


微服務總線作為基于微服務架構所呈現的一種形態,微服務總線的建立,可以滿足塊調度中心數據調度過程的可控、可溯,對經由微服務總線的所有數據接口、數據流進行全程監控,并能夠對整體流程進行審計。


微服務總線建設目的是通過接管標準接口,形成服務目錄、數據目錄和安全目錄,通過服務目錄、數據目錄及安全目錄的協同使用,有效避免了服務交換過程中不可監督、不可視、不可追溯、不可控所導致的數據濫用、冒用和復用。在政務數據共享交換中,微服務總線應具備以下能力:

01

 服務交換能力


基于微服務架構的數據調度,實際是對數據資源的細粒度管理。因此,服務交換需要建設微服務總線實現服務交換功能。微服務總線在提供服務交換功能的同時,還需提供安全作用。微服務總線還需要將權限控制這些較重的非業務邏輯內容遷移到服務路由層面,使得服務集群主體能夠具備更高的可復用性和可測試性。


從實際應用中來看,微服務總線具有服務目錄、服務交互、服務路由的管理能力,在對外提供服務的時候,只需要通過開放微服務總線的地址就可以讓調用方統一的來訪問我們的服務,而不需要了解具體提供服務的主機信息。


 接口管控能力 

02


政務數據調度平臺核心能力除了包括服務交換外,還具備相應的管控手段。因此,需要充分的考慮管理員需要具備的對當前數據資源接口的管理和控制手段,使其可以對所有接口進行管控,進而提升數據資源的安全性。管控接口需要涉及統計信息與狀態、消息跟蹤,消息重新傳遞等功能。同時,為了保證系統的安全性以及可靠性,系統還提供警報機制以及故障切換功能。


03

 操作日志管控能力


微服務總線需提供服務管理日志、系統監控日志功能,用來分析和審計系統及事件日志的管理,能夠對全網范圍內的服務器、數據庫以及各種應用服務等產生的日志,進行全面收集和細致分析,通過統一的控制臺進行實時可視化的呈現。通過定義日志篩選規則和策略,幫助用戶從海量日志數據中精確查找關鍵有用的事件數據,準確定位故障并提前識別安全威脅,從而降低系統宕機時間、提升服務性能、保障服務的運行安全。


安全管理能力

04


微服務總線需要確保將正確的數據發送給正確的用戶。微服務總線需要保障數據的訪問安全,所以微服務總線須具備訪問控制、安全認證以及高可用服務功能。


05

 級聯管理能力


微服務總線可實行多級部署,在多級部署的形式下,依然要保證數據調度功能的統一性。所以為了實現數據資源的統一調度指揮,需要上級微服務總線具備通過級聯功能與下級微服務總線連接的功能,并且最終在上級微服務總線實現統一管控。


微服務總線的建設目的是接管標準接口,而數據區建設目的是建立標準接口。尤其是針對無法物理集中的系統和數據資源的原始數據,建立專門的數據區進行數據的分庫分表存儲。然后對數據接口進行二次封裝,實現交付規范化、標準化的訪問接口。分布式數據區的組件整合所有數據通道,并且針對數據庫服務、文件服務、消息服務、結構化數據服務進行底層數據目錄的原數據收集。因此數據區建設需具備以下能力:


01

數據接入方式多樣能力


政務系統的建設周期很長,因此政務系統中包含了各種各樣的數據形式,為了整合數據,完成對各類數據的收集工作。分布式數據區系統功能需要支持同步消息通道、異步消息通道、數據庫通道和文件通道,以滿足數據收集的需求。


整合相關聯數據能力 

02


政務數據管理或調度平臺一個非常重要的功能就是整合分散在各個單位的數據進行統一的對比分析,為政府工作提供更加精確的數據支撐。所以分布式數據區系統需要支持關系型數據庫的合庫合表,在創建分布式數據庫后,分布式數據區系統需要按照指定的鍵生成合庫合表規則,實現結構化數據整合。


03

優化數據庫讀寫性能能力


隨著數據訪問量的不斷提高。為了滿足進一步的查詢需求,需要進行分布式數據庫的讀寫分離,通過使用關系型數據庫,只讀實例或者備機實現讀寫分離,幫助應用解決事務、只讀實例、指定主備訪問等細節問題,對應用無侵入,在分布式數據區系統控制臺完成讀寫分離相關操作。


性能和容量的平滑擴展能力 

04


當分布式數據區的數量出現訪問量以及容量瓶頸時,分布式數據區系統作為底層性能支持工具,需要具備支持存儲容量和查詢性能的平滑擴展,并且擴容無需進行應用改造,擴容進度支持可視化跟蹤。


05

 指令集運維功能能力


提供運維人員對分布式數據區系統進行運維指令的發布,包括SHOW SLOW、TRACE、SHOW NODE 等指令,快速發現和定位問題,提高運維效率。


統一身份認證體系能力 

06


分布式數據區系統為了確保不同角色的賬號操作安全,需要支持統一的數據賬號和權限體系,提高數據接入的安全性。


07

 保證數據庫一致性能力


分布式數據區系統作為一個可以實現分布式數據庫功能的中間件系統,需要支持分布式事務,同時結合分布式事務套件GTS,保證分布式數據庫數據一致性。


數據庫監控和報警機制能力

08


分布式數據區系統作為數據采集端需支持對核心資源指標和數據庫實例指標的實時監控和報警。

關于國路安科技

- About GLA -

國路安科技公司成立于 2009 年,是一家專注于大數據領域,為政府、行業、企業提供數據整合共享平臺、配套產品研發、一體化解決方案的高新技術企業。總部設于西藏,在北京、上海、貴州等11個地區設有分支機構,目前已形成“兩個中心,七大區域平臺,多行業縱深發展”的全國性戰略布局。

國路安作為工信部“全國信標委大數據工作組”工作組成員之一,創新性的提出以“微服務架構+分布式數據區”為核心技術的數據整合共享解決方案,并將該方案以及相關產品、技術先后在某人力資源社會保障廳基礎支撐平臺建設、某省級數據交換平臺建設、某部委數據資產梳理等項目中獲得成功應用。

聯系我們
400-650-6380
郵箱
[email protected]
中国体彩七星彩走势图