<form id="tznrh"><form id="tznrh"><th id="tznrh"></th></form></form>

            數據流轉計算|數隨心動,沃趣QMatrix企業多云數據流計算平臺!

            發布時間:2020-06-01 | 信息來源: | 發布作者:沃趣科技




            數據,是流動的,

            你信或者不信,他一直就是!


            如果能跟蹤一條數據的流轉軌跡,從產生到最后的沉淀,到底經過了哪些系統,小編君相信這條線會是蜿蜒曲折的。


            曾幾何,我們的數據架構還非常簡潔,多個業務系統共享一套數據庫,交易事務和報表分析的界限還不是那么清晰,那時數據共享的效率是最高的,近些年隨著互聯網大數據,人工智能AI,萬物互聯各種業務場景的豐富,企業數據已經成幾何指數增長,有統計數據指出,人類近10年產生的數據量,遠超以前所有數據量的總和?,F今,出于性能擴展,安全隔離,容災備份等各種需求的考慮,數據架構可謂是環肥燕瘦,各有千秋!


            小編君在IT圈廝混多年,各種數據架構走馬觀花,也略有體驗,對于數據的流動共享帶來的業務價值,感觸良多,這里不談宏觀層面的道法儒,單就具體的業務場景,我可以分享下自己的看法。


            1 分布式數據庫的數據傳輸

            在集中式架構中,數據就地存儲,就地分析消費,稱得上100%的實時Ad-hoc Query,Oracle RAC結合硬件加速堪稱這一架構的典范,在TB數量級的聯機分析混合需求上還是可以滿足不少用戶的,最關鍵一點,節省了開發成本,讓用戶可以把精力放在業務實現上。但隨著數據規模的增加,為提升系統擴展性和可用性,逐漸采用分布式數據庫來承擔OLTP業務交易,數據一旦分片到物理主機,集中式查詢分析就是個問題,這批數據如何能夠快速,實時的傳輸到分析平臺,就成了個硬需求。


            2 外圍的數據消費升級

            前臺系統產生的交易數據,需要被多個下游系統消費,比如搜索引擎希望實時的build增量數據,提高準確性,或者緩存系統需要實時加載刷新,提升命中率,也許你可以說應用做緊耦合交數就好了,但現在業務開發的精力在業務,你沒法要求他在完成業務邏輯的時候,還記得同步好緩存和搜索,況且緊耦合也是現在不大推崇的架構模式。


            3 容災備份的需求升級

            單就數據庫這個場景,我們很容易想到Oracle DataGuard,MySQL Master/Slave,PostgreSQL復制,隨著分布式架構的引入,你會面臨做局部還是做整體的問題,這個變化是很微妙,也很有意思的,例如100臺MySQL分布式數據庫集群,同城異地做容災解決方案,用什么?很簡單,用Master/Slave,構建100條復制鏈路,做好自動化運維監控管理工具,處理好數據的延遲告警,不定期切換演練,這確實是實際可行的方案,但這是從DBA運維角度在解決問題,用戶會怎么看這個問題呢?對于他來說,100臺MySQL+路由中間件,構成了一個BigDB,這是一個整體,他不想再割裂成一個個分片去做這種緊耦合的局部同步,他的容災也不一定是嚴格對等的,主機房100臺MySQL服務器,備機房也許只需要70臺,一個機器堆幾個實例?一個實例堆幾個schema db?不在BigDB層面做解耦,這個需求實現起來是很痛苦的,如果有一條超級數據傳輸管道,銜接主備機房的兩套BigDB,這個問題會得到很大緩解。


            4 多云環境下的數據交互
            云是穩定的,但不總是!有時候雞蛋不想放在一個籃子里,或者出于企業數據監管的要求,用戶會想到多云,小編君也有一個設想,能否主庫在阿里云,備庫在騰訊云,安全性可以提升一個量級,但這個已經遠超技術架構的范疇。所以能夠有一個管道應用,打通多云間的數據通道,讓用戶在上云下云時,不為數據的傳輸而煩惱,是非常有價值的。

            5 大環境的變化

            中美貿易戰,華為中興的技術封鎖,數據庫翹楚Oracle在國內大規模裁員,這些事情湊在一起,著實對國內IT圈產生了不小的影響。天下苦秦久矣,小編君一直認為,隨著商業數據庫市場逐步被蠶食,以后數據信息的存儲一定是多元化的,數據基礎架構也會進入諸侯紛爭的混沌時代,如今來了一劑催化劑,這個過程一定會加快,未來各種異構數據平臺的共存會是個常態,平臺間的的數據流動,更是個常態。


            上述需求,從單體細節看,都有解決方案,各不相同,但從長遠規劃看,企業需要有一個數據總線,他可以作為數據核心樞紐,整合參差不齊的數據傳輸需求,統一數據接口。json/xml很大程度的意義在于讓他讓各個系統用普通話來交流,界面整齊劃一,數據總線的建立,也有這層的含義,這是一種數據交互語義上的優雅與簡潔。





            小編所在的公司沃趣科技,致力于提供全棧式的數據庫解決方案,已經累計服務客戶500+,我們經過自己不斷的思考與總結,也結合了客戶的實際業務場景,研發出了QMatrix數據傳輸平臺,并且已經在國內最大的省級電信公司上線,在其核心系統去IOE的過程中,承載了客戶中心、結算中心、賬務中心、CPC、充值中心,數據稽核、數據直采等十四大業務系統的數據流轉,同時也實現了其同城異地雙中心的數據傳輸同步。這里可以給大家分享介紹下我們對QMatrix建立的一些心得和想法。


            1 平臺性能

            性能就像口袋里的銅子兒,沒人會嫌多,平臺的意義在于實現數據的匯聚和共享,如果平臺本身是瓶頸,他就失去了意義,很多用戶不愿意做這種集中式的數據匯聚,就是擔心他只是個正確的想法,而不是個落地的現實,好在我們現在的數據基礎架構已經發生了不少由量到質的革新,很多以前認為無法逾越的障礙,現在已經不是問題。這就像在早期,大家都認為手機看視頻是件很扯的事情,網速太慢,體驗極差,但隨著移動4G的普及,基礎設施的改善,現在已經是件理所當然的事,所以小編君的思路是做架構一定是以發展的眼光來物色你手里的積木。經過實際測試,QMatrix自身輕松支持億級日活數據的寫入,這為數據的匯聚提供了有力性能保障。


            2 平臺靈活度

            在引入分布式架構后,數據的傳輸關系會變得錯綜復雜,絕非以前的表對表單線模式,例如一張業務表可能實際對應了128個分片實體表,但是業務是不去關心底層復雜的實體表邏輯的,我們在數據傳輸中也需要做到對業務是統一的業務表,對平臺是128張實體分片表,另外由于對接的下游數據中心較多,每個中心對數據的取數邏輯都不盡相同,平臺需要對匯聚的數據再做分流,每個數據流還要具備一定的邏輯轉換能力。目前QMatrix已經可以支持可配置化的數據匯聚/分離策略,包括可外掛的數據轉換邏輯定義,最大限度的滿足業務需求。


            3 平臺的連接范圍

            前面已經說過,數據架構以后會是多元化的,所以數據傳輸平臺必須能夠連接更多的數據架構,這個連接不僅僅只是功能上的連通,你還需要適配每個數據架構自身的特性,比如對于分布式的MySQL,由于已經是均勻的數據分片,每張實體表的數據不會太多,我們只需要考慮表級別的并發就可以滿足性能需求,而Oracle是集中式的老架構,單張表就有上億的數據規模,這個時候你得考慮單表內部的數據分片,使用PK范圍,還是基于Oracle ROWID的物理范圍,包括全量/增量的事務一致性處理方式,都是不一樣的,所以連接是一個長期持續的細致活,平臺要想成為正真的數據管道,這一步是少不了的,目前QMatrix已經對接了Oracle/MySQL/PostgreSQL / SQLServer / Kafka / HBase/Hive / HDFS 等多個平臺及外圍工具,小編君也知道這還遠遠不夠,路漫漫,修遠兮?。?!


            4 平臺的數據準確性

            數據經由你的平臺流轉到了其他地方,你怎么保證兩邊的數據是一致的?這個世界足夠復雜,當你不覆蓋所有細節時,就有足夠多的意外,所以一致性是相對的,我們需要在最大范圍內保證這個一致性,。QMatrix平臺已經自帶QCheckX校驗模塊,可以實現Oracle/MySQL/PostgreSQL/平面數據文件的動態靜態校驗,在配置模式上也最大程度滿足用戶實際需求,例如一個分布式MySQL集群和一個集中式Oracle數倉,我們只需一些簡單的配置組合,就可實現這種異構數據平臺的校驗。目前每天經由QCheckX校驗對比的數據高達150億,同時我們也研發支持了一鍵式錯誤結果repair功能,讓整體傳輸更穩健。




            最后的結語


            在這個紛繁蕪雜的信息世界中,數據的流通與共享,會產生更高的業務價值,企業不應該被具體的某項基礎架構束縛,甚至綁架,他們應該有更多選擇的權利,可以自由,靈活,開放的組織數據。借用一句廣告詞:


            我們不生產數據,我們只是數據的搬運工,選擇沃趣,數隨心動?。?!



            沃趣科技,讓客戶用上更好的數據庫技術!
            三分快3