大數據“復活”記
669
2025-04-02
近期,各地疫情又一次席卷而來,居家隔離成為常態。不過,外出的不便并沒有阻擋莘莘學子求知的渴望,線上課堂成為了大多學生上課的主要形式。在北京郵電大學中,鄧芳老師、盧向群老師、杜軍平老師、肖晨老師等多名老師所帶的計算機學院和國際學院班級中的200多名學生就這樣在線開啟了本學期數據庫課程的學習。
《數據庫系統原理》是計算機科學與技術學科知識體系中信息管理領域的核心課程,也是計算機相關專業的核心專業課程。通過此課程的學習,學生可以深入了解數據庫系統的基礎理論和基本方法、數據庫管理系統的核心技術、數據庫應用系統設計開發過程、數據庫系統操作能力和應用系統設計開發能力,具有對數據庫技術領域復雜工程問題采用科學有效的方法進行研究的能力。本學期的《數據庫系統原理課程設計》是理論課的后續課程。
對學生來說,這更像是一篇畢業論文,因為從確定方向、系統設計、編碼、調試、編譯、發布,再調試、再學習......每個環節要不斷試錯、完善,才能完成。這是一場新的探索之旅,將滿腹所學皆應用于實踐。
校企聯合共促數據庫產業人才培養
所學皆所用,是學習的價值所在。為了讓學生們真正將理論應用到實踐中,北京郵電大學與華為展開了深入的合作。北京郵電大學是華為與教育部聯合建設產學育人“智能基座”項目中的其中一所高校,本著校企聯合、產學育人的目的,華為為學校提供教學課件、教學平臺等教學資源,并將企業在行業實際應用方面的經驗積累、打磨的產品提供給高校,通過雙方合作,培養更適用于數據庫行業的應用型人才。
應北京郵電大學鄧芳老師和盧向群老師的邀請,3月16日,華為云數據庫技術專家竇德明與北京郵電大學的眾多學生相約線上,進行了一次數據庫行業知識和技術的分享與交流,目的是讓高校的學生們在學習數據庫理論的同時,有機會了解數據庫行業發展的趨勢、動態、新技術探索以及商業環境中的實際應用,為未來有志于從事數據庫工作的學生開闊視野,提供實用性的參考和指引。
GaussDB走進課堂之數據庫行業洞察
數據庫是“根技術”,一直被譽為基礎軟件皇冠上的明珠。就像50年代核彈氫彈是高精尖,而在信息時代,信息產業的高精尖主要在基礎軟硬件的核心控制上,數據庫就是其中最重要的軟件。
從上世紀60年代至今,經歷了前關系型數據庫、關系型數據庫、后關系型數據庫三個階段。二十一世紀一零年代以來,隨著互聯網與云計算的發展,國產數據庫進入快速發展時期,越來越多的廠商在數據庫領域進行布局,隨之而來的是,數據庫相關的各類組織陸續成立,數據庫人才培養體系、生態體系也在快速完善。
(圖片來源:中國信通院發布《數據庫發展研究報告(2021年)》)
(圖片來源:中國信通院發布《數據庫發展研究報告(2021年)》)
根據中國信通院研究報告數據,2020年全球數據庫市場規模為671億美元,其中中國數據庫市場規模為35億美元(約合241億元人民幣),占全球5.2%。預計到2025年,全球數據庫市場規模將達到798億美元,而中國數據庫市場總規模將達到688億元,市場年復合增長率將達到(CAGR)為23.4%。
在數據庫發展如火如荼的時代下,上云已經成為數字化時代的一個新標志。從行業角度來說,云是數字化和新基建的關鍵要素。據預測,到2025年,85%的應用都將運行在云上。軟件云化的趨勢已經不可逆轉,基于云的軟件開發也將是未來軟件開發的主要形態。云計算也將是各位學子未來的主要職業通道。
和IDC或ECS自建數據庫相比,使用云數據庫可以節省大量的人力和成本,減少繁重和重復的運維工作,客戶可以將主要精力聚焦在自己的核心業務上。
基于對產業趨勢的理解和華為在IT軟硬件全棧的長期技術積累,華為云數據庫從人才、軟硬協同和生態三方面進行戰略布局。華為在數據庫領域持續研發投入已經有10多個年頭,布局全球7大研究所,擁有1000+數據庫專業人才;同時,華為積極擁抱開源,并將GaussDB(for openGauss)單機主備的核心代碼開源,托管到openGauss開源社區,真正做到架構開放、代碼開放、技術開放和社區開放;另外,積極推進產、學、研、用相結合,大力投入高校合作,通過校企聯合課程培養未來數據庫產業人才,與學術界緊密合作,共同開展數據庫前沿技術創新及難題公關。
GaussDB走進課堂之前沿技術探索
在介紹完數據庫行業趨勢后,竇德明向學生們介紹了華為云數據庫——GaussDB(for openGauss)的關鍵特性和核心技術。GaussDB(for openGauss)是基于openGauss開源生態打造的企業級分布式數據庫,服務于金融政企客戶。鄧芳老師上學期的數據庫課程隨堂實驗就是基于GaussDB(for openGauss)進行,讓學生可以專注于學習、實踐,學習和了解分布式數據庫架構與創新,提前體驗商業環境中的數據庫形態。在本學期,學生將繼續使用GaussDB(for openGauss)來進行數據庫課程的課程設計。
作為新一代金融級分布式數據庫,GaussDB(for openGauss)是華為全自研產品,應用了多項黑科技核心技術,擁有高性能、高可用、高擴展、高安全、AI-Native自治等諸多核心能力。
GaussDB當前已經在1500+金融政企客戶規模商用,成功支撐銀行核心業務完成系統分布式改造,助力華為消費者云實現智慧化業務運營......越來越多的金融政企客戶選擇華為云GaussDB作為數字化轉型的堅實數據底座。.
GaussDB課堂問答
兩個小時的時間,竇德明為北郵的學生們帶來了一場有聲有色的數據庫知識分享,同時還與學生積極互動,就學生關注的話題做了詳細解答,這里我們節選了部分問答:
“假定有一個Redis數據庫采用AOF作為持久化策略,設定每秒同步一次,如果在同步之前服務器突然宕機,那這一秒的數據改如何恢復呢?”
“內存中的數據如果已經寫入日志,但日志未寫入磁盤的話是恢復不了的。任何數據庫都有這個問題,即使跨區域容災的災備同步,也無法完全保證這種情況下的數據不丟失。”
“對于一些很重要的服務,如何提高數據的可靠性呢?”
“這個問題需要從架構上解決,有很多方案。一種是基于存儲級的高可靠,在存儲與存儲之間進行數據備份;一種是數據庫級的高可靠,比如華為云分布式數據庫支持多副本機制,把數據打散做分片,存儲在各個數據節點上,當A節點出現故障后B節點有分片數據,只要存在一個可用數據副本,數據庫的狀態就是正常的。”
“云原生數據庫、分布式數據庫和大數據技術的區別與聯系是什么?”
“這是三個不同的維度。云原生數據庫主要是和傳統數據庫進行區分的,傳統數據庫是客戶自己買服務器,自己建機房,硬件資源和數據庫只給自己用,就是我們通常所說的“私有云”,云原生數據庫是生于云、長于云,從一開始就是基于云的架構體系而孵化出來的數據庫,可以理解為面向公有云和混合云場景。分布式數據庫是和原來的單機主備數據庫進行區分的,比如Oracle、MySQL、DB2這些都是單機主備數據庫,數據庫實例到達一定數據規模時無法水平擴展,分布式數據庫是運用一些新技術,如大集群通信、計算存儲分離、數據重分布等實現計算節點、存儲節點的彈性擴縮容,解決數據庫的擴展性問題。大數據的概念比較泛,通常大家說的大數據是指Hadoop這套體系,比如Spark、Flink等,但遠不止這些,數據庫、數據倉庫、數據湖都是大數據領域的一部分,大數據是相對于傳統數據量比較小、數據還沒有爆發性增長時而言的,大數據更聚焦于把數據匯集到一起,進行海量數據的分析與挖掘。”
“什么叫CN互為主備?如何保證SQL請求只被單個CN節點獲取呢?”
“CN互為主備就是材料中寫的Active-Active,可以理解為斷連重連,比如CN 1出現故障, jdbc會自動路由連接CN 2,所有新的SQL請求會通過CN 2下發執行,已經由CN 1下發的SQL將失敗回滾。雖然應用連接配置的可能是多個CN,但一條SQL只能通過一個CN下發,只有這個CN故障后,這條SQL重新請求才會走到另外一個CN,以此保證SQL請求只被單個CN獲取。”
“老師,能不能直接在裸機上開發數據庫內核,繞過操作系統呢?”
“單純的數據庫內核編譯可以繞過操作系統,但調試、部署這些是繞不過的,因為數據庫底下就是操作系統,必須跑在操作系統上,還要解決不同操作系統的兼容性問題,所以是沒辦法繞過去的。”
從學生的互動中可以感受到,北京郵電大學數據庫課程的學生,不僅僅限于對數據庫課堂內容的學習,還對數據庫的可靠性、架構以及未來可能的創新點有進一步研究和探索。
數據庫是講究生態的產業,生態需要耐心持續的投入。一直以來,華為云GaussDB積極參與和推進產業生態,與高校、開發者、合作伙伴共建生態,并已與國內80+所院校建立起合作關系。未來,華為云GaussDB也將繼續攜手北京郵電大學以及更多高校,積極推進校企聯合,為學生們輸送更多行業前沿動態和技術探索,持續完善華為云GaussDB數據庫的人才培養體系,保障數據庫產業未來人才供給。
華為云數據庫團隊2023屆實習崗位已經開放,向想要步入數據庫行業的人才張開了懷抱。如果你對數據庫充滿熱愛和好奇,快來和我們一起探索代碼奧秘吧!
HR專員:zhaochao1@huawei.com
5G教育 GaussDB數據庫 云數據庫 GaussDB(for openGauss) 數據倉庫服務 GaussDB(DWS)
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。