重復人員數(shù)據(jù)(一列數(shù)據(jù)如何查找重復數(shù)據(jù))">怎么搜索一列重復人員數(shù)據(jù)(一列數(shù)據(jù)如何查找重復數(shù)據(jù))
646
2025-04-02
大數(shù)據(jù)時代,無論是信息化趨勢還是國家政策需要,各行各業(yè)都走向了云計算之路。目前國內(nèi)企業(yè)級用戶部署的文檔管理產(chǎn)品,主要有以下2種方式:一種是使用公有云文檔產(chǎn)品;另一種是將私有云產(chǎn)品部署在本地數(shù)據(jù)中心。
當用戶采用公有云方式時,一般對于用戶數(shù)據(jù)量以及安全性要求不高,比較適用于小型企業(yè);而對于中大型企業(yè)客戶,對數(shù)據(jù)和安全性要求較高,一般采用本地私有化部署的文檔管理平臺。然而,當把私有云產(chǎn)品部署在本地數(shù)據(jù)中心之后,卻碰到了以下幾個難題:
私有部署的文檔管理平臺,一般部署在總部數(shù)據(jù)中心。對于分支機構(gòu)來說,每次訪問文檔數(shù)據(jù)時,都需要遠程訪問總部數(shù)據(jù)節(jié)點;尤其是對于在外出差的員工,由于總部對外出口帶寬資源有限,導致訪問文檔速度非常慢。
對于數(shù)據(jù)安全性要求更高的企業(yè),一般會采用VPN方式,但是遠程訪問體驗非常差。
部分企業(yè)有可能借助于第三方CDN廠商來提供文檔訪問效率。由于文檔、視頻、圖片等文件時效性要求很高,只能采用CDN動態(tài)加速方式,但是卻導致頻繁的回源請求,流量成本非常高。
因此,如何解決跨區(qū)域型集團企業(yè)、垂直行業(yè)內(nèi)文檔數(shù)據(jù)快速訪問是國內(nèi)IT建設(shè)面臨的新課題。在一些大型集團、企業(yè)組織機構(gòu)眾多,人員往來頻繁,跨區(qū)域共建共享需求迫切的背景下,愛數(shù)提出了“一種基于內(nèi)容分發(fā)機制的企業(yè)級跨區(qū)域文檔快速訪問方法”。該方式能夠在多地域(機房)同時部署多個節(jié)點的文檔服務器,這些分布式在各地的文檔服務器組成一個虛擬文件服務器集群,統(tǒng)一對外提文檔訪問服務,并且每個地域(機房)的文檔服務器之間定期同步熱點數(shù)據(jù),在不過多占用網(wǎng)絡帶寬的前提下提高文檔數(shù)據(jù)訪問效率。
一、 跨區(qū)域部署方案概覽
AnyShare跨區(qū)域部署解決方案提供了一種基于內(nèi)容分發(fā)機制的企業(yè)級跨區(qū)域文檔快速訪問方法,能夠以最經(jīng)濟的方式滿足跨區(qū)域文檔訪問。
在“多地域同時登陸,網(wǎng)絡帶寬有限”的前提下,AnyShare滿足文檔數(shù)據(jù)快速訪問。如下圖所示,AnyShare支持在多個地域部署多套文檔服務器,每個地域的文檔服務器自帶一個反向代理服務與緩存服務器節(jié)點,這些跨區(qū)域的文檔服務器之間組成一個虛擬文件服務器集群。
圖1:跨區(qū)域部署示意圖
為了節(jié)約網(wǎng)絡帶寬資源,這些分布在各個地域的文檔服務器之間默認沒有文檔數(shù)據(jù)交換,終端用戶默認訪問本地域的文檔服務器中數(shù)據(jù),當本地域文檔服務器中不存在時,訪問反向代理服務中數(shù)據(jù),若此時反向代理服務中也不存在時,則遠程訪問目標地域服務器中的文檔數(shù)據(jù),同時該地域的反向代理服務器自動將該文檔數(shù)據(jù)推送至其他地域反向代理服務器。
二、跨區(qū)域訪問實現(xiàn)流程
1.??? 終端用戶數(shù)據(jù)請求:普通用戶訪問文檔數(shù)據(jù)時,系統(tǒng)自動將將該用戶的請求定向到該用戶所屬地域的文檔服務器節(jié)點。
2.??? 文檔訪問請求查詢:當前請求到達本地域文檔服務器時,首先查詢本地域文檔服務器中是否包含用戶所需的文件,若存在則直接返回給用戶;若不存在,則轉(zhuǎn)向本地反向代理服務器進行請求查詢。若本地反向代理服務器存在,則返回給用戶;若不存在,則向中心區(qū)域管理服務器進行請求。
3.??? 數(shù)據(jù)回源:中心區(qū)域管理服務器根據(jù)請求文件的“地域”屬性信息,將用戶請求重定向至文件所在的地域文檔服務器。
4.??? 數(shù)據(jù)download:從該文件歸屬地的服務器中download至該歸屬地的緩存服務器。
5.??? 數(shù)據(jù)分發(fā):文檔從該歸屬地的反向代理服務器分發(fā)至各個地域的反向代理服務器,再由反向代理服務器轉(zhuǎn)存至本地緩存服務器。
6.??? 文件返回:當用戶請求的文件分發(fā)至用戶歸宿地的反向代理服務器時,將系統(tǒng)自動將該用戶請求轉(zhuǎn)至該反向代理服務器,由反向代理服務器將數(shù)據(jù)返回給終端用戶。
三、跨區(qū)域部署方案價值
文件數(shù)據(jù)就近存儲:
由于企業(yè)級客戶網(wǎng)絡帶寬有限的實際現(xiàn)況,不可能實現(xiàn)數(shù)據(jù)在各個地域文檔服務器中實時同步,因此在AnyShare技術(shù)方案中增加了“地域”這個屬性參數(shù)。用戶隸屬于某個地域,而且用戶產(chǎn)生的文檔也有“地域”這個屬性值。
各個地域的文檔服務器默認彼此之間沒有文檔數(shù)據(jù)交換,彼此之間僅同步元數(shù)據(jù)信息以及用戶數(shù)據(jù)信息,以保證分散在各個地域的用戶所能夠看到的文件視圖是相同的。?????? 某個地域的用戶產(chǎn)生的文件數(shù)據(jù)就近存放在該用戶所在地的文件服務器中。在各分支結(jié)構(gòu)中,各個地域內(nèi)部之間數(shù)據(jù)訪問以及交互的場景占據(jù)了絕大多數(shù)比例,僅有少量的業(yè)務數(shù)據(jù)需要跨地域訪問。因此,這種數(shù)據(jù)就近訪問的方式,特別適用于網(wǎng)絡帶寬較小的應用場景。當用戶需要訪問其他地域數(shù)據(jù)時,首先沖向訪問本地域反向代理服務器。
文檔系統(tǒng)節(jié)點無狀態(tài):
在發(fā)生服務器異常、網(wǎng)絡中斷時,AnyShare技術(shù)方案通過虛擬集群內(nèi)部文檔服務器無狀態(tài)化,保證某地域節(jié)點異常時,所屬用戶依然能夠訪問文檔數(shù)據(jù)。
文檔元數(shù)據(jù)信息以及用戶數(shù)據(jù),以中心區(qū)域的管理服務器為主模塊。各個地域的文檔服務器,將新產(chǎn)生的元數(shù)據(jù)信息與用戶數(shù)據(jù),實時同步至中心區(qū)域的管理服務器或其他地域的文檔管理服務器。通過這種方式保證各個地域的用戶能夠“看到”相同的用戶信息與文檔信息。
當其中一個地域文檔服務器(包括中心文檔服務器)宕機時,該區(qū)域內(nèi)的用戶訪問請求將重新定向至臨近的文檔服務器,保證用戶依然可以訪問其他區(qū)域的文檔數(shù)據(jù),而不會因為中心文檔服務器宕機導致整個集群無法訪問。
熱點數(shù)據(jù)跨地域分發(fā):
由于企業(yè)網(wǎng)絡帶寬資源有限,各個地域的文檔服務器默認沒有文檔數(shù)據(jù)同步,文檔數(shù)據(jù)僅存放在上傳文檔的用戶所在地域的文檔服務器中。由于大多數(shù)用戶訪問本區(qū)域內(nèi)的文檔情況較多,因而跨地域download數(shù)據(jù)的場景較少發(fā)生。
為了減少跨地域的數(shù)據(jù)訪問,每個地域的文檔服務器會部署反向代理服務器和緩存服務器。當該地域內(nèi)的用戶第一次跨區(qū)域訪問文檔時,反向代理服務器自動緩存該文檔,并且分發(fā)至其他地域的緩存服務器(系統(tǒng)默認該數(shù)據(jù)為熱點數(shù)據(jù),并且根據(jù)規(guī)則反向代理服務器定期清理過期的熱點數(shù)據(jù)),后續(xù)其他地域用戶訪問該文檔時,部署在各個地域的反向代理服務器直接返回給文檔數(shù)據(jù),而不需要每次直接回源獲取數(shù)據(jù)。
企業(yè)應用 存儲
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。