FedDG：在連續頻率空間中通過情景學習進行醫學圖像分割的聯合域泛化

摘要

論文地址：https://arxiv.org/pdf/2103.06030.pdf

聯邦學習使分布式醫療機構可 以共同學習具有隱私保護功能的共享預測模型。在進行臨床部署時，如果將聯合學習中訓練的模型應用于聯盟外部完全看不見的醫院，仍然會遭受性能下降的困擾。在本文中，我們指出并解決了聯邦域泛化（FedDG）的一種新的問題設置，其目的是從多個分布式源域中學習聯邦模型，使其可以直接推廣到看不見的目標域。 我們提出了一種新穎的方法，稱為連續頻率空間的情節學習（ELCFS），通過使每個客戶端都能在數據分散的挑戰性約束下利用多源數據分布來解決此問題。 我們的方法通過有效的連續頻率空間插值機制以保護隱私的方式在客戶端之間傳輸分發信息。 通過轉移的多源分布，我們進一步精心設計了一個面向邊界的情節學習范例，以使本地學習暴露于域分布變化，并特別滿足醫學圖像分割場景中模型泛化的挑戰。 相對于最新技術和兩項醫學圖像分割任務的深度消融實驗，我們的方法具有優越的性能，證明了其有效性。該代碼位于https://github.com/liuquande/FedDG-ELCFS。

1、簡介

越來越需要跨多個醫療機構的數據協作，以建立準確且健壯的數據驅動的深度網絡，以進行醫學圖像分割[7、18、50]。 聯邦學習（FL）[20]最近為有前途的隱私保護解決方案打開了大門，該解決方案允許在分布式數據集上訓練模型，同時將數據保留在本地。 該范例的工作方式是每個本地客戶（例如醫院）從他們自己的數據中學習，并且僅在中央服務器上以一定頻率匯總模型參數以生成全局模型。 在聯合培訓期間，所有數據樣本都保存在每個本地客戶端中。 盡管FL見證了醫學圖像分割任務的一些試驗性進展[4，44，49]，但是所有現有的工作都只專注于提高內部客戶的模型性能，而忽略了模型可推廣性到聯盟外部未見域上的情況。 這是一個關鍵問題，阻礙了FL模型在實際中的廣泛應用。 由于成像掃描儀和協議的變化，在看不見的醫院中遇到的測試醫學圖像在數據分布方面可能與源客戶有很大不同。 在這樣的分布變化下如何推廣聯邦模型是技術上的挑戰，但至今尚未探索。 在這項工作中，我們確定了聯邦域泛化（FedDG）的新問題設置，其目的是從多個分散的源域中學習聯邦模型，以便可以直接將其推廣到完全看不見的域，如圖1（a）所示。

圖1.

（a）聯邦域泛化（FedDG）的新問題設置，其目的是從多個分散的源域中學習聯邦模型，以便可以直接推廣到完全看不見的目標域。

（b）解決FedDG的主要思想是通過在每個本地客戶處傳遞頻率空間中的分布信息和情景學習。

看不見的領域一般化（DG）是一個活躍的研究主題，正在提出各種方法[3，8，11，24,25，26，29，37，43]，但是具有分布式數據源的聯合范式給新的挑戰帶來了挑戰。 DG 為了提取對分布偏移具有魯棒性的表示，現有的DG方法通常需要在學習過程中訪問多源分布。 例如，對抗特征對齊方法[26，29]必須用來自不同源數據集的樣本訓練域鑒別器。 基于元學習的方法[8，24]需要使用不同分布的多源數據在每個小批量生產中構建虛擬訓練和虛擬測試域。 而在聯邦范式中，數據是分布式存儲的，每個客戶端的學習只能訪問其本地數據。因此，當前的DG方法通常不適用于FedDG方案。 另外，局部優化將使模型偏向于其自身的數據分布，從而難以推廣到新的目標域。

為了解決這個FedDG問題，我們的見解是使每個客戶端都能夠以保護隱私的方式訪問多源數據分發。 這個想法是由以下知識所激發的：視覺心理物理學揭示了圖像的低級分布（即樣式）和高級語義可以分別通過頻率空間中的振幅和相位頻譜來捕獲[13，42，57]。 ?我們可以考慮在客戶端之間交換這些振幅頻譜以傳輸分布信息（參見圖1（b）），同時將相位頻譜保持核心語義在本地進行隱私保護。 基于此，我們還設計了一種連續的頻率空間插值機制，該機制可以在本地分布和已傳輸分布之間進行插值，以豐富每個本地客戶端的已建立多域分布。 這促進了局部訓練，從而受益于專用的密集分布空間，從而獲得了領域不變性。 利用這些已建立的分布，我們通過情景訓練范式將局部學習暴露于域分布變化，以增強局部參數的可推廣性。 設計了一種新穎的元更新目標函數，以指導邊界區域的跨域優化。 對于醫學圖像分割應用而言，這尤其重要，因為醫學圖像分割應用中的泛化誤差通常來自解剖結構不明確邊界處的不精確預測。

我們的主要貢獻如下： ?我們解決了聯邦域泛化的新穎而實際的問題。據我們所知，這是提高聯邦模型在完全看不見的域上的可推廣性的第一項工作。 ?我們提出了一種隱私保護解決方案，通過跨客戶端的有效連續頻率空間插值機制來學習去中心化數據集下的泛化FL模型。 ?我們針對客戶的本地培訓提出了一種新穎的面向邊界的情節學習方案，該方案將本地優化暴露于域移位，并提高了模棱兩可的邊界區域的模型可推廣性。 ?我們對兩種典型的醫學圖像分割任務進行了廣泛的實驗，即視網膜眼底圖像分割（四個數據集）和前列腺MRI分割（六個數據集）。我們取得了超越最新技術的卓越性能，并且深入的分析實驗證明了我們方法的有效性。

2.相關工作

2.1、?醫學影像學中的聯合學習

聯邦學習[15、20、36、56]為多站點數據協作提供了一種有希望的隱私保護解決方案，該解決方案通過聚合每個本地客戶端的參數同時將數據保留在本地，從而從分散的數據集中開發了一個全局模型。 代表性的是，麥克馬漢（McMahan）等人。 [36]提出了一種流行的聯合平均算法，用于通信效率高的深度網絡聯合訓練。 借助隱私保護的優勢，FL最近在醫學圖像應用中引起了越來越多的興趣[4，18，22，27，45,49，51]。 Sheller等。 [49]是一項試點研究，旨在研究協作模型訓練而無需共享多部位腦腫瘤分割的患者數據。 后來，李等人。 [27]進一步比較了FL中的幾種權重共享策略，以減輕不同醫院之間數據不平衡的影響。但是，這些工作都集中在提高內部客戶的性能上，而沒有考慮到聯盟外部未見域的泛化問題，這對于廣泛的臨床可用性至關重要。 最新文獻研究了FL范式中無監督域自適應的相關問題[28，41]，而這些方法通常需要來自目標域的數據才能適應模型。 實際上，在模型部署之前從每個新醫院收集數據將非常耗時甚至不切實際。取而代之的是，我們解決的FedDG新問題設置旨在將聯邦模型直接推廣到完全看不見的域，而無需從目標域獲得先驗知識。

2.2、?域泛化

域泛化[5、9、12、14、43、47、58、59]旨在從多個源域學習模型，以便可以直接泛化到看不見的目標域。 在先前的努力中，一些方法旨在通過最小化多個源域之間的域差異來學習域不變表示[11、16、26、29、32、37、38、55]。 例如，Motiian等。 [37]利用對比損失來最小化來自相同類別但不同域的樣本之間的距離。 其他一些DG方法基于元學習，這是一種情節式訓練范例，通過在每次迭代中創建元訓練和元測試拆分來刺激域移位[1、8、24、30]。 Li等。 [30]采用元學習來學習輔助損失，該損失指導特征提取器學習更通用的特征。 但是，這些方法通常需要將多域數據集中在一個地方進行學習，這違反了具有分散數據集的聯合學習設置中的隱私保護。 還有其他一些方法可以通過操縱深度神經網絡體系結構[19、23、35]，利用自我監督信號[3、54]，設計訓練試探法[17、25]或進行數據擴充來應對DG。 [61]，這不需要數據集中化。 代表性地，Carlucci等。 [3]通過解決拼圖游戲，采用自我監督學習。張等。 [60]通過堆疊一系列轉換，在每個源域上進行了廣泛的數據擴充。這些方法在FL范式中應用時，可以有效地充當使用單個源域數據進行本地訓練的正則化方法，但幾乎不會利用跨域的豐富數據分布。 相反，我們的方法旨在在客戶端之間傳輸分發信息，以充分利用面向FedDG的多源分發。 我們還通過實驗將這些典型方法與FL條件下的這些典型方法進行了比較，并證明了其優異的性能。

3.方法

我們從聯邦域泛化的公式及其在醫學圖像分割場景中的挑戰開始。 然后，我們描述了在連續頻率空間（ELCFS）中提出的情景學習法，以明確解決這些挑戰。 該方法的概述如圖2所示。

3.1、聯合域泛化

前提：在FedDG中，我們將（X; Y）表示為任務的聯合圖像和標簽空間， 是參與聯合學習的K個分布式源域的集合。 每個域包含 的數據和標簽對，它們是從特定于域的分布 中采樣的。 FedDG的目標是學習模型 使用K個分布式源域，因此可以直接推廣到完全看不見的高性能測試域 。 標準聯合學習范例涉及中央服務器和K個本地客戶端之間的通信。 在每個聯邦回合t，每個客戶端k將從中央服務器接收相同的全局模型權重θ，并使用其本地數據 更新E個歷時的模型。 然后，中央服務器從所有客戶端收集局部參數 并將其聚合以更新全局模型。 重復此過程，直到全局模型收斂為止。 在這項工作中，我們考慮最流行的聯合平均算法（FedAvg）[36]，該算法將權重與每個局部數據集的大小成比例的局部參數進行聚合，以更新全局模型，即 ，其中 。 值得注意的是，我們的方法還可以靈活地合并到其他FL主干中。 挑戰：為了實現看不見的領域泛化的目標，期望建立一個模型來徹底研究多源數據分布，以追求其學習的潛在空間的領域不變性。 但是，特定醫學圖像分割方案中的聯合設置為此帶來了一些挑戰。 首先，FL中的多源數據是分布式存儲的，每個客戶端的學習只能訪問其單獨的本地分布，這限制了充分利用多源分布來學習可推廣的參 數。 其次，盡管FL合作了多源數據，但從不同臨床站點獲取的醫學圖像可能呈現出很大的異質性。 這導致協作數據集之間出現明顯的分布，這不足以確保更連續的分布空間中的域不變性，以在復雜的臨床環境中獲得良好的通用性。 第三，醫學解剖結構的結構通常在其邊界區域周圍表現出高度模糊性，這給以前的DG技術帶來了挑戰，而DG技術通常無法保證此類歧義區域中特征的區域不變性。

3.2、連續頻率空間插值

為了解決分散數據集的限制，我們解決方案的基礎是在客戶端之間交換分布信息，以便每個本地客戶端都可以訪問多源數據分布以學習通用參數。 考慮到禁止共享原始圖像，我們建議利用頻率空間中固有的信息，這可以將分發（即樣式）信息與原始圖像分開，以在客戶端之間共享而不會造成隱私泄露。 具體來說，給定第k個客戶端的樣本 （對于RGB圖像，C = 3，對于灰度圖像，C = 1），我們可以通過快速傅里葉變換獲得其頻率空間信號[39]。 ] 作為：

可以將該頻率空間信號 進一步分解為分別反映低電平分布（例如，風格）和振幅分布的振幅譜 和相位譜 。 圖像的高級語義（例如，對象）。 為了在各個客戶之間交換分配信息，我們首先構造一個分配銀行 ，其中每個 包含來自第k個客戶端的圖像的所有振幅譜，表示 的分布。 然后，該銀行就可以作為共享的分銷知識供所有客戶使用。

圖2.我們在連續頻率空間（ELCFS）中提出的情景學習概述。 通過連續的插值機制從頻率空間跨客戶端交換分布信息，使每個本地客戶端都可以訪問多源分布。 然后建立一個情景訓練范式，以使局部優化暴露于域移位，并進行顯式正則化，以促進模棱兩可的邊界區域的獨立于域的特征凝聚和分離，以提高可推廣性。

接下來，我們設計一個在頻率空間內的連續插值機制，旨在將多源分布信息傳輸到利用分布庫的本地客戶端。 如圖2的左側所示，給定客戶端k的局部圖像xk i，我們可以用分配庫A中的振幅頻譜替換其振幅頻譜的某些低頻分量，而其相位頻譜不受影響，以保持語義內容。結果，我們可以生成具有變換外觀的圖像，這些圖像表現出其他客戶的分布特征。更重要的是，我們不斷在本地數據的振幅譜和其他數據的傳遞的振幅譜之間進行插值 域。 通過這種方式，我們可以受益于專用的密集空間和平滑的分布變化，從而為每個本地客戶端豐富已建立的多域分布。 形式上，這是通過從分配庫中隨機采樣振幅譜項 (n k)，然后通過在 和 之間進行插值來合成新的振幅譜來實現的。令 為二元掩碼，它控制要交換的振幅譜內的低頻分量的比例，其中心區域的值為1，而0在其他地方。 將λ表示為調整由 和 貢獻的分布信息量的內插比，生成的新振幅譜相互作用分布為 本地客戶端k和外部客戶端n表示為：

在獲得內插的幅度譜 之后，我們將其與原始相位譜組合起來，以通過傅立葉逆變換 生成變換后的圖像，如下所示：

4.實驗

我們在兩種醫學圖像分割任務上廣泛評估了我們的方法，即在視網膜眼底圖像上進行視盤和杯狀分割[40]，以及在T2加權MRI上進行前列腺分割[31]。 我們首先與可以納入聯邦范例中的DG方法進行比較，然后提供深入的消融研究以分析我們的方法。

4.1、數據集和評估指標

我們采用來自公共數據集[52、10、40]的4個不同臨床中心的視網膜眼底圖像進行視盤和杯分割。為了進行預處理，我們將這些數據均勻地裁剪為800×800的磁盤區域，然后將裁剪區域的大小調整為384×384作為網絡輸入。我們進一步從公共數據集[2、21、31、33]劃分的6個不同數據源中收集前列腺T2加權MRI圖像，以進行前列腺MRI分割任務。對所有數據進行預處理，以使前列腺區域具有相似的視野，并在軸向平面中將其大小調整為384×384。然后，我們將數據分別歸一化為強度值的零均值和單位方差。請注意，對于這兩個任務，由于成像條件的變化，從不同臨床中心獲取的數據呈現出不同的分布。每個數據源的示例情況和樣本數量如圖3所示。在兩個任務中采用了隨機旋轉，縮放和翻轉的數據增強。為了進行評估，我們采用了兩個常用的指標：骰子系數（Dice）和Hausdorff距離（HD），分別對整個物體區域和表面形狀的分割結果進行定量評估。

4.2、實施細節

在聯合學習過程中，所有客戶都使用相同的超參數設置，并且使用Adam優化器對本地模型進行了訓練，批處理大小為5，Adam動量分別為0.9和0.99。元步長和學習率都設置為1e-3。頻率空間中的插值比λ在[0.0，1.0]內隨機采樣，我們將在消融研究中研究此參數。將超參數α根據經驗設置為0.01，以避免在變換后的圖像上出現偽像。對來自最后兩個反卷積層的激活圖進行插值和級聯，以提取邊界區域周圍的語義特征，并且將溫度參數τ憑經驗設置為0.05。在兩個任務中將權重γ設置為0.1和0.5，以平衡訓練目標的大小。當全局模型穩定收斂時，我們總共訓練了100輪聯邦回合，并且每個聯邦回合中的本地紀元E都設置為1。該框架由Pytorch庫實現，并在兩個NVIDIA TitanXp GPU上進行了訓練。

圖3.眼底圖像分割和前列腺MRI分割任務中每個數據源的示例案例和切片編號。

4.3、與DG方法的比較

實驗設置：在我們的實驗中，我們遵循領域通用化文獻中的實踐，采用了留一域的策略，即在K-1分布式源域上進行培訓，并在一個遺漏的看不見的目標域上進行測試。 這導致眼底圖像分割任務的四個通用設置和前列腺MRI分割任務的六個設置。

我們與沒有數據集中化并且可以并入聯邦范式的本地學習過程的最新技術DG方法進行了比較，包括：JiGen [3]一種有效的自我監督學習方法，可以通過以下方法學習一般表示形式： 解決拼圖游戲； BigAug [60]一種執行大量數據轉換以規范化通用表示學習的方法。 Epi-FCR [25]一種在域之間定期交換部分模型（分類器或特征提取器）以使模型學習暴露于域移位的方案； RSC [17]一種方法 會隨機丟棄主要功能以促進健壯的模型優化。 對于實施，我們遵循其公共代碼或書面文件，并在聯合設置中進行建立。 我們還將與基準設置進行比較，即使用基本FedAvg [36]算法學習全局模型，而無需使用任何泛化技術。

比較結果：表1給出了視網膜眼底分割的定量結果。我們看到，不同的DG方法可以比FedAvg或多或少地改善整體泛化性能。這歸因于它們對本地學習的正則化作用以提取一般表示。與這些方法相比，我們的ELCFS在Dice和 HD既可用于光盤分割，也可用于杯分割。這得益于我們的頻率空間插值機制，該機制向本地客戶端提供了多域分布。具體來說，對于其他DG方法，他們的本地學習仍然只能訪問單個分布，并且無法針對多樣化分布空間中的域不變性對特征進行正則化。相反，我們的方法使局部學習能夠充分利用多源分布的優勢，并顯著增強模糊邊界區域周圍特征的域不變性。此外，我們的ELCFS在所有看不見的域設置上都實現了對FedAvg的持續改進，Dice的整體性能提高了2.02％，HD的整體性能提高了2.86。相對邊緣的。我們的ELCFS在六個未見的站點中獲得最高的骰子，在大多數站點中獲得高清。總體而言，我們的方法將Dice的FedAvg值從85.57％提高到87.39％，將HD值從12.42提高到10.88，優于其他DG方法。圖4顯示了分割結果，其中有兩種情況來自于看不見的領域，無法完成每項任務。可以看出，我們的方法可以準確地分割結構并在未知分布的圖像中描繪邊界，而其他方法有時則無法做到。

圖4.對眼底圖像分割（上兩行）和前列腺MRI分割（下兩束）中不同方法的泛化結果進行定性比較。

4.4、我們方法的消融分析

我們進行消融研究，以研究關于ELCFS的四個關鍵問題：1）每個組件對模型性能的貢獻； 2）插值運算的好處和λ的選擇； 3）邊界區域周圍的語義特征空間如何受我們方法的影響，以及4）參與客戶的數量如何影響我們方法的效果。每個組成部分的貢獻：我們首先通過從我們的方法中將它們刪除以觀察模型性能，來驗證我們方法中兩個關鍵組成部分的影響，即連續頻率空間插值（CFSI）和邊界定向情境學習（BEL）。如圖5所示，

圖5.消融結果，以分析我們方法中兩個組件（即CFSI和BEL）的影響。

刪除這兩個部分中的任何一個都將導致針對這兩個任務在不同的看不見的域設置中的泛化性能下降。這是合理的，并且反映了這兩個組件如何對我們的方法的性能發揮互補作用，即CFSI生成的分布為學習BEL打下了基礎，而BEL則反過來為有效利用生成的分布提供了保證。連續插值在頻率空間中的重要性：為了分析ELCFS中連續插值機制的效果，我們使用t-SNE [34]來可視化眼底圖像分割中生成圖像的分布。如圖6（a）所示，

圖6.（a）可視化的t-SNE [34]，用于在本地客戶端（粉紅色點）嵌入原始眼底圖像以及來自不同客戶端（綠色，黃色和藍色點）的振幅頻譜的相應轉換圖像； （b）在不同的插值比λ設置下，采用固定值或在不同范圍內連續采樣（帶有三個獨立運行的誤差條）對光盤分割的綜合性能。

粉紅色的點表示客戶端的本地數據，其他點表示使用來自不同客戶端的幅度譜生成的轉換后的數據。似乎固定λ（左）將導致幾個不同的分布，而連續插值機制（右）可以平滑地橋接不同的分布以豐富已建立的多域分布。這促進了局部學習以在預定的密集分布空間中實現域不變性。 然后，我們分析選擇λ對模型性能的影響，為此，我們以0.0到1.0的固定值（步長為0.2）進行實驗，并在[0.0，0.5]，[0.5，1.0]范圍內進行連續采樣和[0.0，1.0]。如圖6（b）所示，與不傳輸任何分布信息（即λ= 0）相比，將λ> 0設置為固定值可以始終提高模型性能。此外，連續采樣可以進一步提高性能，并且[0.0，1.0]的采樣范圍可產生最佳結果，這反映出連續分布空間對于域泛化的好處。

圖7.（a）邊界相關特征和背景相關特征之間的余弦距離； （b）我們的方法在有或沒有面向邊界的元目標的情況下的泛化性能。

模棱兩可的邊界區域的可辨性：我們繪制了邊界相關特征和背景相關特征之間的余弦距離，即E [hi bd hi bg]，以分析邊界空間周圍的語義特征空間如何受到我們方法的影響。在圖7（a）中，兩條綠線分別表示從訓練源域中抽取的樣本的ELCFS和FedAvg基線中特征距離的增長。我們可以看到，ELCFS產生了更長的特征距離，表明邊界和周圍背景區域的特征可以在我們的方法中更好地分離。對于兩條黃線，樣本特征是從看不見的區域中繪制的。不出所料，該距離不如源域高，但是我們的方法也比FedAvg具有更高的裕度。我們還定量分析了Lboundary對模型性能的影響。從圖7（b）中可以看出，從元優化中刪除此目標會導致不同任務中的泛化性能出現一致的性能下降。 參與客戶數量的影響：我們進一步分析了當參加聯合學習的醫院數量不同時，我們的方法和FedAvg的泛化性能將受到怎樣的影響。

圖8.使用我們提出的方法和FedAvg，隨著參與客戶數量的增加，兩個看不見的前列腺數據集（即站點A和B）的泛化性能曲線。

圖8顯示了前列腺MRI分割的結果，其中，我們在兩個看不見的站點上展示了泛化結果，客戶數量從1逐漸增加到K ?1。正如預期的那樣，使用單源數據訓練的模型無法獲得良好的結果部署到看不見的域時。當更多的客戶參加聯合培訓時，泛化性能會提高，這是合理的，因為匯總來自多個來源的數據可以涵蓋更全面的數據分發。特別是，我們的ELCFS在具有不同客戶數量的所有泛化設置上始終優于FedAvg，這證明了我們的方法利用分布式數據源來增強聯合學習模型的泛化性的穩定有效性。

5.結論

我們提出了一種新的聯邦域一般化問題設置，并針對其提出了一種新穎的方法，該方法具有連續的頻率空間插值和面向邊界的情節學習方案。 在兩個重要的醫學圖像分割任務上證明了我們方法的卓越功效。 我們的解決方案為聯合學習打開了一扇門，使本地客戶端可以訪問多源分發而不會造成隱私泄露，這具有解決FL中遇到的其他問題（例如數據異質性）的巨大潛力。 所提出的用于鼓勵邊界描繪的學習方案通常還可以擴展到其他分割問題。

分布式 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。