無線邊緣聯邦學習初探

1、無線邊緣聯邦學習背景

隨著5G 時代的帶來，未來的無線系統將支持超密集的節點組成的邊緣節點[1]，包括基站的邊緣服務器和無線接入點、智能邊緣設備例如智能汽車和無人機等。邊緣計算被認為是5G 與工業互聯網、

物聯網等的重要結合點，能夠推動相關產業帶來飛躍性發展。與此同時，以深度學習為代表的人工智能技術的發展，新一代基礎設施的AI賦能，使得邊緣節點和終端設備具備了參與AI 計算與決策的能力（或稱“邊緣智能”）。

網聯汽車、物聯網等密集終端場景下，訓練數據通常以分布式的形式產生和存儲在不同用戶設備中。聯邦學習作為一種分布式機器學習框架，它允許用戶利用本地數據集進行模型的訓練，在訓練的過程中，數據本身不會離開用戶本地，共享的只是模型的參數改變量，從而保證了數據的安全性，預測效果也往往會好于每個聯邦用戶單獨訓練的模型。因此，在網絡邊緣利用聯邦學習，可以充分利用終端節點的計算資源，并能夠在保護用戶個人信息的前提下，進行更廣泛和高效的機器學習。

然而，將聯邦學習框架推向無線網絡邊緣絕非易事。無線網絡下非獨立正交和非均衡的用戶數據，異質和能量受限的設備、隱私與安全需求以及不穩定的通信條件，都使得高效的無線網絡邊緣聯邦計算成為挑戰。目前，無線網絡中的聯邦學習相關研究包括不同網絡環境下的聯邦學習性能分析與提升，隱私保護與安全增強的聯邦學習研究等。

2、無線邊緣聯邦學習現有研究

1）無線網絡下聯邦學習性能分析與提升研究

針對聯邦學習在無線網絡中的性能分析與提升，目前已有研究成果中對于網絡場景和限制的考慮包括：信道衰落[2,3]、噪聲影響[4]、大規模MIMO[5]、資源受限[6]、異構數據[7,8]等，對于聯邦學習性能的提升考慮包括計算或通信能量消耗[8,9]、模型收斂時間[4,10]、模型損失[11]、訓練效率[12]等。

2）隱私保護與安全增強的無線聯邦學習相關研究

投毒、模型反推理等攻擊的影響，從而導致模型準確率降低或隱私保護受損等，尤其是在無線網絡開放的環境中。然而，目前針對無線系統中聯邦學習的隱私保護與安全增強相關的研究相對較少。文獻[14]提出一種基于模擬信號的聯邦學習框架，利用無線信道本身的疊加特性，本地設備同時發送模擬信號來在差分隱私的要求限制下，實現訓練效率、模型收斂性和傳輸數據量之間的目標均衡。利用區塊鏈的可追溯和不可篡改等優勢，與分布式的聯邦學習相結合，可以很好的解決聯邦學習過程中網絡節點之間的不可信以及模型參數傳輸受損等問題，這一思路已經在一些研究成果中得到應用[15-17]。

3、基于區塊鏈和聯邦學習來實現隱私保護的電信數據共享

A. 基于區塊鏈的數據共享與提取

基于區塊鏈的電信索引與共享過程如所示，它的實現過程包括以下幾步：

初始化：首先，在許可鏈上數據提供方與數據服務方將被劃分在不同的組織，每個節點將會根據自己的角色在注冊時被分配距離相近的ID，以方便管理與查找。同時每個組織內根據參與節點的能力可以分為普通節點與高級節點，高級（審計或數據擁有方）節點可以進行對數據服務節點的管理、對數據請求和結果的緩存等。

數據索引與授權：當一個數據擁有方加入鏈時，首先對將要發布的電信數據或初始化的模型以及所要授權的應用場景發布授權聲明，其他節點收到授權聲明對此進行驗證，并在驗證后生成相應的數據索引記錄在鏈上，記錄內容包括數據擁有方的簡介、數據種類、文件類型、數據大小等。

當數據服務方注冊到許可鏈時，數據擁有方或高級節點通過確認數據服務方的資質或根據智能合約的內容，許可數據服務方的注冊。當數據服務方需要數據來進行聯邦學習或模型訓練時，數據服務方通過發起數據獲取請求，并在通過其他節點的驗證后獲取數據。所有的數據分享與獲取過程都會被以交易的形式記錄在塊上，如圖1所示。

4. 數據服務方根據合約的授權簽名和算法要求等，執行數據使用和計算，并可以將更新后的模 型參數進行發布。

5. 模型需求方（可能同時是數據提供方或電信運營商）也可以共享預置的訓練模型，或請求模型的更新。當其他節點接收到模型數據或該請求后，生成事件并記錄在塊。同時，臨近的電信服務方從區塊鏈上獲取請求以及其他服務方更新的模型參數，可以采用聯邦學習的方式參與模型的共同更新，直到模型參數的更新小于某個閾值為止。

B. 實現差分隱私的聯邦學習

當數據提供方之間只分享模型而不是原數據時，為了抵御模型推理攻擊，針對模型的訓練過程采用差分隱私的方式來進一步進行隱私保護。假設聯邦學習的目標是為了訓練一個全局模型 ，假設有 個參與方共同進行模型的訓練，記為 。將 利用原數據訓練的本地模型記為 ， 進行分享的本地模型記為 ， 將根據接收到的 和自己的本地數據進行模型的更新，并進一步廣播 。針對每個參與方 ，可以對訓練數據集 添加拉普拉斯噪聲來取得差分隱私，也可通對模型參數添加拉普拉斯噪聲，例如 ，其中 為數據集敏感度。

C. 模型訓練結果驗證的共識過程

數據和模型的分享需要共識機制的驗證過程。為了平衡開銷和安全性，我們提供了基于訓練結果驗證的共識過程。在共識過程中，驗證者將通過驗證模型推理結果精確度的方式實現對數據/模型共享過程的驗證。只有當模型的精確度大于一定的表現時，才被認為通過共識過程。

D. 安全分析

在面向人工智能應用的電信網絡中采用許可鏈的框架來進行數據的分享，并可在鏈上實現聯邦學習，可以實現以下安全與隱私保護能力。

實現差分隱私：根據差分隱私的性質可知，當對原數據實現差分隱私保護時，后處理的數據仍然可以滿足差分隱私特性。當對訓練之前的原數據進行差分隱私處理后，映射操作獨立于數據，而且且不會泄露任何個人信息，同時訓練后的模型將仍然滿足差分隱私特性。

保證共享數據的質量：不誠實的提供者可能共享無效數據，但通過PoT的方式，只有精確度超過一定閾值的模型才會被保留在塊上，從而實現了高質量的數據和模型分享。

安全的數據管理：數據提供方可以僅在許可鏈上廣播自己擁有的數據檢索和預置的模型，而只在本地存儲真實的數據。數據提供方在許可鏈上公開共享的數據，則是本身的隱私和安全要求比較低的數據，同時其余節點對數據的獲取過程將被作為事件記錄在塊上，從而保證了數據的安全流通。

參考文獻：

[1] G. Zhu, D. Liu, Y. Du, C. You, J. Zhang and K. Huang, "Toward an Intelligent Edge: Wireless Communication Meets Machine Learning," in IEEE Communications Magazine, vol. 58, no. 1, pp. 19-25, January 2020.

[2] Amiri M M, Gündüz D. Federated learning over wireless fading channels[J]. IEEE Transactions on Wireless Communications, 2020, 19(5): 3546-3557.

[3] Sery T, Cohen K. A Sequential Gradient-Based Multiple Access for Distributed Learning over Fading Channels[C]//2019 57th Annual Allerton Conference on Communication, Control, and Computing (Allerton). IEEE, 2019: 303-307.

[4] F. Ang, L. Chen, N. Zhao, Y. Chen, W. Wang and F. R. Yu, "Robust Federated Learning With Noisy Communication," in IEEE Transactions on Communications, early access.

[5] Vu T T, Ngo D T, Tran N H, et al. Cell-free massive MIMO for wireless federated learning[J]. IEEE Transactions on Wireless Communications, 2020, early access.

[6] S. Wang et al., "Adaptive Federated Learning in Resource Constrained Edge Computing Systems," in IEEE Journal on Selected Areas in Communications, vol. 37, no. 6, pp. 1205-1221, June 2019.

[7] J. Ahn, O. Simeone and J. Kang, "Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data," 2019 IEEE 30th Annual International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC), Istanbul, Turkey, 2019, pp. 1-6.

[8] J. Mills, J. Hu and G. Min, "Communication-Efficient Federated Learning for Wireless Edge Intelligence in IoT," in IEEE Internet of Things Journal, 2019, early access.

[9] Yang Z, Chen M, Saad W, et al. Energy Efficient Federated Learning Over Wireless Communication Networks[J]. arXiv preprint arXiv:1911.02417, 2019.

[10] Chen M, Poor H V, Saad W, et al. Convergence time optimization for federated learning over wireless networks[J]. arXiv preprint arXiv:2001.07845, 2020.

[11] M. Chen, Z. Yang, W. Saad, C. Yin, H. V. Poor and S. Cui, "Performance Optimization of Federated Learning over Wireless Networks," 2019 IEEE Global Communications Conference (GLOBECOM), Waikoloa, HI, USA, 2019, pp. 1-6

[12] Yang H H, Arafa A, Quek T Q S, et al. Age-based scheduling policy for federated learning in mobile edge networks[C]//ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020: 8743-8747.

[13] Kairouz P, McMahan H B, Avent B, et al. Advances and open problems in federated learning[J]. arXiv preprint arXiv:1912.04977, 2019.

[14] Seif M, Tandon R, Li M. Wireless Federated Learning with Local Differential Privacy[J]. arXiv preprint arXiv:2002.05151, 2020.

[15] Y. Lu, X. Huang, Y. Dai, S. Maharjan and Y. Zhang, "Differentially Private Asynchronous

Federated Learning for Mobile Edge Computing in Urban Informatics," in IEEE Transactions

on Industrial Informatics, vol. 16, no. 3, pp. 2134-2143, March 2020.

[16] Lu Y, Huang X, Zhang K, et al. Blockchain empowered asynchronous federated learning for secure data sharing in Internet of Vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4298-4311.

[17] J. Kang, Z. Xiong, D. Niyato, S. Xie and J. Zhang, "Incentive Mechanism for Reliable

Federated Learning: A Joint Optimization Approach to Combining Reputation and Contract

Theory," in IEEE Internet of Things Journal, vol. 6, no. 6, pp. 10700-10714, Dec. 2019.

區塊鏈 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。