Federated Learning with Non-IID Data

Federated Learning with Non-IID Data

IID: 獨立同分布 (idependently and identically distributed, IID)

論文鏈接

Abstract

聯合學習使資源受限的邊緣計算設備（例如移動電話和IoT設備）能夠學習共享的預測模型，同時將訓練數據保持在本地。這種去中心化的訓練模型方法提供了隱私，安全性，監管和經濟利益。在這項工作中，我們專注于本地數據為非IID時聯邦學習的統計挑戰。我們首先顯示出，對于高度偏斜的非IID數據進行訓練的神經網絡（每個客戶端設備僅在單個數據類別上進行訓練），聯邦學習的準確性顯著降低了約55％。我們進一步表明，這種精度降低可以用重量差異來解釋，重量差異可以通過每個設備上各個類別的分布與人口分布之間的推土機距離（EMD）進行量化。作為解決方案，我們提出了一種策略，可通過創建在所有邊緣設備之間全局共享的一小部分數據來改善對非IID數據的訓練。實驗表明，對于僅包含5％全局共享數據的CIFAR-10數據集，其準確性可以提高?30％。

5 Conclusion

聯合學習將在分布式機器學習中扮演關鍵角色，在分布式機器學習中，數據隱私至關重要。不幸的是，如果每個邊緣設備看到唯一的數據分布，模型訓練的質量就會下降。在這項工作中，我們首先表明，對于使用高度偏斜的非IID數據訓練的神經網絡，聯邦學習的準確性顯著降低了約55％。我們進一步表明，這種精度降低可以用重量差異來解釋，重量差異可以通過每個設備上各個類別的分布與人口分布之間的推土機距離（EMD）進行量化。作為解決方案，我們提出了一種策略，可通過創建在所有邊緣設備之間全局共享的一小部分數據來改善對非IID數據的訓練。實驗表明，對于僅包含5％全局共享數據的CIFAR-10數據集，其準確性可以提高?30％。要使聯邦學習成為主流，仍然存在許多挑戰，但是改進非IID數據的模型訓練對于在此領域取得進展至關重要。

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。