machine learning setting where multiple entities (clients) collaborate in solving a machine learning problem, under the coordination of a central server or service provider. Each client’s raw data is stored locally and not exchanged or transferred; instead, focused updates intended for immediate aggregation are used to achieve the learning objective [Kairouz+, 2021] • 連合学習の最小構成要素 • 多数のクライアントがいて、それぞれローカルにデータを持っている • 中央サーバとやりとりをしつつ、グローバルモデルと呼ばれる機械学習モデルを学習する • データそのものはサーバに共有されず、そのデータを用いて更新されたモデルのみが共有される 11/23/2022 IBIS2022 チュートリアル | (c) 2022 OMRON SINIC X. All Rights Reserved. 5 サーバー(サービスプロバイダ)は 学習したいモデルを持っている クライアント(現場)はそれぞれ 学習のためのデータを持っている
the federated learning model is that it can provide a level of privacy to participating users through data minimization: the raw user data never leaves the device, and only updates to models (e.g., gradient updates) are sent to the central server. These model updates are more focused on the learning task at hand than is the raw data (i.e., they contain strictly no additional information about the user, and typically significantly less, compared to the raw data), and the individual updates only need to be held ephemerally by the server. [Kairouz+, 2021] • 一方で、厳密には連合学習=プライバシー保護された機械学習、ではない • クライアントごとのモデル更新にはプライベートな情報が含まれる • 様々なattack/defenseが研究されている 11/23/2022 IBIS2022 チュートリアル | (c) 2022 OMRON SINIC X. All Rights Reserved. 52
(learning with single source) | MLP trained from scratch ▶ コードを公開中 https://github.com/omron-sinicx/multipolar 11/23/2022 IBIS2022 チュートリアル | (c) 2022 OMRON SINIC X. All Rights Reserved. 67