[go: up one dir, main page]

TWI893189B - 用於聯合學習的方法、用戶端裝置及伺服器 - Google Patents

用於聯合學習的方法、用戶端裝置及伺服器

Info

Publication number
TWI893189B
TWI893189B TW110130251A TW110130251A TWI893189B TW I893189 B TWI893189 B TW I893189B TW 110130251 A TW110130251 A TW 110130251A TW 110130251 A TW110130251 A TW 110130251A TW I893189 B TWI893189 B TW I893189B
Authority
TW
Taiwan
Prior art keywords
model
client
data
server
generate
Prior art date
Application number
TW110130251A
Other languages
English (en)
Other versions
TW202209197A (zh
Inventor
哈米 莫斯塔法 伊爾
正元 李
郝維托
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202209197A publication Critical patent/TW202209197A/zh
Application granted granted Critical
Publication of TWI893189B publication Critical patent/TWI893189B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明提供用於執行聯合學習的方法及裝置。全局模型自伺服器分佈至多個用戶端裝置。在多個用戶端裝置中的每一者處：對全局模型執行模型反演以產生合成資料；基於收集到的資料及合成資料的經過擴充的資料集全局模型以產生各別用戶端模型；以及將各別用戶端模型傳輸至伺服器。在伺服器處：自多個用戶端裝置接收用戶端模型，其中自多個用戶端裝置中的各別用戶端裝置接收每一用戶端模型；對每一用戶端模型執行模型反演以產生合成資料集；對用戶端模型取平均以產生平均模型；以及使用合成資料集來訓練平均模型以產生更新的模型。

Description

用於聯合學習的方法、用戶端裝置及伺服器
本發明大體上是關於機器學習方法，且更特定言之，是關於用於聯合學習的公平性改善的方法及裝置。
聯合學習為在資料因資料敏感度或隱私而被禁止離開局部用戶端裝置的域中利用的訓練範例。然而，在分佈式場景中，局部用戶端裝置可展現高的統計異質性(statistical heterogeneity)。尋求單個模型的許多聯合學習方法忽視針對主要資料分佈產生的偏差，此引發了公平性問題。
若M個不同裝置或類別上的模型的效能(例如準確性)比相同裝置或類別上的另一模型的效能更為均勻，則將所述模型視為比另一模型更為公平。具體而言，當在M個類別或裝置上進行量測時，更公平的模型的效能的所得方差小於另一模型的效能的所得方差。
藉由保持每一局部用戶端裝置上的使用者資料且僅與全局伺服器共用模型更新，聯合學習可使得能夠以隱私保留方式在異質性分佈網路上訓練機器學習模型。伺服器藉由取局部用戶端模型的加權平均值來產生平均模型。在產生平均值時，目標是使 在以下等式(1)中所闡述的以下目標函數最小化：
其中F k (w)：=E x ~D k [f k (w；x_k)]為局部目標函數，N為裝置或用戶端的數目，且p k 0為每一裝置的權重。
用戶端裝置的資料分佈的統計異質性為聯合學習的挑戰。當聯合學習集中於學習單個全局模型時，由於局部用戶端模型可顯著地改變，因此所述聯合學習通常經受模型的散度的影響。
根據一個實施例，提供一種用於在用戶端裝置處執行聯合學習的方法。用戶端裝置自伺服器接收全局模型。用戶端裝置對全局模型執行模型反演以針對全局模型中的一或多個類別的資料產生合成資料。用戶端裝置用合成資料對用戶端裝置的資料集中的收集到的資料進行擴充以產生經過擴充的資料集，所述經過擴充的資料集與所述資料集相比在類別之間具有更均勻的資料分佈。用戶端裝置基於經過擴充的資料集來訓練全局模型以產生用戶端模型。用戶端裝置將用戶端模型自用戶端裝置傳輸至伺服器。
根據一個實施例，提供一種用於在伺服器處執行聯合學習的方法。伺服器將全局模型自伺服器分佈至多個用戶端裝置。伺服器自多個用戶端裝置接收用戶端模型。自多個用戶端裝置中的各別用戶端裝置接收每一用戶端模型。伺服器對每一用戶端模型執行模型反演以針對每一用戶端模型產生合成資料。伺服器使用來自用戶端模型的合成資料來產生合成資料集。伺服器對用戶 端模型取平均以產生平均模型。伺服器使用合成資料集來訓練平均模型以產生更新的全局模型。
根據一個實施例，提供一種用於執行聯合學習的用戶端裝置。用戶端裝置包含處理器及儲存指令的非暫時性電腦可讀儲存媒體。所述指令在被執行時使處理器自伺服器接收全局模型及對全局模型執行模型反演以針對全局模型中的一或多個類別的資料產生合成資料。所述指令亦使處理器用合成資料對用戶端裝置的資料集中的收集到的資料進行擴充以產生經過擴充的資料集，所述經過擴充的資料集與所述資料集相比在類別之間具有更均勻的資料分佈。所述指令進一步使處理器基於經過擴充的資料集來訓練全局模型以產生用戶端模型及將用戶端模型傳輸至伺服器。
根據一個實施例，提供一種用於執行聯合學習的伺服器。伺服器包含處理器及儲存指令的非暫時性電腦可讀儲存媒體。所述指令在被執行時使處理器將全局模型分佈至多個用戶端裝置且自多個用戶端裝置接收用戶端模型。自多個用戶端裝置中的各別用戶端裝置接收每一用戶端模型。所述指令亦使處理器對每一用戶端模型執行模型反演以針對每一用戶端模型產生合成資料且使用來自用戶端模型的合成資料來產生合成資料集。所述指令進一步使處理器對用戶端模型取平均以產生平均模型且使用合成資料集訓練平均模型以產生更新的全局模型。
102:聯合伺服器
202、204、206、208、210、212、302、304、306、308、310、312:步驟
400:網路環境
401:電子裝置
402、404:外部電子裝置
408:伺服器
420:處理器
421:主處理器
423:輔助處理器
430:記憶體
432:揮發性記憶體
434:非揮發性記憶體
436:內部記憶體
438:外部記憶體
440:程式
442:作業系統
444:中間軟體
446:應用程式
450:輸入裝置
455:聲音輸出裝置
460:顯示裝置
470:音訊模組
476:感測器模組
477:介面
478:連接端子
479:觸覺模組
480:相機模組
488:功率管理模組
489:電池
490:通信模組
492:無線通信模組
494:有線通信模組
496:用戶識別模組
497:天線模組
498:第一網路
499:第二網路
本揭露的某些實施例的以上及其他態樣、特徵以及優點將根據以下結合隨附圖式所進行的詳細描述而更加顯而易見，在 隨附圖式中：圖1為示出根據一個實施例的聯合學習系統的圖。
圖2為示出根據一個實施例的用於使用零樣本資料產生(zero-shot data-generation；ZSDG)進行的局部節點處的聯合模型反演(federated model inversion at local nodes；FMIL)的方法的流程圖。
圖3為示出根據一個實施例的用於使用ZSDG進行的聯合伺服器處的局部模型反演(local model inversion at federated server；LMIF)的方法的流程圖。
圖4為根據一個實施例的網路環境中的電子裝置的方塊圖。
在下文中，參考隨附圖式詳細地描述本揭露的實施例。應注意，相同元件將由相同附圖標號指明，但其繪示於不同圖式中。在以下描述中，提供諸如詳細組態及組件的具體細節僅僅是為了輔助對本揭露的實施例的整體理解。因此，對於所屬領域中具有通常知識者而言應顯而易見，可在不脫離本揭露的範疇的情況下對本文中所描述的實施例進行各種改變以及修改。此外，出於清楚及簡明起見，省略對熟知功能及構造的描述。下文所描述的術語為考慮到本揭露中的功能而定義的術語，且可根據使用者、使用者的意圖或習慣而不同。因此，應基於貫穿本說明書的內容來判定術語的定義。
本揭露可具有各種修改以及各種實施例，下文參考隨附圖式詳細地描述所述各種實施例當中的實施例。然而，應理解， 本揭露並不限於實施例，而是包含在本揭露的範疇內的所有修改、等效物以及替代例。
儘管包含諸如第一、第二等的序數的術語可用於描述各種元件，但結構元件並不受所述術語限制。術語僅用於將一個元件與另一元件區分開。舉例而言，在不脫離本揭露的範疇的情況下，可將第一結構元件稱為第二結構元件。類似地，亦可將第二結構元件稱為第一結構元件。如本文中所使用，術語「及/或」包含一或多個相關聯項目中的任何及所有組合。
本文中所使用的術語僅用於描述本揭露的各種實施例，但不意欲限制本揭露。除非上下文另外明確地指示，否則單數形式意欲包含複數形式。在本揭露中，應理解，術語「包含」或「具有」指示特徵、數目、步驟、操作、結構元件、部分或其組合的存在，且並不排除一或多個其他特徵、數字、步驟、操作、結構元件、部分或其組合的存在或添加的可能性。
除非以不同方式定義，否則本文中所使用的所有術語具有與本揭露所屬的領域中具有通常知識者所理解的含義相同的含義。除非在本揭露中明確定義，否則諸如一般使用的辭典中所定義的術語的術語應被解釋為具有與相關技術領域中的內容相關含義相同的含義，且不應被解釋為具有理想或過度形式化含義。
根據一個實施例的電子裝置可為各種類型的電子裝置中的一者。電子裝置可包含例如攜帶型通信裝置(例如智慧型手機)、電腦、攜帶型多媒體裝置、攜帶型醫療裝置、相機、可穿戴式裝置或家用電器。根據本揭露的一個實施例，電子裝置不限於上文所描述的電子裝置。
本揭露中所使用的術語並不意欲限制本揭露，而是意欲包含對應實施例的各種改變、等效物或替代。關於對隨附圖式的描述，類似附圖標號可用於指代類似元件或相關元件。除非相關上下文另外明確指示，否則對應於項目的名詞的單數形式可包含事物中的一或多者。如本文中所使用，諸如「A或B」、「A及B中的至少一者」、「A或B中的至少一者」、「A、B或C」、「A、B以及C中的至少一者」以及「A、B或C中的至少一者」的此類片語中的每一者可包含在片語中的對應一者中共同列舉的項目的所有可能組合。如本文中所使用，諸如「第1」、「第2」、「第一」以及「第二」的術語可用於將對應組件與另一組件區分開，但並不意欲限制其他態樣(例如重要性或次序)中的組件。意欲在具有或不具有術語「以操作方式」或「以通信方式」的情況下，若將元件(例如第一元件)稱為「與」另一元件(例如第二元件)「耦接/耦合」、「耦接/耦合至」另一元件、「與」另一元件「連接」或「連接至」另一元件，則指示所述元件可與所述另一元件直接(例如有線)、無線或經由第三元件耦接/耦合。
如本文中所使用，術語「模組」可包含實施於硬體、軟體或韌體中的單元，且可互換地與其他術語一起使用，所述其他術語諸如(例如)「邏輯」、「邏輯塊」、「部分」以及「電路系統」。模組可為適用於執行一或多個功能的單個一體式組件，或其最小單元或部分。舉例而言，根據一個實施例，模組可以特殊應用積體電路(application-specific integrated circuit；ASIC)的形式實施。
聯合學習為以分佈式方式將模型擬合至具有資料的場景的訓練範例。圖1為示出根據實施例的聯合學習系統的圖。聯合 伺服器102將全局模型分佈至用戶端裝置。用戶端裝置將具有局部更新的用戶端模型返回至聯合伺服器，同時保持其局部資料。
儘管模型可維持跨用戶端裝置的可接受的平均效能，但模型對單獨用戶端裝置的效能可改變。舉例而言，當收集到的資料朝向大部分組或類別偏斜時，與不足類別的資料相比，模型易於對此類類別的資料達成較佳效能。因此，聯合學習演算法可產生具有高平均效能而且在跨不同用戶端裝置的效能方面具有高方差的模型。
如本文中所使用，術語「收集到的資料」通常可指正在處理的資料。收集到的資料無需為經由正在進行處理的裝置的感測器捕獲到的資料。收集到的資料可能已經歷了一些處理。
不公平或高效能方差是由偏斜的收集到的資料分佈引起。在本文中，提供降低分佈訓練/收集到的資料內的偏差以便訓練更公平的模型的平均方法。所述方法用ZSDG(亦即，在不明確共用資料的情況下的資料擴充)解決用於聯合學習的統計異質性，且跨不同用戶端裝置達成更公平的模型。
本揭露的實施例提供對不足的資料分佈採用ZSDG來降低統計異質性的聯合學習方法。此促進了跨聯合網路中的用戶端裝置的更均勻的效能準確性。此類方法同時改善準確性及公平性。
提供第一方法以改善經由FMIL的聯合學習的公平性，其中用戶端裝置(例如局部節點)對自聯合伺服器遞送的全局模型執行模型反演。因此，即使不共用其他用戶端裝置的訓練資料，亦在用戶端裝置處導出資料。
提供第二方法以改善經由LMIF的聯合學習的公平性，其 中聯合伺服器對接收到的用戶端模型執行模型反演以產生合成資料，且藉此產生在聯合伺服器處待用於額外訓練步驟中的平衡的資料集。因此，即使不共用用戶端裝置的訓練資料，亦在伺服器處導出資料。
根據第二方法，亦可將用戶端裝置訓練為與聯合伺服器的層統計資料匹配，從而假設聯合伺服器已使用例如LMIF提供了公平模型。此防止用戶端裝置過度偏重於其自身資料。
根據第一方法及第二方法兩者，藉由在不存取實際訓練資料的情況下自經過訓練的模型產生假資料或合成資料來執行在無資料的情況下的模型反演。每一資料樣本具有類別標籤。
在模型反演的第一實施例中，將模型M設置為含有L個層的神經網路。為簡單起見，假設模型M具有L個批次正規化(batch normalization；BN)層，且將在第i BN層之前的激活表示為zi。
在正向傳播期間，zi由在第i BN層中參數化的平均值μi及方差σi正規化。應注意，在給定預先訓練的模型M的情況下，儲存且可存取所有BN層的BN統計資料。因此，為了產生與儲存於BN層中的BN統計資料及給定目標類別最佳匹配的假輸入，最佳化問題可如以下等式(2)中所闡述一般進行求解。
為了對等式(2)求解，模型參數為固定的，且藉由梯度下降來更新來自隨機樣本的輸入。由於輸入重構不需要訓練資料，因此將其稱為ZSDG。由於預先訓練的模型M為固定的，因此所 產生的假輸入的視覺品質高度地取決於M的效能。
在模型反演的另一實施例中，將產生器訓練為使用無資料對抗性知識蒸餾來產生合成資料。用對抗性損失訓練產生器以迫使產生器生成合成資料，此以與針對自參考網路(教師)至另一網路(學生)的知識蒸餾的收集到的資料(例如實際資料或原始資料)類似的方式執行。將產生器訓練為迫使其合成資料生成與儲存於用收集到的資料預先訓練的參考模型中的BN統計資料匹配的統計資料。亦將產生器訓練成使得其合成影像自參考預先訓練網路生成較小分類熵及高批次分類熵。條件產生器可用於產生對應於特定標籤的資料。
根據提供以改善經由FMIL的聯合學習的公平性的實施例，用戶端裝置(例如局部節點)藉由使由聯合伺服器遞送的模型反演來導出資料。此所產生的資料用於資料擴充以改善局部用戶端模型的訓練。
在本文中，將(x；y)設置為實際局部訓練輸入/標籤對，且將(；)設置為所產生的合成資料(例如假資料)。為了降低統計異質性，每一用戶端裝置藉由針對具有不足的收集到的資料的類別合成資料來擴充其訓練集。
具體而言，伺服器將模型M分佈至每一用戶端裝置，且用戶端裝置藉由反覆所有可能的來執行ZSDG以產生，從而使得局部訓練能夠基於更平衡的資料集。舉例而言，若(x i ,y i )為用於第i用戶端裝置的資料，且(；)為在第i用戶端裝置處產生的合成資料，則第i用戶端裝置將使用經過擴充的資料[(x i ,y i )；(；)]。在局部訓練之後，用戶端裝置將更新的模型M返回至伺服器以供 彙總。
每一用戶端裝置具有其自身的訓練/收集到的資料(x i ,y i )的集合(所述集合具有不同統計特性)，且在每一用戶端處產生的合成資料(；)由於在模型反演過程中影像產生的隨機性而不相同。
圖2為示出根據實施例的用於使用ZSDG進行的FMIL的方法的流程圖。為簡化描述，移除對應於資料元素x的標籤y。
在202處，在通信回合t中，聯合伺服器將聯合全局模型M f,t-1分佈至用戶端裝置S t 的子集。在204處，用戶端裝置S t 的子集中的每一用戶端裝置i藉由對聯合全局模型M f 執行模型反演(例如藉由使用影像蒸餾或ZSDG)以針對所述聯合全局模型中的所有類別或為收集到的資料不足的類別的子集產生合成資料。在206處，每一用戶端i用合成資料對其收集到的資料x i 進行擴充以便產生經過擴充的資料集{x i , } t ，所述經過擴充的資料集{x i , } t 在聯合全局模型M f 的類別之間具有比收集到的資料x i 更均勻的分佈。
一般而言，在辨別資料集是否在類別之間具有更均勻的分佈時，將資料集中的類別的頻率分佈用作度量。若類別分佈接近離散均勻分佈，則資料集為更均勻的。舉例而言，若資料集的大小(例如標記為資料集點的數目)為S且存在N個類別，則資料集在針對N個類別中的每一者存在S/N個標記點的情況下為均勻的。
在208處，每一用戶端裝置i基於其經過擴充的資料集來訓練聯合全局模型M f,t-1，且產生更新的用戶端模型。在210處，每一用戶端i將更新的用戶端模型傳輸至聯合伺服器。在 212處，聯合伺服器使用加權平均值來對自用戶端裝置S t 的子集接收到的用戶端模型取平均值，且產生可重新分佈至用戶端裝置的新聯合平均模型，從而將方法返回至202。
在測試與FMIL相關的方法時，伺服器可在每一通信回合期間選擇100個用戶端的分數C=0：1，其中T=100個總回合。每一所選擇的用戶端可用小批次量B=10在E=5個局部曆元內訓練其自身的模型。每一用戶端具有至多2個類別的影像，且每一類別含有250個影像。在第80回合開始，可啟動ZSDG以用於局部訓練。每一經過擴充的類別的量為64。在資料擴充聯合學習之後，測試最終彙總模型且獲得在所有用戶端上的測試準確性及方差。與標準聯合平均模型相比，FMIL方法的最終彙總模型具有更高的測試準確性及更小的方差(更具公平性)。具體而言，同時改善了效能及公平性。
當用戶端裝置具有足夠的計算及儲存複雜度時，諸如(例如)當用戶端為不具有對來自其他醫院的資料的存取權但對學習此類資料具有興趣的醫院時，可適當地利用與FMIL相關的方法。
根據提供以改善經由LMIF的聯合學習的公平性的實施例，在聯合伺服器處使自局部節點遞送的模型反演以導出合成資料。此所產生的合成資料由聯合伺服器用於改善局部用戶端模型的組合或模型平均過程。
對局部用戶端裝置的約束包含有限計算資源及儲存容量，其可限制上文相對於FMIL所描述的資料擴充的應用。另外，第i用戶端裝置可更關注其自身的收集到的資料(x i ,y i )的模型效能，而非對所有資料起作用的一般模型。因此，在此實施例中， 在聯合伺服器端提出ZSDG及聯合學習。
具體而言，聯合伺服器將聯合全局(平均)模型M分佈至每一用戶端裝置。每一用戶端裝置i使用其收集到的局部資料(x i ,y i )來訓練聯合全局模型M。每一用戶端裝置i將更新的模型Mi返回至聯合伺服器。伺服器針對每一更新的模型Mi執行ZSDG以便針對每一用戶端i產生合成資料，且以平衡方式混合合成資料。伺服器使用平均演算法將新接收到的模型彙總為更新的平均聯合模型。伺服器微調平均模型的權重，以便經由用混合式合成資料的訓練產生公平的聯合模型。
根據另一實施例，伺服器在接收到的用戶端模型上運行平均演算法以產生第一平均聯合模型。伺服器自第一平均聯合模型產生合成資料(例如假資料)。伺服器基於所產生的合成資料來評估第一平均聯合模型，且判定不足類別。伺服器自其第一平均聯合模型為不足類別產生更多的資料，且將另外產生的合成資料與先前資料混合，從而產生在不足類別方面具有更多樣本的資料集。伺服器使用新產生的資料來微調其第一平均模型。
與用戶端裝置端上的資料擴充(FMIL)相比，伺服器端上的擴充(LMIF)避免局部裝置上的計算及儲存限制。此外，每一用戶端裝置自相同初始化點更新接收到的模型，從而在整體上促進公平的模型效能。
圖3為示出根據實施例的用於使用ZSDG進行的LMIF的方法的流程圖。
在302處，在通信回合t中，聯合伺服器將聯合全局模型M f,t-1分佈至用戶端S t 的子集。在304處，用戶端S t 的子集中的每一 用戶端i基於其真資料{x i } t 來訓練聯合全局模型M f,t-1，且產生更新的用戶端模型。在306處，每一用戶端i將其更新的用戶端模型傳輸至聯合伺服器。
在308處，聯合伺服器對每一接收到的用戶端模型執行模型反演，且產生合成資料以便產生在聯合全局模型M f 的類別之間具有均勻分佈的平衡的合成聯合資料集。在另一實施例中，若伺服器具有用戶端資料分佈的先驗知識，則伺服器可產生偏斜資料集以補償不足類別。
如上文所描述，若類別分佈接近離散均勻分佈，則資料集在類別之間具有更均勻的分佈。舉例而言，若資料集的大小(例如標記為資料集點的數目)為S且存在N個類別，則資料集在針對N個類別中的每一者存在S/N個標記點的情況下為均勻的。
在310處，聯合伺服器使用加權平均值來對接收到的用戶端模型取平均。在另一實施例中，聯合伺服器自其第一平均聯合模型為不足類別形式產生更多的資料，使得資料集具有不足類別的更多樣本。在又一實施例中，聯合伺服器用自先前聯合訓練曆元產生的資料對其資料集進行擴充。
在312處，伺服器基於平衡的合成聯合資料集來訓練或微調平均聯合模型，以便產生更新的聯合模型M f,t 。隨後可藉由返回至302來將此更新的聯合模型重新分佈至用戶端裝置。
圖1(LMIF)及圖2(FMIL)的實施例可在相同的聯合學習曆元中或在交替的聯合學習曆元中同時執行。
當在伺服器端產生公平模型時，可改變局部用戶端裝置 (例如局部節點)處的訓練演算法，且可對訓練進行正則化，使得用戶端裝置處的模型權重的統計資料接近於聯合伺服器的模型權重的統計資料，從而假設聯合伺服器模型為更佳的或更公平的，藉此促進公平的局部模型。在實施例中，使用聯合模型的所儲存的BN統計資料。在另一實施例中，在每一訓練批次處針對輸入資料匹配第k用戶端模型及聯合模型f的第l層的統計資料。
更新第k使用者在訓練曆元(t+1)處的權重以使目標函數最小化，在所述目標函數中，F k (.)為主訓練目標，μ k,l 、μ f,l 分別為第k使用者及聯合模型的第l層的平均值(或儲存於其對應批次正規化層中的平均值)。類似地，σ k,l、σ f,l 分別為第k使用者及聯合模型的第l層的標準差或其對應BN層的標準差。目標函數闡述於以下等式(3)中。
因此，用戶端裝置在聯合模型處匹配統計資料，且隱含地假設聯合模型為公平的。此訓練過程可連同聯合伺服器處的LMIF一起部署於用戶端裝置處，此確保分佈至用戶端的聯合模型為公平的。
在另一實施例中，替代使平均值與方差之間的距離最小化(如上文所描述)，藉由使兩個高斯(Gaussian)分佈之間的KL散度最小化來使分佈之間的距離最小化，其中對應平均值及方差闡述於以下等式(4)中。
...(4)
圖4為根據一個實施例的網路環境中的電子裝置的方塊圖。相對於圖2的實施例，圖4的電子裝置401可體現為用戶端裝置，且圖4的伺服器408可體現為聯合伺服器。相對於圖3的實施例，電子裝置401可體現為聯合伺服器，且圖4的外部電子裝置402及外部電子裝置404可體現為用戶端裝置。
參看圖4，網路環境400中的電子裝置401可經由第一網路498(例如短程無線通信網路)與電子裝置402進行通信，或經由第二網路499(例如長程無線通信網路)與電子裝置404或伺服器408進行通信。電子裝置401可經由伺服器408與電子裝置404進行通信。電子裝置401可包含處理器420、記憶體430、輸入裝置450、聲音輸出裝置455、顯示裝置460、音訊模組470、感測器模組476、介面477、觸覺模組479、相機模組480、功率管理模組488、電池489、通信模組490、用戶識別模組(subscriber identification module；SIM)496或天線模組497。在一個實施例中，可自電子裝置401中省略組件中的至少一者(例如顯示裝置460或相機模組480)，或可將一或多個其他組件添加至電子裝置401。可將組件中的一些實施為單個積體電路(integrated circuit；IC)。舉例而言，可將感測器模組476(例如指紋感測器、虹膜感測器或照度感測器)嵌入於顯示裝置460(例如顯示器)中。
處理器420可執行例如軟體(例如程式440)以控制與處理器420耦接的電子裝置401的至少一個其他組件(例如硬體或軟體組件)，且可執行各種資料處理或計算。作為資料處理或計算的至少一部分，處理器420可在揮發性記憶體432中加載自另一 組件(例如感測器模組476或通信模組490)接收到的命令或資料，處理儲存於揮發性記憶體432中的命令或資料，且將所得資料儲存於非揮發性記憶體434中。處理器420可包含主處理器421(例如中央處理單元(central processing unit；CPU)或應用程式處理器(application processor；AP))及輔助處理器423(例如圖形處理單元(graphics processing unit；GPU)、影像訊號處理器(image signal processor；ISP)、感測器集線器處理器或通信處理器(communication processor；CP))，所述輔助處理器423可獨立於主處理器421操作或與主處理器421結合操作。另外或替代地，輔助處理器423可適用於消耗比主處理器421更少的功率，或執行特定功能。輔助處理器423可實施為與主處理器421分離，或實施為主處理器421的一部分。
輔助處理器423可在主處理器421處於非主動(例如休眠)狀態下時替代主處理器421或在主處理器421處於主動狀態(例如執行應用程式)下時與主處理器421一起控制與電子裝置401的組件當中的至少一個組件(例如顯示裝置460、感測器模組476或通信模組490)相關的功能或狀態中的至少一些。可將輔助處理器423(例如影像訊號處理器或通信處理器)實施為與輔助處理器423在功能上相關的另一組件(例如相機模組480或通信模組490)的部分。
記憶體430可儲存由電子裝置401的至少一個組件(例如處理器420或感測器模組476)使用的各種資料。各種資料可包含例如軟體(例如程式440)及用於與其相關的命令的輸入資料或輸出資料。記憶體430可包含揮發性記憶體432或非揮發性記憶 體434。
程式440可作為軟體儲存於記憶體430中，且可包含例如作業系統(operating system；OS)442、中間軟體444或應用程式446。
輸入裝置450可自電子裝置401的外部(例如使用者)接收待由電子裝置401的另一組件(例如處理器420)使用的命令或資料。輸入裝置450可包含例如麥克風、滑鼠或鍵盤。
聲音輸出裝置455可將聲音訊號輸出至電子裝置401的外部。聲音輸出裝置455可包含例如揚聲器或接收器。揚聲器可用於通用目的，諸如播放多媒體或記錄，且接收器可用於接收來電通話。接收器可實施為與揚聲器分離，或實施為揚聲器的一部分。
顯示裝置460可將資訊在視覺上提供至電子裝置401的外部(例如使用者)。顯示裝置460可包含例如顯示器、全息圖裝置或投影儀以及控制電路系統，以控制顯示器、全息圖裝置以及投影儀中的對應一者。顯示裝置460可包含適用於偵測觸摸的觸摸電路系統或適用於量測藉由觸摸引發的力的強度的感測器電路系統(例如壓力感測器)。
音訊模組470可將聲音轉換為電訊號，且反之亦然。音訊模組470可經由輸入裝置450獲得聲音，或經由聲音輸出裝置455或外部電子裝置402的頭戴式耳機輸出聲音，所述外部電子裝置402與電子裝置401直接(例如有線)或無線耦接。
感測器模組476可偵測電子裝置401的操作狀態(例如功率或溫度)或電子裝置401外部的環境狀態(例如使用者的狀 態)，且隨後產生對應於偵測到的狀態的電訊號或資料值。感測器模組476可包含例如手勢感測器、陀螺儀感測器、大氣壓感測器、磁感測器、加速度感測器、握持感測器、近接感測器、色彩感測器、紅外(infrared；IR)感測器、生物測定感測器、溫度感測器、濕度感測器或照度感測器。
介面477可支援待用於將與外部電子裝置402直接(例如有線)或無線耦接的電子裝置401的一或多個指定協定。介面477可包含例如高清晰度多媒體介面(high definition multimedia interface；HDMI)、通用串列匯流排(universal serial bus；USB)介面、安全數位(secure digital；SD)卡介面或音訊介面。
連接端子478可包含連接器，電子裝置401可經由所述連接器與外部電子裝置402實體地連接。連接端子478可包含例如HDMI連接器、USB連接器、SD卡連接器或音訊連接器(例如頭戴式耳機連接器)。
觸覺模組479可將電訊號轉換為機械刺激(例如振動或移動)或電刺激，所述機械刺激或電刺激可由使用者經由觸覺或運動感覺辨識。觸覺模組479可包含例如馬達、壓電元件或電刺激器。
相機模組480可捕獲靜態影像或移動影像。相機模組480可包含一或多個透鏡、影像感測器、影像訊號處理器或閃光燈。
功率管理模組488可管理供應至電子裝置401的功率。可將功率管理模組488實施為例如功率管理積體電路(power management integrated circuit；PMIC)的至少一部分。
電池489可將功率供應至電子裝置401的至少一個組 件。電池489可包含例如不可再充電的一次電池、可再充電的二次電池，或燃料電池。
通信模組490可支援在電子裝置401與外部電子裝置(例如電子裝置402、電子裝置404或伺服器408)之間建立直接(例如有線)通信通道或無線通信通道，且經由所建立的通信通道執行通信。通信模組490可包含可獨立於處理器420(例如AP)操作的一或多個通信處理器，且支援直接(例如有線)通信或無線通信。通信模組490可包含無線通信模組492(例如蜂巢式通信模組、短程無線通信模組或全球導航衛星系統(global navigation satellite system；GNSS)通信模組)或有線通信模組494(例如區域網路(local area network；LAN)通信模組或電源線通信(power line communication；PLC)模組)。此等通信模組中的對應一者可經由第一網路498(例如短程通信網路，諸如BluetoothTM、無線保真(wireless-fidelity；Wi-Fi)直連或紅外資料協會(Infrared Data Association；IrDA)的標準)或第二網路499(例如長程通信網路，諸如蜂巢式網路、網際網路或電腦網路(例如LAN或廣域網路(wide area network；WAN))與外部電子裝置進行通信。此等各種類型的通信模組可實施為單個組件(例如單個IC)，或可實施為彼此分離的多個組件(例如多個IC)。無線通信模組492可使用儲存於用戶識別模組496中的用戶資訊(例如國際行動用戶識別碼(international mobile subscriber identity；IMSI))在通信網路(諸如第一網路498或第二網路499)中識別及認證電子裝置401。
天線模組497可將訊號或功率傳輸至電子裝置401的外部(例如外部電子裝置)或自電子裝置401的外部接收訊號或功 率。天線模組497可包含一或多個天線，且可例如藉由通信模組490(例如無線通信模組492)自所述一或多個天線中選擇適合於通信網路(諸如第一網路498或第二網路499)中所使用的通信方案的至少一個天線。隨後可經由所選擇的至少一個天線在通信模組490與外部電子裝置之間傳輸或接收訊號或功率。
上文所描述的組件中的至少一些可相互耦接且在其間經由外圍間通信方案(例如匯流排、通用輸入及輸出(general purpose input and output；GPIO)、串列外圍介面(serial peripheral interface；SPI)或行動產業處理器介面(mobile industry processor interface；MIPI))傳送訊號(例如命令或資料)。
可經由與第二網路499耦接的伺服器408在電子裝置401與外部電子裝置404之間傳輸或接收命令或資料。電子裝置402及電子裝置404中的每一者可為與電子裝置401相同類型或不同類型的裝置。可在外部電子裝置402、外部電子裝置404或伺服器408中的一或多者處執行待在電子裝置401處執行的操作中的所有或一些。舉例而言，若電子裝置401應自動執行功能或服務或回應於來自使用者或另一裝置的請求而執行功能或服務，則替代執行功能或服務或除了執行功能或服務之外，電子裝置401可請求一或多個外部電子裝置以執行功能或服務的至少一部分。接收請求的一或多個外部電子裝置可執行所請求的功能或服務的至少一部分或與所述請求相關的額外功能或額外服務，且將執行的結果傳輸至電子裝置401。電子裝置401可在進一步處理結果或不進一步處理結果的情況下提供結果作為對請求的回覆的至少一部分。為此，可使用例如雲端計算、分佈式計算或主從式計算技術。
可將一個實施例實施為包含一或多個指令的軟體(例如程式440)，所述一或多個指令儲存於可由機器(例如電子裝置401)讀取的儲存媒體(例如內部記憶體436或外部記憶體438)中。舉例而言，電子裝置401的處理器可調用儲存於儲存媒體中的一或多個指令中的至少一者，且在處理器的控制下在使用一或多個其他組件或不使用一或多個其他組件的情況下執行所述一或多個指令中的至少一者。因此，機器可操作以根據所調用的至少一個指令來執行至少一個功能。一或多個指令可包含由編譯器產生的程式碼或可由解釋器執行的程式碼。機器可讀儲存媒體可以非暫時性儲存媒體的形式提供。術語「非暫時性」指示儲存媒體為有形裝置，且不包含訊號(例如電磁波)，但此術語不在資料半永久地儲存於儲存媒體中的情況與資料暫時地儲存於儲存媒體中的情況之間進行區分。
根據一個實施例，本揭露的方法可包含於且提供於電腦程式產品中。電腦程式產品可作為產品在賣方與買方之間交易。電腦程式產品可以機器可讀儲存媒體(例如緊密光碟唯讀記憶體(compact disc read only memory；CD-ROM))的形式分佈，或經由應用程式商店(例如Play StoreTM)在線分佈(例如下載或上傳)，或在兩個使用者裝置(例如智慧型手機)之間直接分佈。若在線分佈，則電腦程式產品的至少一部分可暫時地產生或至少暫時地儲存於機器可讀儲存媒體中，所述機器可讀儲存媒體諸如製造商的伺服器的記憶體、應用程式商店的伺服器或中繼伺服器。
根據一個實施例，上文所描述的組件中的每一組件(例如模組或程式)可包含單個實體或多個實體。可省略上文所描述 的組件中的一或多者，或可添加一或多個其他組件。替代地或另外，可將多個組件(例如模組或程式)整合至單個組件中。在此情況下，積體組件仍可以與在整合之前藉由多個組件中的對應一者執行多個組件中的每一者的一或多個功能相同或類似的方式來執行多個組件中的每一者的一或多個功能。藉由模組、程式或另一組件執行的操作可依序、並行、重複或探索式地進行，或操作中的一或多者可以不同次序執行或被省略，或可添加一或多個其他操作。
儘管已在本揭露的詳細描述中描述本揭露的某些實施例，但可在不脫離本揭露的範疇的情況下以各種形式修改本揭露。因此，不應僅僅基於所描述的實施例來判定本揭露的範疇，而是基於隨附申請專利範圍及其等效物來判定本揭露的範疇。
102:聯合伺服器

Claims (18)

  1. 一種用於在用戶端裝置處執行聯合學習的方法，所述方法包括：在所述用戶端裝置處自伺服器接收全局模型；對所述全局模型執行模型反演以針對所述全局模型中的一或多個類別的資料產生合成資料；用所述合成資料對所述用戶端裝置的資料集中的收集到的資料進行擴充以產生經過擴充的資料集；基於所述經過擴充的資料集來訓練所述全局模型以產生用戶端模型；以及將所述用戶端模型自所述用戶端裝置傳輸至所述伺服器。
  2. 如請求項1所述的方法，其中執行模型反演包括：針對所述全局模型中的所有類別的資料產生所述合成資料；或在所述收集到的資料不足時，針對所述全局模型中的所述一或多個類別的資料產生所述合成資料。
  3. 如請求項1所述的方法，其中執行模型反演包括對所述全局模型執行影像蒸餾及零樣本資料產生(ZSDG)中的至少一者。
  4. 如請求項1所述的方法，更包括：在所述用戶端裝置處自所述伺服器接收更新的全局模型，其中藉由在所述伺服器處對包含所傳輸的用戶端模型的多個用戶端模型取平均來產生所述更新的全局模型。
  5. 一種用於在伺服器處執行聯合學習的方法，所述方 法包括：將全局模型自所述伺服器分佈至多個用戶端裝置；自所述多個用戶端裝置接收用戶端模型，其中自所述多個用戶端裝置中的各別用戶端裝置接收每一用戶端模型；對每一用戶端模型執行模型反演以針對每一用戶端模型產生合成資料；使用來自所述用戶端模型的所述合成資料來產生合成資料集；對所述用戶端模型取平均以產生平均模型；以及使用所述合成資料集來訓練所述平均模型以產生更新的全局模型。
  6. 如請求項5所述的方法，其中藉由基於所述各別用戶端裝置的收集到的資料來訓練所述全局模型而產生每一用戶端模型。
  7. 如請求項6所述的方法，其中對每一用戶端裝置處的所述全局模型的訓練進行正則化，使得每一用戶端模型的統計資料在所述全局模型的統計資料的指定範圍內。
  8. 如請求項5所述的方法，其中所述合成資料集在所述全局模型的類別之間具有均勻的資料分佈，或在所述全局模型的所述類別之間具有偏斜的資料分佈以補償在所述用戶端模型的類別方面的收集到的資料不足。
  9. 如請求項5所述的方法，更包括用自先前訓練曆元產生的資料對所述合成資料集進行擴充。
  10. 一種用於執行聯合學習的用戶端裝置，所述用戶端 裝置包括：處理器；以及非暫時性電腦可讀儲存媒體，儲存指令，所述指令在被執行時使所述處理器進行以下操作：自伺服器接收全局模型；對所述全局模型執行模型反演以針對所述全局模型中的一或多個類別的資料產生合成資料；用所述合成資料對所述用戶端裝置的資料集中的收集到的資料進行擴充以產生經過擴充的資料集；基於所述經過擴充的資料集來訓練所述全局模型以產生用戶端模型；以及將所述用戶端模型傳輸至所述伺服器。
  11. 如請求項10所述的用戶端裝置，其中在執行模型反演時，所述指令使所述處理器進行以下操作：針對所述全局模型中的所有類別的資料產生所述合成資料；或在所述收集到的資料不足時，針對所述全局模型中的所述一或多個類別的資料產生所述合成資料。
  12. 如請求項10所述的用戶端裝置，其中在執行模型反演時，所述指令使所述處理器對所述全局模型執行影像蒸餾及零樣本資料產生(ZSDG)中的至少一者。
  13. 如請求項10所述的用戶端裝置，其中所述指令更使所述處理器進行以下操作：自所述伺服器接收更新的全局模型，其中藉由在所述伺服器 處對包含所傳輸的用戶端模型的多個用戶端模型取平均來產生所述更新的全局模型。
  14. 一種用於執行聯合學習的伺服器，所述伺服器包括：處理器；以及非暫時性電腦可讀儲存媒體，儲存指令，所述指令在被執行時使所述處理器進行以下操作：將全局模型分佈至多個用戶端裝置；自所述多個用戶端裝置接收用戶端模型，其中自所述多個用戶端裝置中的各別用戶端裝置接收每一用戶端模型；對每一用戶端模型執行模型反演以針對每一用戶端模型產生合成資料；使用來自所述用戶端模型的所述合成資料來產生合成資料集；對所述用戶端模型取平均以產生平均模型；以及使用所述合成資料集來訓練所述平均模型以產生更新的全局模型。
  15. 如請求項14所述的伺服器，其中藉由基於所述各別用戶端裝置的收集到的資料來訓練所述全局模型而產生每一用戶端模型。
  16. 如請求項15所述的伺服器，其中對每一用戶端裝置處的所述全局模型的訓練進行正則化，使得每一用戶端模型的統計資料在所述全局模型的統計資料的指定範圍內。
  17. 如請求項14所述的伺服器，其中所述合成資料集在所述全局模型的類別之間具有均勻的資料分佈，或在所述全局模 型的所述類別之間具有偏斜的資料分佈以補償在所述用戶端模型的類別方面的收集到的資料不足。
  18. 如請求項14所述的伺服器，其中所述指令更使所述處理器用自先前訓練曆元產生的資料對所述合成資料集進行擴充。
TW110130251A 2020-08-24 2021-08-17 用於聯合學習的方法、用戶端裝置及伺服器 TWI893189B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063069389P 2020-08-24 2020-08-24
US63/069,389 2020-08-24
US17/179,964 2021-02-19
US17/179,964 US12236370B2 (en) 2020-08-24 2021-02-19 Method and apparatus for federated learning

Publications (2)

Publication Number Publication Date
TW202209197A TW202209197A (zh) 2022-03-01
TWI893189B true TWI893189B (zh) 2025-08-11

Family

ID=80112865

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110130251A TWI893189B (zh) 2020-08-24 2021-08-17 用於聯合學習的方法、用戶端裝置及伺服器

Country Status (5)

Country Link
US (1) US12236370B2 (zh)
KR (1) KR20220025663A (zh)
CN (1) CN114091682A (zh)
DE (1) DE102021117005A1 (zh)
TW (1) TWI893189B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021001915T5 (de) * 2020-03-27 2023-01-26 Fujifilm Corporation System und verfahren für maschinelles lernen, integrationsserver, informationsverarbeitungsvorrichtung, programm und inferenzmodell-erzeugungsverfahren
US20220156574A1 (en) * 2020-11-19 2022-05-19 Kabushiki Kaisha Toshiba Methods and systems for remote training of a machine learning model
US12541963B2 (en) * 2021-11-16 2026-02-03 Samsung Electronics Co., Ltd. Method and device with neural network training and image processing
US12035256B2 (en) * 2021-12-07 2024-07-09 Qualcomm Incorporated Power control in over the air aggregation for federated learning
US12361690B2 (en) * 2021-12-08 2025-07-15 The Hong Kong University Of Science And Technology Random sampling consensus federated semi-supervised learning
US12118372B2 (en) * 2022-09-20 2024-10-15 Microsoft Technology Licensing, Llc App usage models with privacy protection
US12266434B2 (en) 2022-09-23 2025-04-01 Microsoft Technology Licensing, Llc System and method for inverse summarization of medical records with data augmentation and knowledge distillation
CN115511108B (zh) * 2022-09-27 2024-07-12 河南大学 一种基于数据集蒸馏的联邦学习个性化方法
CN115438753B (zh) * 2022-11-03 2023-01-06 电子科技大学 一种基于生成的衡量联邦学习协议数据安全性的方法
US20240163156A1 (en) * 2022-11-10 2024-05-16 Comcast Cable Communications, Llc Smart device ranking for performance monitoring
CN115660115A (zh) * 2022-11-11 2023-01-31 中国银联股份有限公司 一种联邦学习模型训练方法、装置、设备及存储介质
KR102897762B1 (ko) * 2022-11-30 2025-12-10 인하대학교 산학협력단 연합 학습을 위한 무선 계산에서 빔포밍 벡터와 학습률을 동시에 최적화하는 방법 및 장치
CN115965078B (zh) * 2022-12-07 2025-08-12 中南大学 分类预测模型训练方法、分类预测方法、设备及存储介质
WO2024162728A1 (ko) * 2023-01-30 2024-08-08 울산과학기술원 개인화된 연합 학습을 위한 메타 학습 장치 및 방법
CN116415633B (zh) * 2023-03-03 2026-01-09 深圳大学 用于数据统计异构的分布信息共享联邦学习方法、装置、电子设备及存储介质
CN116500935A (zh) * 2023-04-24 2023-07-28 东南大学 一种基于联邦学习室内蓝牙指纹定位的建筑能耗控制方法
US20240371521A1 (en) * 2023-05-05 2024-11-07 Nec Laboratories America, Inc. Federated imitation learning for medical decision making
KR102892152B1 (ko) * 2023-05-19 2025-11-26 가천대학교 산학협력단 연합학습을 통해 의료예측정보를 도출하는 모델을 학습시키는 방법 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체
KR102892154B1 (ko) * 2023-05-19 2025-11-26 가천대학교 산학협력단 Phr정보로부터 의료예측정보를 추론하는 방법 및 이를 수행하는 시스템, 컴퓨터-판독가능매체
KR102892156B1 (ko) * 2023-05-19 2025-11-26 가천대학교 산학협력단 연합학습에 필요한 의료데이터를 증강하는 방법 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체
KR20250036531A (ko) 2023-09-07 2025-03-14 숭실대학교산학협력단 연합학습 정보를 이용한 지식 증강 방법 및 장치
KR20250067475A (ko) 2023-11-08 2025-05-15 한성대학교 산학협력단 연합학습 수행 장치 및 방법
KR20250080283A (ko) 2023-11-28 2025-06-05 한성대학교 산학협력단 연합학습 수행 장치 및 방법
CN118378722B (zh) * 2024-06-21 2024-09-24 中南大学 一种面向数据多元异质场景下的聚类联邦学习方法
CN119785110B (zh) * 2024-12-30 2025-10-10 中国科学技术大学 一种基于模型反演与蒸馏的联邦学习图像识别方法
CN120124781B (zh) * 2025-05-13 2025-08-05 南京一目智能科技有限公司 基于联邦学习的边缘端模型更新方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340534A1 (en) * 2016-09-26 2019-11-07 Google Llc Communication Efficient Federated Learning
CN110674528A (zh) * 2019-09-20 2020-01-10 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111476376A (zh) * 2020-06-24 2020-07-31 支付宝(杭州)信息技术有限公司 联盟学习方法、联盟学习装置及联盟学习系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612368B2 (en) 2011-03-01 2013-12-17 International Business Machines Corporation Systems and methods for processing machine learning algorithms in a MapReduce environment
US9633315B2 (en) 2012-04-27 2017-04-25 Excalibur Ip, Llc Method and system for distributed machine learning
US20150324690A1 (en) 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
US9053124B1 (en) 2014-09-30 2015-06-09 Code 42 Software, Inc. System for a distributed file system element collection
US10755172B2 (en) 2016-06-22 2020-08-25 Massachusetts Institute Of Technology Secure training of multi-party deep neural network
MX2019000713A (es) * 2016-07-18 2019-11-28 Nant Holdings Ip Llc Sistemas, aparatos y metodos para maquina de aprendizaje distribuido.
US11403540B2 (en) 2017-08-11 2022-08-02 Google Llc On-device machine learning platform
CN108154721A (zh) 2017-11-24 2018-06-12 华南师范大学 一种协作学习系统及方法
US11475350B2 (en) 2018-01-22 2022-10-18 Google Llc Training user-level differentially private machine-learned models
WO2019219846A1 (en) * 2018-05-17 2019-11-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor
US11699080B2 (en) * 2018-09-14 2023-07-11 Cisco Technology, Inc. Communication efficient machine learning of data across multiple sites
US11620555B2 (en) * 2018-10-26 2023-04-04 Samsung Electronics Co., Ltd Method and apparatus for stochastic inference between multiple random variables via common representation
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110428058B (zh) * 2019-08-08 2024-04-26 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
CN111310819B (zh) * 2020-02-11 2021-07-09 深圳前海微众银行股份有限公司 数据筛选方法、装置、设备及可读存储介质
CN111553485A (zh) * 2020-04-30 2020-08-18 深圳前海微众银行股份有限公司 基于联邦学习模型的视图显示方法、装置、设备及介质
CN111553483B (zh) * 2020-04-30 2024-03-29 同盾控股有限公司 基于梯度压缩的联邦学习的方法、装置及系统
WO2021228404A1 (en) * 2020-05-15 2021-11-18 Huawei Technologies Co., Ltd. Generating high-dimensional, high utility synthetic data
US12033047B2 (en) * 2020-08-12 2024-07-09 International Business Machines Corporation Non-iterative federated learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340534A1 (en) * 2016-09-26 2019-11-07 Google Llc Communication Efficient Federated Learning
CN110674528A (zh) * 2019-09-20 2020-01-10 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111476376A (zh) * 2020-06-24 2020-07-31 支付宝(杭州)信息技术有限公司 联盟学习方法、联盟学习装置及联盟学习系统

Also Published As

Publication number Publication date
US20220058507A1 (en) 2022-02-24
CN114091682A (zh) 2022-02-25
TW202209197A (zh) 2022-03-01
KR20220025663A (ko) 2022-03-03
US12236370B2 (en) 2025-02-25
DE102021117005A1 (de) 2022-02-24

Similar Documents

Publication Publication Date Title
TWI893189B (zh) 用於聯合學習的方法、用戶端裝置及伺服器
TWI884303B (zh) 用於連續小樣本學習的方法以及使用者設備
US11706199B2 (en) Electronic device and method for generating attestation certificate based on fused key
US20220138633A1 (en) Method and apparatus for incremental learning
TWI813802B (zh) 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統
CN113228064A (zh) 用于个性化的机器学习模型的分布式训练
CN113435568A (zh) 计算机实施的用于训练神经网络的方法和电子系统
CN112448750B (zh) 用于为角度域稀疏信道提供信道恢复的系统和方法
US11113215B2 (en) Electronic device for scheduling a plurality of tasks and operating method thereof
US11442554B2 (en) Electronic device and method for recommending word in same
EP3738025B1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
CN112740208A (zh) 提供标识信息的装置及其系统
TW202445427A (zh) 用於對聯邦學習的機器學習模型的參數進行調整的方法和設備以及運算裝置
TWI843848B (zh) 用於語音增強的高斯加權自注意的方法以及系統
US20220092383A1 (en) System and method for post-training quantization of deep neural networks with per-channel quantization mode selection
US11172348B2 (en) Apparatus and method for controlling signal related to external device
TW202021291A (zh) 用於單連接天線陣列的類比波束成形的系統及方法
TW202137040A (zh) 無資料對抗式知識蒸餾的方法及系統
CN111884738B (zh) 用于提供增强参考信号接收功率估算的方法和装置
CN118862972A (zh) 用于处理自然语言处理任务的方法、计算装置和设备
CN121444396A (zh) 区块链网络中包括的电子设备及其操作方法