對去中心式模型來說，梯度會傳送給鄰近節點或指定節點，梯度交換之前會先進行加密，確保梯度不會導致隱私洩漏。 在加密環節，以大陸Webank為首的聯邦學習研究團隊則經常介紹到「同態加密」(Homomorphic encryption)技術。 由於原始數據無須離開參與訓練的設備，聯邦優化方法在分布式學習的基礎上大幅度提高了隱私保護的力度。
特別是大學老師、醫生等，因為本身擁有該領域的專業知識，所以往往不容易接受新的思維，所以在AI專案推動上的難度較高。 輔仁大學副校長謝邦昌說，當AI應用在不同場景中，面臨的挑戰也各自迥異，許多跨足智慧醫療的ICT業者，都抱怨投資難以回收，這代表尚未找到合適的商業模型，因此思考創造雙贏的方法。 儘管許多醫院在AI領域都有亮眼成績，但專案推動過程中勢必面臨挑戰，所以跨界對談的第三場主題，即是「醫院發展醫療AI所面臨的挑戰」。 在全球積極搶攻智慧醫療商機下，臺灣發展醫療產業有不錯的優勢，如醫護人才水準高、全民健保制度領先國際、具生醫及電子之優秀人才、臨床實驗環境好，以及最高價值/成本比。 確實在真實應用場景必須要在模型準確度與推論效能取得一個權衡。
聯邦式學習: 支持AI開發與否不同調 美國媒體巨頭態度分歧
首先 XGBoost 最初是由陳天奇於 2014 年 3 月發起的一個研究項目，並在短時間內成為競賽中的熱門的模型。 接著於 2017 年 1 月微軟發布了第一個穩定的 LightGBM 版本。 它是一個基於 Gradient Boosting 的輕量級的演算法，優點在於使用少量資源、更快的訓練效率得到更好的準確度。 另外在同年的 4 月，俄羅斯的一家科技公司 Yandex 發布了 CatBoost，其核心依然使用了 Gradient Boosting 技巧，並為類別型的特徵做特別的轉換並產生新的數值型特徵。 研究興趣包括機器學習、聯邦學習、遷移學習、多智能體系統、統計力學以及這些技術的產業應用。 2012年獲得普林斯頓大學博士學位，2007年獲得清華大學學士學位。
他表示，鴻海集團正打造醫療院所內與院外健康雲平台的互動模式，透過智慧醫療中心聯邦式學習模式，與長庚醫院、童綜合醫院、台北馬偕醫院、台北慈濟醫院等合作智慧醫療中心和健康照護雲平台。 （中央社記者鍾榮峰台北9日電）鴻海集團B事業群數位健康專案執行長劉秉昊今天表示，集團透過智慧醫療中心聯邦式學習模式，與醫療集團合作打造智慧醫療中心和健康照護雲平台。 联邦学习中，一个受信任的管理者聚合了由多客户以非中心方式优化的参数。 最终收敛得到的联合代表模型被分配到所有客户端，在整个训练过程中无需共享各方数据。
聯邦式學習: 聯邦學習：算法詳解與系統實現
當模型架構太大以至於在一個 GPU 放不下時，可以採用模型平行化的方式來將模型拆解並分配到不同的 GPU 上。 本計畫期盼藉由大學專業知能，推動復興區的優質教育，核心策略為「身教式持續安靜閱讀(Modeled Sustained Silent Reading，簡稱MSSR)」。 透過場域學校校長、教師「身教式」的學習引導，積極且扎實的培養學生的閱讀興趣，使學生做到大量閱讀，養成閱讀習慣，以逐步建立終生閱讀部落。
檢警抽絲剝繭，查出聯邦銀行通化分行張姓經理與滕姓理財主管，因貪圖抽佣1%的外快，答應吳男等人利誘，從今年（2023年）3月底起，扮內鬼利用職權開後門助詐團臨櫃提領贓款。 美國肉類出口協會駐華辦事處希望，透過「美旗林餐廳指南」能夠讓台灣的美牛愛好者，更深入地了解美國牛肉的品質和多樣性。 而餐廳的評選標準不僅是美味的餐點，更代表「美牛界」評鑑的精心挑選，確保優越品質的美國牛肉能夠帶給消費者卓越的用餐體驗。 為吸引學生注意，校方與當地動物收容所合作，借來幾隻狗，讓狗穿上橘色的魚裝。 當學生路過並駐足玩狗時，就能聽取諸多關於網路安全的知識，並有機會參加測驗贏得獎品，獎項包括知名連鎖咖啡店的禮物卡、學校的周邊商品，以及兩張該校的網路釣魚主題曲棍球比賽門票。 過去幾年來，丹佛大學的資訊科技部門已多次舉辦網路釣魚相關活動，避免師生與教職員落入詐騙電郵的「注意力盲區」。
聯邦式學習: 聯邦學習架構
當生產效率和彈性能夠提高，AI在智慧製造最令人詬病的「能得到多少收益」問題也許就有一個答案。 以上圖為例，儘管嚴格來說這裡的Server並沒有保有參數(參數指的是模型，也就是server上不存在模型)，但Server協助了梯度聚合和傳遞，我們可以把它當成中心式的聯邦學習系統。 隨著下世代AI應用產品如智慧駕駛車、消費性與企業用機器人、智慧無人機，甚至是近來熱門的元宇宙硬體裝置等發展，AI晶片如何解決「少量多樣」和「低功耗」是兩大重點。 工研院人工智慧應用策略辦公室主任蘇孟宗表示，工研院「2030技術策略與藍圖」中，AI的應用歸屬在「智慧化致能技術」，正是「智慧生活」、「健康樂活」與「永續環境」三大應用領域的重要後盾。
成立於 2016 年的阿物科技，是運用 AI 技術發展 MarTech 的公司，即結合人工智慧與行銷智慧，以 SaaS 模式推出台灣第一個 OMO 全通路行銷自動化平台。 此種創新概念獲得市場關注，2017 年起獲得矽谷多位知名軟體投資家與企業家連續投資，至今平台上已有 20 個工具涵蓋流量獲取、轉換最佳化、再行銷、會員留存與數據加值應用，協助電商與零售打造線上線下無縫的客戶體驗。 目前，該公司於東京、嘉義與台北等地，均設有營運據點，並擁有超過 15 位專職科學家的 AI 團隊。
聯邦式學習: 隱私保護分佈式學習(Privacy Preserving Distributed Learning)
中山醫學大學總院長蔡明哲認為，發展智慧醫療，絕對要從病人的角度出發。 我們發現市面上有不少號稱可監控生理狀態的穿戴式裝置，病人因為穿起來的舒適度問題，往往不願意長時間穿戴，這是產品在研發時必須克服的挑戰。 成大醫院院長沈孟儒認為，醫療資料是堪稱是數位石油，要如何提煉成有價值的商品，必須要各方面投入。
- 本篇文章主要提出了一个DCGAN的防御模式，主要是通过对FL过程中传输进行加密，以及在target训练模型中添加buried point来检测GAN攻击。
- 聯邦學習使眾多的參與者都能夠參與模型訓練，而無需相互共享他們的私人訓練數據。
- 收集完參數後，聚合器便開始整合、優化參數，再將優化過後的參數送至Registry，再回傳給各個節點，進行下一輪訓練，直到達到用戶定義的收斂標準。
- 林思吾指出，近幾年個人隱私權保護備受重視，蘋果對於 App Store 的 App 追蹤功能有很多限制，至於 Google 方面，也承諾將 2022 年初終止 Chrome 瀏覽器支援 Cookie，且不再使用其他技術追蹤網路上的用戶。
- 馮霽說，測試階段攻擊主要是透過對抗樣本，針對訓練模型的特點進行惡意樣本生成任務，透過對抗樣本讓自駕車錯誤判別路牌。
- 如此這般，若然拋開了數據傳送的間接成本的話，利用N部電腦進行分工，學習效率理論上可加快N倍。
這些資料交易平台在一定程度上促進了資料的有效流通，為資料需求方和提供方提供了互動平台。 聯邦式學習2023 隨著資料安全和個人資訊保護方面監管日趨嚴格，資料交易平台面臨著全新的外部環境，需要透過新技術和新方法實現「資料可用不可見，資料不動價值動」，提升資料安全性，明確責任和權益，從而建構支持跨機構、跨市場、跨領域的資料安全共用的新模式。 聯邦式學習 分散式系統是一組電腦，透過網路相互連接傳遞消息與通信後並協調它們的行為而形成的系統。 把需要進行大量計算的工程數據分割成小塊，由多台計算器單位分別計算，再上傳運算結果後，將結果統一合併得出數據結論的科學。 分散式系統的例子來自有所不同的面向服務的架構，大型多人在線遊戲，對等網路應用。 完成參數更新後，會基於拓樸架構來傳送梯度：對中心式模型來說，梯度會先聚合在參數伺服器、然後分送給各節點。
聯邦式學習: 聯邦式學習與區塊鏈主持人：郭志義教授
如此這般，不同「代理人」群組可以進一步透過聯邦形式構建一個高效的「智慧城市」。 聯邦式學習 相對來說，聯邦學習強調保護資料隱私，因此訓練資料不會有集中到單一伺服器再分配運算的過程，而是自然存在原生的裝置，直接利用各裝置去分別進行模型訓練。 主要是除去以中央伺服器儲存參與方的非數據知識，只讓參與方之間進行有限的網路通訊，甚至讓部分參與方沒有網路連接，目前學術界也已提出一系列的版本，希望能實現該架構。 在資料共用的過程中，還有很多問題待解決，包括資料所有權確認、資料權利邊界劃分、權益分配規則不清晰，以及資料安全沒有保障等。 制定合理的資料共用規範、利用技術手段確保資料安全、解決資料所有權確認和使用邊界等問題，對於推動資料合法符合規範共用、金融產業高效和高品質發展，具有重要的現實意義。 隨著越來越高的隱私意識，深度學習研究者們也相對應的開啟了Privacy ML的研究熱潮，而Federated Learning的核心就是為了保有隱私，讓用戶在「不用上傳自己資料到企業端的同時可以訓練模型、使用智能化服務」。
對於問題與資料了解也很重要，才能依據要被解決的事務對症下藥。 AI落地往往會發生一些窒礙難行問題產生，例如真實數據會有數據飄移問題、少樣本問題、資料標籤不易...等議題也是資料科學家應該關注的。 因為有了 Gradient Boosting 學習機制，大幅提升了預測能力。
聯邦式學習: ROS 2 解決方案
比如同一地區的醫院和藥局，他們接觸的病患都為該地區的居民（樣本相同），但業務不同（特徵不同）。 假設有不同的企業 A、B 與 C，這些企業都有相同的特徵（feature） 與不同的客戶（sample），根據隱私權的相關法規是不能將雙方的數據加以合併，因為他們各自的客戶並沒有同意授權讓這些企業這樣做，在這樣數據不充分的狀態下其實是很難建立一個效果好的模型。 同時因為用戶端的溝通成本更高，我們隨便一個現在的模型動輒就2 3GB大，如果很頻繁的溝通，會佔據用戶的網路頻寬，所以我們希望更大幅度的減少溝通次數，用運算換溝通。 就像是我們大學在做團體報告的時候，為了讓每個人的編輯狀況能夠同步，我們會使用Google doc、Google Slides、Google Spreadsheet...等共編軟體，來同步每個人的進度。 但是在過去這些軟體不發達的時候，我們能做的就是用word做好自己的部分，然後用隨身碟帶到出去傳到別人電腦裡再進行整合。 那為什麼我們需要分布式系統，其實就像是GPU的邏輯，當一個程式先後要做的很多工作，分攤給多個處理器、多台電腦來進行運算，那分工合作的結果就應該要縮短時間，得到更快速的結果。
未來10年AI將進入市場擴增期，成為智慧化的主旋律，也是產業轉型升級的關鍵。 工研院舉辦「以人為本x跨域創新」AI人工智慧產業論壇，挖掘AI在環境、製造、晶片、生醫與服務領域的應用，以及臺灣AI紀元的挑戰與優勢。 在联邦学习中[5]，管理者与客户端之间的通信可能是受限的（例如，手机）并且容易被监听。 联邦优化的挑战是以客户端与管理者之间最小的信息交换来学习一个模型。 除此之外，客户端数据可能具有非独立同分布性、不平衡性以及大规模分布性。
聯邦式學習: 資料隱私
衛福部部長陳時中說，智慧醫療是全球趨勢，2021年行政院也將智慧醫療列為國家發展重要政策，我們將跨部會合作方式，建置健康大數據永續平臺。 在此基礎下，運用人工智慧科技進行分析與預測，將平臺上龐大、複雜醫療資料，轉換成可為民眾提供更佳照護服務的資訊，進而達到提升健康品質的目的，並開創新的醫療與健康照顧產業。 我們很高興臺中榮民總醫院舉辦此論壇，讓全臺灣各地醫療院所能交流智慧醫療創新的成果，也讓產學及醫療等可進行跨界對話交流。 隨著生活與工作的每件事情更加的複雜且高度分工，人們更加的依賴資通訊科技來加速工作的進行。 新型態的5G通訊與計算模型，如增強式行動寬頻通訊、巨量機器型態傳輸以及超高可靠與超低延遲傳輸等，也帶來新的物聯網應用的可能性。 同時也帶動了資料交換的速度、範圍以及多樣性，正向改變數位資料使用上的值與量。
就在今年6月，AI 聯邦式學習 Labs也釋出了Harmonia第一版，內容包括了Harmonia-operator SDK和差分隱私（Differential privacy）函式庫。 「差分隱私是聯合學習常見的資料保護手段，」杜奕瑾指出，雖然聯合學習只取模型權重而非原始資料，但有心人士還是有可能從權重參數中，回推出特定個資。 嚴格而言，「分布式學習」和「聯邦式學習」在操作上均廣泛利用「分工合作」的原理進行大規模分布式運算，但兩者的分別在於數據管理方法。 在「分布式學習」的框架之下，雖然數據分布在不同終端，但其管理完全由中央統籌，因此中央對所有數據瞭如指掌。
聯邦式學習: 人工智慧在高科技製造業的應用
而公平性是指，雖然模型整體準確率很高，但可能在特定族群中做得很差。 如人臉辨識資料集大多是白人，因此其他有色人種的準確率就明顯比較低。 聯邦學習作為一種新型的隱私保護計算方案，在數據不出本地的前提下，能有效聯合各參與方聯合建模，從而實現“共同富裕”，成為當下人工智能領域備受關註的熱點。 本書以實戰為主（包括對應用案例的深入講解和代碼分析），兼顧對理論知識的系統總結。
本屆活動匯集多家醫院人工智慧醫療的優秀作品，並有醫界、學界、業界等專家與會，共同論人工智慧醫療的最新議題與成果分享，期盼為臺灣智慧醫療發展開啟全新的契機。 臺中榮民總醫院院長陳適安指出，自成立以來，臺中榮民總醫院便積極掌握資通訊科技發展脈動，且投入資訊科技在醫療領域的應用與研究發展，期盼成為全國醫療資訊的標竿。 目前，亦成功將醫療資訊系統導入輔導會體系12家榮總分院，為病患創造更佳醫療服務，並於2015和2019年兩度獲得智慧醫院全機構獎的殊榮。 在人工智慧的浪潮下，我們也掌握此趨勢，積極投入人工智慧醫療應用與研究，培訓醫療與人工智慧跨域人才。
聯邦式學習: 結合「區塊鏈(Blockchain)」
例如由臺北榮總郭萬祐主任發起之「腦轉移瘤AI輔助診斷系統Deepmets® – Plus」、臺大醫院張允中教授發起之「武漢肺炎胸部X光自動檢測系統」，及臺大醫學院王宗道教授發起之「心臟電腦斷層冠狀動脈最佳相位Al 智慧選取」等。 舉例來說，Google為了聯合不同用戶的使用習慣優化智慧輸入法(Gboard)，同時不違反歐盟GDPR對用戶隱私的保護，於是透過聯邦學習來進行模型訓練，這個過程中只有梯度會被共享出去，所以能夠很好的保護用戶隱私。 這裡需要先指出的是，算法能夠收斂僅指訓練過程中預測誤差會越來越小，直到無法或者無須繼續改進，這時可以停止訓練。 但是，不同的訓練算法、不同的數據分布，都有可能導致聯邦學習框架下的學習算法收斂到不同的模型或參數，能收斂並不等於一定能得到最優化的結果（以集中式訓練為基準，下同）。
AI Labs成立三年，就在智慧醫療領域大放異彩，不只和臺北榮總打造全球第一套腦瘤臨床判讀AI系統，還與臺大醫院、北醫附醫等醫院和疾管署，開發出肝、心、肺醫療影像和瘧疾血液抹片的疾病判讀AI。 另外，也跨足精準醫療，打造能進行30億個鹼基的基因定序分析平臺，去年更加入英國國家基因研究計畫Genetic England，要推動跨國基因AI分析合作。 因此，「我們以聯合學習（Federated Learning，亦稱聯邦學習）方法來突破限制，」臺灣人工智慧實驗室（簡稱AI Labs）創辦人杜奕瑾說。
聯邦式學習: Freshworks 簡化資訊流程 提升 IT 生產力
臺大全幅健康照護中心（MAHC）偕同臺大MeDA Lab與健保署、科技大廠NVIDIA於2020年7月簽署MOU，合作參與全球COVID-19聯邦學習計畫。 聯合平均（FedAvg）是 FedSGD 的泛化，允許本地節點對本地數據進行多次批次更新，並交換更新的權重而不是梯度。 此外，對來自相同初始化的調整權重進行平均並不一定會損害所得平均模型的效能。 跨應用程式的溝通運算，如Google map取得的資料與Google calendar之間如果要共同建立模型，可透過一套聯邦學習作為橋樑連結。
基於傳統方法，機器學習模型只能從很有限的可用開源數據源中訓練、學習，並且偏頗於醫院的儀器/人口統計學/實踐。 分散式機器學習（or深度學習）領域涉及內容廣泛，在學術上包含演算法設計、理論證明等問題，在工業應用上涉及系統設計、產品研發等工作。 此篇僅從學術角度方面，站在系統的角度來介紹分散式訓練的相關知識。
