ChatGPT 掀起的大模型熱潮，讓各界人士對人工智能大模型的關(guān)注度極速提高。
什么是大模型？大模型是指具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型，它們通?？梢蕴峁└鼜?qiáng)大的表達(dá)能力和泛化能力，從而提升各種智能服務(wù)的性能和質(zhì)量。大模型在訓(xùn)練的過程中，會(huì)面臨一個(gè)重大挑戰(zhàn)：如何獲取更多的數(shù)據(jù)進(jìn)行訓(xùn)練以及如何保護(hù)訓(xùn)練數(shù)據(jù)的數(shù)據(jù)隱私？
聯(lián)邦學(xué)習(xí)是一種分布式的機(jī)器學(xué)習(xí)范式，能夠在保護(hù)各自數(shù)據(jù)隱私的同時(shí)，有效地利用用戶設(shè)備上的海量數(shù)據(jù)，為大模型提供更豐富和更多樣的訓(xùn)練數(shù)據(jù)。其核心過程是參數(shù)的傳遞，即參與者將自己設(shè)備上訓(xùn)練得到的模型參數(shù)發(fā)送給中心服務(wù)器，中心服務(wù)器將所有參與者的參數(shù)進(jìn)行聚合和平均，然后將更新后的參數(shù)返回給參與者，以此循環(huán)進(jìn)行模型的訓(xùn)練和更新，以實(shí)現(xiàn)在保護(hù)用戶數(shù)據(jù)隱私和安全的前提下，完成大模型的分布式訓(xùn)練和更新，提高了大模型的訓(xùn)練效率和可持續(xù)性。
原語科技開源 PrimiHub 聯(lián)邦學(xué)習(xí)大模型
基于此，今日，原語科技在 PrimiHub 上開源了聯(lián)邦學(xué)習(xí)大模型，實(shí)現(xiàn)了基于聯(lián)邦學(xué)習(xí)的大模型訓(xùn)練和預(yù)測，它允許多個(gè)參與者在保護(hù)各自數(shù)據(jù)隱私的同時(shí)，共同訓(xùn)練一個(gè)大型的深度神經(jīng)網(wǎng)絡(luò)模型。 PrimiHub 聯(lián)邦學(xué)習(xí)大模型是一個(gè)多模態(tài)、多任務(wù)、多領(lǐng)域的聯(lián)邦預(yù)訓(xùn)練模型，它可以理解和生成文本，并支持多種語言和場景，并且可以應(yīng)用于搜索、推薦、對話、翻譯、摘要、創(chuàng)作等多個(gè)領(lǐng)域，為用戶提供更豐富、更精準(zhǔn)、更個(gè)性化的內(nèi)容和服務(wù)。
PrimiHub 聯(lián)邦學(xué)習(xí)大模型是基于 ChatGLM6B，實(shí)現(xiàn)了在 PrimiHub 框架中的聯(lián)邦大模型。ChatGLM6B 是一個(gè)多模態(tài)、多任務(wù)、多領(lǐng)域的預(yù)訓(xùn)練模型，它可以理解和生成文本、圖像、音頻、視頻等各種類型的數(shù)據(jù)，并支持多種語言和場景。PrimiHub 可以讓用戶在自己的設(shè)備上參與聯(lián)邦學(xué)習(xí)，保護(hù)數(shù)據(jù)隱私和安全，同時(shí)享受大模型帶來的智能服務(wù)。
通過下方鏈接即可直接體驗(yàn)：
-
項(xiàng)目地址：https://github.com/primihub/primihub
-
使用指引：https://docs.primihub.com/docs/advance-usage/create-tasks/fedreated-learning/chatglm/
PrimiHub 聯(lián)邦學(xué)習(xí)大模型技術(shù)亮點(diǎn)
-
PrimiHub 聯(lián)邦學(xué)習(xí)大模型基于 ChatGLM6B，其參數(shù)量多，效果好。它具有超過60億個(gè)參數(shù)，是目前最大的中文預(yù)訓(xùn)練模型之一，也是目前最先進(jìn)的多模態(tài)預(yù)訓(xùn)練模型之一，在各種自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別等任務(wù)上都取得了優(yōu)異的性能和質(zhì)量，為用戶提供了更豐富、更精準(zhǔn)、更個(gè)性化的內(nèi)容和服務(wù)。
-
通過 Ptuning 技術(shù)，實(shí)現(xiàn)通過調(diào)整一部分權(quán)重，來實(shí)現(xiàn)和調(diào)整全部參數(shù)一樣效果的模型調(diào)參，降低了聯(lián)邦學(xué)習(xí)的計(jì)算和資源開銷。Ptuning 是一種新穎的模型微調(diào)技術(shù)，它可以在保持大部分參數(shù)固定的情況下，通過調(diào)整一小部分參數(shù)（如1%），來實(shí)現(xiàn)和調(diào)整全部參數(shù)一樣效果的模型優(yōu)化，從而顯著降低了模型訓(xùn)練和更新所需的通信和計(jì)算資源。讓用戶能夠在消費(fèi)級的顯卡就能體驗(yàn)聯(lián)邦大模型的流程。PrimiHub 聯(lián)邦學(xué)習(xí)大模型可以讓用戶在消費(fèi)級的顯卡（如NVIDIA GeForce RTX 3070）上輕松地進(jìn)行聯(lián)邦學(xué)習(xí)，無需高端的服務(wù)器或云平臺(tái)，降低了用戶參與聯(lián)邦學(xué)習(xí)的門檻和成本。
-
基于新的 PrimiHub SDK，僅需一行命令，即可實(shí)現(xiàn)基于聯(lián)邦學(xué)習(xí)的大模型的訓(xùn)練。使用戶能夠簡單上手。PrimiHub SDK 是一個(gè)開源的、易用的、高效的聯(lián)邦學(xué)習(xí)軟件開發(fā)工具包。它可以讓用戶在自己的設(shè)備上參與聯(lián)邦學(xué)習(xí)，保護(hù)數(shù)據(jù)隱私和安全，同時(shí)享受大模型帶來的智能服務(wù)，只需要用戶輸入一行命令，就可以自動(dòng)完成大模型在聯(lián)邦學(xué)習(xí)中的分布式訓(xùn)練和更新，無需復(fù)雜的配置和編程，提高了用戶參與聯(lián)邦學(xué)習(xí)的便利性和體驗(yàn)。
PrimiHub 聯(lián)邦學(xué)習(xí)大模型具體訓(xùn)練參數(shù)：
-
場景：橫向聯(lián)邦場景
-
任務(wù)數(shù)據(jù)：Chinese MedDialog Dataset（醫(yī)療文本問答，110w）、ADGEN 數(shù)據(jù)集（服裝標(biāo)簽分類，11w）
-
參數(shù)方：兩個(gè)參與建模方，一個(gè)聚合服務(wù)方
-
環(huán)境：3070 8GB x 2
-
模型參數(shù)量：60億 (6b， 6000M)
未來我們還想做什么？
PrimiHub 聯(lián)邦大模型也會(huì)持續(xù)進(jìn)行迭代。未來 PrimiHub 開源社區(qū)還將針對 PrimiHub 聯(lián)邦大模型在模型種類上進(jìn)行持續(xù)迭代，提供在線大模型服務(wù)等降低大模型的使用門檻。
隨著數(shù)字化發(fā)展，醫(yī)療數(shù)據(jù)的流通，一方面可以推動(dòng)智慧診療、新藥研發(fā)等產(chǎn)業(yè)的發(fā)展，另一方面也可以促進(jìn)現(xiàn)代化醫(yī)學(xué)研究、公共衛(wèi)生防疫以及臨床醫(yī)療應(yīng)用等生物科學(xué)技術(shù)的一些進(jìn)步。但是醫(yī)療數(shù)據(jù)又具有極強(qiáng)的隱私屬性，對隱私保護(hù)和數(shù)據(jù)安全的需求更為強(qiáng)烈。通過聯(lián)邦學(xué)習(xí)大模型與醫(yī)療行業(yè)數(shù)據(jù)結(jié)合，能夠在保證數(shù)據(jù)充分流通的同時(shí)不泄露用戶隱私、合規(guī)合法地使用數(shù)據(jù)以推動(dòng)數(shù)字醫(yī)療的發(fā)展。
在金融行業(yè)中，數(shù)據(jù)同樣重要，其作為數(shù)字化風(fēng)控的“血液”，但隨著銀行對數(shù)據(jù)共享的需求不斷增加及監(jiān)管對數(shù)據(jù)安全和隱私保護(hù)的嚴(yán)格要求，大大增加了其與外部機(jī)構(gòu)之間數(shù)據(jù)共享的技術(shù)難度和成本。通過聯(lián)邦學(xué)習(xí)大模型與金融數(shù)據(jù)的結(jié)合，則能在滿足安全性的前提下，打破“孤島效應(yīng)”，通過數(shù)據(jù)資源的有效開發(fā)利用，實(shí)現(xiàn)風(fēng)險(xiǎn)的全面準(zhǔn)確評估，從而推動(dòng)業(yè)務(wù)快速發(fā)展。文章來源：http://www.zghlxwxcb.cn/news/detail-559429.html
未來，PrimiHub 聯(lián)邦學(xué)習(xí)大模型也將在金融、醫(yī)療、互聯(lián)網(wǎng)等多個(gè)行業(yè)深度結(jié)合帶來行業(yè)數(shù)字化新形態(tài)，同時(shí)，基于 GPT+隱私計(jì)算的私人助理也有巨大想象空間。通過隱私計(jì)算則可實(shí)現(xiàn)敏感數(shù)據(jù)價(jià)值的可控使用，這將成為特定領(lǐng)域大模型的必由之路。文章來源地址http://www.zghlxwxcb.cn/news/detail-559429.html
到了這里，關(guān)于PrimiHub 聯(lián)邦學(xué)習(xí)大模型開源，打破數(shù)據(jù)限制，保護(hù)數(shù)據(jù)隱私安全的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
