免费人成动漫在线播放r18-免费人成观看在线网-免费人成黄页在线观看日本-免费人成激情视频在线观看冫-jlzzjlzz亚洲大全-jlzzjlzz亚洲日本

二維碼
企資網(wǎng)

掃一掃關(guān)注

當(dāng)前位置: 首頁 » 企資頭條 » 頭條 » 正文

黑箱優(yōu)化_大規(guī)模語言模型的一種落地方式

放大字體  縮小字體 發(fā)布日期:2022-01-22 07:11:17    作者:微生茂    瀏覽次數(shù):58
導(dǎo)讀

機(jī)器之心經(jīng)授權(quán)感謝感謝分享:孫天祥在感謝中,來自復(fù)旦大學(xué)得計(jì)算機(jī)博士生介紹了一些關(guān)于大規(guī)模預(yù)訓(xùn)練語言模型落地得思考。語言模型得增長在 BERT 之后,人們看到了大規(guī)模預(yù)訓(xùn)練得潛力,嘗試了不同得預(yù)訓(xùn)練任務(wù)、模

機(jī)器之心經(jīng)授權(quán)感謝

感謝分享:孫天祥

在感謝中,來自復(fù)旦大學(xué)得計(jì)算機(jī)博士生介紹了一些關(guān)于大規(guī)模預(yù)訓(xùn)練語言模型落地得思考。

語言模型得增長

在 BERT 之后,人們看到了大規(guī)模預(yù)訓(xùn)練得潛力,嘗試了不同得預(yù)訓(xùn)練任務(wù)、模型架構(gòu)、訓(xùn)練策略等等,在做這些探索之外,一個(gè)更加直接也通常更加有效得方向就是繼續(xù)增大數(shù)據(jù)量和模型容量來向上探測這一模式得上界。

超大規(guī)模語言模型印象里大概從 GPT-3 開始,國內(nèi)外諸多大廠都開始了大規(guī)模預(yù)訓(xùn)練得軍備競賽,Google 得 Switch-Transformer,國內(nèi)智源得 CPM,百度得 ERNIE 3.0,華為得盤古,阿里得 PLUG,浪潮得源 1.0 等等。與此同時(shí),相信也有很多人開始思考,花了幾個(gè)億訓(xùn)練得大模型該怎么用,難道就聽個(gè)響么?

大模型得玩法

在語言模型還不這么大得時(shí)候,一般是這么玩得:0. 下載某個(gè)開源得預(yù)訓(xùn)練模型或自研預(yù)訓(xùn)練模型,1. 收集特定任務(wù)得標(biāo)注數(shù)據(jù),2. Fine-tune 預(yù)訓(xùn)練語言模型,3. 上線推理。這種玩法我們叫小模型得玩法。

但大模型得預(yù)訓(xùn)練成本和 Fine-tuning 成本都是比較昂貴得,并且現(xiàn)在很多大模型出于成本和商業(yè)考慮都不再開源參數(shù),因此大模型得有大模型得玩法。作為大模型得開路先鋒,GPT-3 在他們得論文里給出得玩法就是 in-context learning. 如下圖所示,不需要進(jìn)行反向傳播,僅需要把少量標(biāo)注樣本放在輸入文本得上下文中即可誘導(dǎo) GPT-3 輸出答案。

GPT-3 in-context learning

這一玩法在當(dāng)時(shí)是相當(dāng)驚艷得,大家被 GPT-3 得這種玩法以及大規(guī)模預(yù)訓(xùn)練帶來得 “質(zhì)變” 感到震驚得同時(shí),OpenAI 也開始了對大模型商業(yè)落地得嘗試,開始開放 GPT-3 得推理 API 給開發(fā)者,出現(xiàn)了不少有趣得 APP,下面是其中一個(gè)例子,更多得 GPT-3 Demo 可以參見:300+ GPT-3 Examples, Demos, Apps, Showcase, and NLP Use-cases | GPT-3 Demo.(感謝分享gpt3demo感謝原創(chuàng)分享者/)

使用 GPT-3 生成網(wǎng)頁布局

類似得,悟道 2.0 也開展了 AI 創(chuàng)新應(yīng)用大賽來鼓勵基于大模型 API 開發(fā)好玩得 APP:感謝分享特別biendata.xyz/wudao/.

而這一玩法后來也被發(fā)展成為如今大火得 prompt-based learning,即我們可以將下游任務(wù)轉(zhuǎn)化為(M)LM 任務(wù)來直接用預(yù)訓(xùn)練語言模型解決,倘若模型規(guī)模越大從(M)LM 遷移到下游任務(wù)就越容易,那我們就可以用一個(gè)大規(guī)模通用語言模型來解決各種下游任務(wù)了。

由此來看,prompt-based learning 起初得想法是很好得,但后來發(fā)展成為魔改輸入輸出后得加強(qiáng)版 fine-tuning,配以 MLM head 更好得初始化主攻小樣本性能個(gè)人以為偏離了其初心。但后來發(fā)展又與包括 Adapter 在內(nèi)得 parameter-efficient tuning 得工作類似,僅 fine-tune 連續(xù)得 prompt 而保持語言模型參數(shù)不變,能夠做到 mixed-task inference,我覺得一定程度上又回歸了原來得目標(biāo),即通用大模型得高效部署。然而,所有 in-context learning 之后得發(fā)展都需要梯度反向傳播,這至少損失了 in-context learning 一半得魅力。試想,未來大廠會雇傭一大批調(diào)參師傅來對用戶上傳得訓(xùn)練數(shù)據(jù)進(jìn)行 fine-tune 或者 prompt-tuning,甚至進(jìn)行 template 和 verbalizer 得搜索?用戶越多需要得調(diào)參師傅也越多,這不能規(guī)模化。

關(guān)于大模型得落地姿勢,除了 OpenAI 之外,國內(nèi)也有類似得看法,比如智源得張宏江博士就表示:“未來,大模型會形成類似電網(wǎng)得智能基礎(chǔ)平臺,像發(fā)電廠一樣為全社會源源不斷地供應(yīng)‘智力源’”。這種把大模型作為一個(gè)在線得服務(wù)得模式我們稱之為 Language-Model-as-a-Service (LMaaS).

可以看到,大模型得玩法更貼近個(gè)人用戶和小 B 開發(fā)者,通過調(diào)用大廠開放得 API,就可以使用少量標(biāo)注數(shù)據(jù)得到還不錯(cuò)得效果(這里指 in-context learning)。相比于之前小模型得玩法,LMaaS 當(dāng)然要能夠降低某一個(gè)或幾個(gè)環(huán)節(jié)得成本才能夠推行。我們粗略地從這幾個(gè)方面去對比一下本地訓(xùn)練小模型得玩法和 LMaaS 得玩法:

  • 預(yù)訓(xùn)練模型:小模型玩法可以是免費(fèi)得(直接用開源預(yù)訓(xùn)練模型),而 LMaaS 需要支付一部分調(diào)用 API 得費(fèi)用
  • 數(shù)據(jù)標(biāo)注:小模型需要得標(biāo)注數(shù)據(jù)通常更多,因而標(biāo)注成本更高
  • 實(shí)際性能:對于復(fù)雜任務(wù)或?qū)τ谟杏?jì)算資源得用戶,本地訓(xùn)練小模型通常能夠超過使用 prompt 來調(diào)用大模型 API 得效果;對于簡單任務(wù)或計(jì)算資源有限得用戶,直接使用大模型 API 可能效果更好

    經(jīng)過粗略地對比我們發(fā)現(xiàn)有調(diào)用大模型推理 API 需求得用戶主要是標(biāo)注預(yù)算不高、處理簡單任務(wù)、計(jì)算資源有限得個(gè)人用戶或者小 B 開發(fā)者。那么,假設(shè)未來大規(guī)模預(yù)訓(xùn)練模型就是這樣一種玩法,怎么使其更好地為更多得用戶提供服務(wù)呢?或者說,怎么利用通用語言模型得推理 API 做好下游任務(wù)?再或者,怎么設(shè)計(jì)一個(gè)推理 API 能夠惠及更多得下游任務(wù)?更進(jìn)一步,大廠是否能夠發(fā)布推理 API 得同時(shí)也發(fā)布一幫助使用工具?這些問題構(gòu)成了我們蕞近工作得主要動機(jī)。

    黑箱優(yōu)化:僅調(diào)用模型推理 API 完成常見語言理解任務(wù)

    接下來我們提供一個(gè)適用于上述 LMaaS 場景得方案:Black-Box Tuning.

    我們得文章標(biāo)題叫 Black-Box Tuning for Language-Model-as-a-Service,又名 Forward is All You Need,又名 Make Zeroth Optimization Great Again,又名 Inference as Training

    前面提到,LMaaS 是要把大模型當(dāng)作發(fā)電廠,那自然不能給每家每戶都派一個(gè)調(diào)電(調(diào)參)師傅過去,蕞好是每家每戶能夠自己把電器(任務(wù))管理好,發(fā)電廠(大模型服務(wù)方)只需要確保供應(yīng)電力(算力),這才是規(guī)模化得玩法。

    為了做到大模型得高效部署,我們可以訴諸于 parameter-efficient tuning,即只 fine-tune 少量參數(shù),如 adapter 和 prompt tuning,但仍然需要調(diào)參師傅在服務(wù)端幫你 tuning。自然地,我們想到可以讓用戶根據(jù)推理 API 得返回結(jié)果自己優(yōu)化 adapter 或 prompt,比如用無梯度優(yōu)化(Derivative-Free Optimization)去優(yōu)化這些 “少量” 得參數(shù)。基于這個(gè)樸素得想法,我們有了下面得一張?jiān)妇皥D:

    LMaaS

    但無梯度方法本質(zhì)上還是基于搜索得,即使對于 parameter-efficient tuning 也還是會有上萬得參數(shù)量需要優(yōu)化(例如 prompt tuning 優(yōu)化 20 個(gè) token,每個(gè) token 1024 維,總共是 20480 維),這讓非梯度優(yōu)化很難做。

    在非梯度優(yōu)化中,如果要優(yōu)化得目標(biāo)函數(shù)原本維度很高,但只要本征維度很小,我們就可以使用非梯度優(yōu)化方法來做,一種方法就是通過 random embedding. 例如在下圖中,左邊得目標(biāo)函數(shù)是二維得,但其函數(shù)值實(shí)際上只跟一個(gè)參數(shù)( [x_1] )相關(guān),那么我們就可以使用一個(gè) random embedding 將要優(yōu)化得參數(shù)映射到一低維子空間(如下圖右邊得 embedding 就是 [x_1=x_2] ),在這一子空間中進(jìn)行優(yōu)化便可以找到允許解 [x^*] .

    Random Embedding

    幸運(yùn)得是,蕞近得一些工作表明預(yù)訓(xùn)練模型參數(shù)越多,其本征維度反而越小。例如人們發(fā)現(xiàn)僅訓(xùn)練 RoBERTa-large 得 200 + 個(gè)參數(shù),然后映射回原本參數(shù)空間就可以達(dá)到 fine-tuning 90% 得性能[1],這就使得非梯度優(yōu)化方法變得可行了。

    有意思得是,過去非梯度優(yōu)化方法不用于神經(jīng)網(wǎng)絡(luò)得參數(shù)優(yōu)化是因?yàn)槠鋮?shù)太多,而僅用于調(diào)節(jié)少數(shù)超參數(shù),現(xiàn)在隨著神經(jīng)網(wǎng)絡(luò)參數(shù)越來越多,梯度下降變得非常笨重,而非梯度優(yōu)化方法反而正好可以拿來做。

    基于以上,我們大概可以得知,結(jié)合 parameter-efficient tuning 和基于 random embedding 得非梯度優(yōu)化算法,就可以做到前文提到得使用推理 API 把下游任務(wù)做好(開除調(diào)參師傅)得愿景。下面我們給出了 black-box tuning 得一個(gè)具體實(shí)現(xiàn),比較懶,請大家讀 caption.

    Black-Box Tuning

    這樣我們發(fā)現(xiàn),大模型服務(wù)方僅需要執(zhí)行模型推理(即提供算力),任務(wù)性能得優(yōu)化由用戶自己完成(即根據(jù)推理結(jié)果優(yōu)化 prompt),這樣就不需要調(diào)參師傅了。此外,prompt 得優(yōu)化幾乎是不耗費(fèi)算力得,因此這一優(yōu)化過程可以在任何終端設(shè)備進(jìn)行,根本不需要 GPU,所有算力需求集中在大模型服務(wù)端。此外,這種優(yōu)化方式還解藕了優(yōu)化過程和模型前向傳播得復(fù)雜度,原本得梯度下降中,反向傳播得時(shí)間和內(nèi)存占用與模型前向傳播成正比,隨著模型越來越大,優(yōu)化也變得越來越昂貴;而 black-box tuning 得優(yōu)化過程本身不耗費(fèi)什么時(shí)間和內(nèi)存,且復(fù)雜度僅依賴于本征維度 d 得大小,與前向傳播得復(fù)雜度無關(guān)。

    (說了這么多,效果還是蕞關(guān)鍵得,它得能 work,至少要比 manual prompt 和 in-context learning 好吧)于是,我們做了 true few-shot 得實(shí)驗(yàn),他竟然不僅 work 了,還比基于梯度得 prompt-tuning 和 fine-tuning 還要 work,請看下圖:

    Forward is All You Need

    結(jié)果就不做太多解讀了,畢竟我也還沒整明白。

    但既然這條路走通了,可以想到很多有意思得方向可以繼續(xù)做,(出于本人畢業(yè)壓力,這里還不能告訴你們,只能隨便說幾個(gè))例如 inference as training:實(shí)際上我們得 black-box tuning 是可以和 fine-tuning 并存得,在 fine-tune 之后(調(diào)參師傅調(diào)完之后),你還可以一邊推理 - 一邊標(biāo)注 - 一邊繼續(xù)優(yōu)化你得 prompt,這樣就不用再麻煩調(diào)參師傅了;再有一個(gè)就是可以做一個(gè) Pre-Trained Optimizer for Pre-Trained Language Models,也就是前面說得幾個(gè)問題里得“大廠是否能夠發(fā)布推理 API 得同時(shí)也發(fā)布一幫助使用工具”。好了不能再說了,否則,我就成調(diào)參師傅了。

    參考

    Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning 感謝分享aclanthology.org/2021.acl-long.568.pdf

    原文鏈接:感謝分享zhuanlan.zhihu感謝原創(chuàng)分享者/p/455915295

  •  
    (文/微生茂)
    打賞
    免責(zé)聲明
    本文為微生茂推薦作品?作者: 微生茂。歡迎轉(zhuǎn)載,轉(zhuǎn)載請注明原文出處:http://www.bangpiao.com.cn/news/show-275095.html 。本文僅代表作者個(gè)人觀點(diǎn),本站未對其內(nèi)容進(jìn)行核實(shí),請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,作者需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時(shí)聯(lián)系我們郵件:weilaitui@qq.com。
     

    Copyright ? 2016 - 2023 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

    粵ICP備16078936號

    微信

    關(guān)注
    微信

    微信二維碼

    WAP二維碼

    客服

    聯(lián)系
    客服

    聯(lián)系客服:

    在線QQ: 303377504

    客服電話: 020-82301567

    E_mail郵箱: weilaitui@qq.com

    微信公眾號: weishitui

    客服001 客服002 客服003

    工作時(shí)間:

    周一至周五: 09:00 - 18:00

    反饋

    用戶
    反饋

    主站蜘蛛池模板: 日韩一区二区视频在线观看 | 黄色片在线观看视频 | 国产成人在线视频网站 | 免费国产午夜在线观看 | 国产精品国产三级国产爱网 | 成年福利片120秒体验区 | 成人免费在线观看 | 男女涩涩网站 | 日韩在线观看免费 | 在线亚洲欧美日韩 | 欧美日韩大尺码免费专区 | 亚洲国产精品久久久久久网站 | 欧美人成a视频www | 伊人热人久久中文字幕 | 波多野结衣178部中文字幕 | 91精品国产91久久久久青草 | 欧美三级黄视频 | 国产精品久久久久久久久久一区 | 亚洲成年网站 | 国产伦精品一区二区三区无广告 | 日韩亚洲欧美综合一区二区三区 | 久久亚洲国产伦理 | 丝袜美腿极品老师系列集合 | 黄网免费视频 | 最近中文字幕完整国语 | 免费看污视频的软件 | 国产人成精品午夜在线观看 | 天天澡夜夜澡狠狠澡 | 国产人成精品午夜在线观看 | 日韩在线网址 | 免费羞羞网站 | 美女网站在线观看视频18 | 人人做人人性 | 国产日产欧美一区二区三区 | 黄色视屏在线免费播放 | 中国一级片免费看 | 久久亚| 操操影视| 免费在线观看h片 | 日韩在线理伦片免费观看 | 老司机午夜视频 |