国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

使用Bert預(yù)訓(xùn)練模型處理序列推薦任務(wù)

2年前作者：hhy不許摸魚分類：Toy博客閱讀(23)違法舉報

這篇具有很好參考價值的文章主要介紹了使用Bert預(yù)訓(xùn)練模型處理序列推薦任務(wù)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點(diǎn)擊"舉報違法"按鈕提交疑問。

最近的工作有涉及該任務(wù)，整理一下思路以及代碼細(xì)節(jié)。

流程

總體來說思路就是首先用預(yù)訓(xùn)練的bert模型，在訓(xùn)練集的序列上進(jìn)行CLS任務(wù)。對序列內(nèi)容（這里默認(rèn)是token id的sequence）以0.3左右的概率進(jìn)行隨機(jī)mask，然后將相應(yīng)sequence的attention mask（原來決定padding index）和label（也就是mask的ground truth）輸入到bert model里面。

當(dāng)然其中vocab.txt并不存在的token是需要add進(jìn)去的，具體方法不再詳述，網(wǎng)上例子很多，注意word embedding也需要初始化就行。

模型定義：
self.model = AutoModelForMaskedLM.from_pretrained('./bert')
模型的輸入：
result = self.bert_model(tail_mask, attention_mask, labels)
得到模型訓(xùn)練的結(jié)果之后，要做一個選擇：

（1）transformer的bert model可以輸出要預(yù)測時間步的hidden state，可以選擇取出對應(yīng)的hidden state，其中需要在數(shù)據(jù)處理的時候記錄下每個sequence的tail position，也就是要預(yù)測位置的idx。另外我認(rèn)為既然要進(jìn)行序列推薦，那么最后一個tail position的token表征一定是最重要的，所以需要對tail position的idx專門給個寫死的mask，效果會好一些。然后與sequence中item的全集進(jìn)行相似度的計算，再去算交叉熵loss。

bert_hidden = result.hidden_states[-1]
bert_seq_hidden = torch.zeros((self.args.batch_size, 312)).to(self.device)
for i in range(self.args.batch_size):
	bert_seq_hidden[i,:] = bert_hidden[i, tail_pos[i], :]
logits = torch.matmul(bert_seq_hidden, test_item_emb.transpose(0, 1))
main_loss = self.criterion(logits, targets)

（2）同時也可以result.loss直接數(shù)據(jù)mask prediction的loss，我理解這個loss面對的任務(wù)是我要求sequence中的各個token表征都要盡可能準(zhǔn)確，都要考慮，（1）可能更加注重最后一個位置的標(biāo)準(zhǔn)的準(zhǔn)確性。

然后在evaluate階段，需要注意輸入到模型的不再是tail_mask，而是僅僅mask掉tail token id的sequence，因為我們需要盡可能準(zhǔn)確的序列信息，只需要保證要預(yù)測的存在mask就夠了。

由于是推薦任務(wù)，而且bert得到的hidden state表征過于隱式，所以需要一定的個性化引導(dǎo)它進(jìn)行訓(xùn)練。經(jīng)過個人的實(shí)驗也確實(shí)如此，而且結(jié)果相差很多。

以上就是我個人的總結(jié)經(jīng)驗，歡迎大家指點(diǎn)。文章來源地址http://www.zghlxwxcb.cn/news/detail-634835.html

到了這里，關(guān)于使用Bert預(yù)訓(xùn)練模型處理序列推薦任務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請點(diǎn)擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

【NLP】1、BERT | 雙向 transformer 預(yù)訓(xùn)練語言模型
論文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 出處：Google 在 BERT 之前的語言模型如 GPT 都是單向的模型，但 BERT 認(rèn)為雖然單向（從左到右預(yù)測）預(yù)測任務(wù)符合語言模型的建模過程，但對一些語言理解任務(wù)不太友好，因為要理解一句話說的是什么意思的話
2024年02月12日
瀏覽(18)
NLP（六十七）BERT模型訓(xùn)練后動態(tài)量化（PTDQ）
??本文將會介紹BERT模型訓(xùn)練后動態(tài)量化（Post Training Dynamic Quantization，PTDQ）。量化 ??在深度學(xué)習(xí)中，量化（Quantization）指的是使用更少的bit來存儲原本以浮點(diǎn)數(shù)存儲的tensor，以及使用更少的bit來完成原本以浮點(diǎn)數(shù)完成的計算。這么做的好處主要有如下幾點(diǎn)：更少的模型
2024年02月09日
瀏覽(19)
NLP文本匹配任務(wù)Text Matching [有監(jiān)督訓(xùn)練]：PointWise（單塔）、DSSM（雙塔）、Sentence BERT（雙塔）項目實(shí)踐
本項目對3種常用的文本匹配的方法進(jìn)行實(shí)現(xiàn)：PointWise（單塔）、DSSM（雙塔）、Sentence BERT（雙塔）。文本匹配（Text Matching）是 NLP 下的一個分支，通常用于計算兩個句子之間的相似程度，在推薦、推理等場景下都有著重要的作用。舉例來講，今天我們有一堆評論數(shù)據(jù)，我們
2024年02月12日
瀏覽(26)
[oneAPI] 基于BERT預(yù)訓(xùn)練模型的英文文本蘊(yùn)含任務(wù)
比賽：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517 Intel? DevCloud for oneAPI：https://devcloud.intel.com/oneapi/get_started/aiAnalyticsToolkitSamples/ 我們在Intel? DevCloud for oneAPI平臺上構(gòu)建了我們的實(shí)驗環(huán)境，充分利用了其完全虛擬化的特性，使我們能夠?qū)Ｗ⒂谀Ｐ偷拈_發(fā)和優(yōu)化，無需煩心底
2024年02月11日
瀏覽(25)
[oneAPI] 基于BERT預(yù)訓(xùn)練模型的SQuAD問答任務(wù)
比賽：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517 Intel? DevCloud for oneAPI：https://devcloud.intel.com/oneapi/get_started/aiAnalyticsToolkitSamples/ 我們在Intel? DevCloud for oneAPI平臺上構(gòu)建了實(shí)驗環(huán)境，充分發(fā)揮其完全虛擬化的優(yōu)勢。更具影響力的是，我們充分發(fā)揮了Intel? Optimization for PyTor
2024年02月11日
瀏覽(21)
[oneAPI] 基于BERT預(yù)訓(xùn)練模型的SWAG問答任務(wù)
比賽：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517 Intel? DevCloud for oneAPI：https://devcloud.intel.com/oneapi/get_started/aiAnalyticsToolkitSamples/ 在Intel? DevCloud for oneAPI平臺上，我們搭建了實(shí)驗環(huán)境，充分發(fā)揮其完全虛擬化的優(yōu)勢，使我們能夠?qū)Ｗ⒂谀Ｐ烷_發(fā)和優(yōu)化，無需過多關(guān)心底層配
2024年02月11日
瀏覽(15)
[oneAPI] 基于BERT預(yù)訓(xùn)練模型的命名體識別任務(wù)
比賽：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517 Intel? DevCloud for oneAPI：https://devcloud.intel.com/oneapi/get_started/aiAnalyticsToolkitSamples/ 在本次實(shí)驗中，我們在Intel? DevCloud for oneAPI上搭建實(shí)驗，借助完全虛擬化的環(huán)境，專注于模型開發(fā)與優(yōu)化，無需關(guān)心底層配置。使用Intel? Opti
2024年02月12日
瀏覽(23)
自然語言處理（NLP）一直是人工智能領(lǐng)域的一項重要任務(wù)，其涉及到從文本中提取特征、組織數(shù)據(jù)、訓(xùn)練模型等諸多復(fù)雜任務(wù)。如何有效地進(jìn)行文本理解和分析?
作者：禪與計算機(jī)程序設(shè)計藝術(shù) 自然語言處理（NLP）一直是人工智能領(lǐng)域的一項重要任務(wù)，其涉及到從文本中提取特征、組織數(shù)據(jù)、訓(xùn)練模型等諸多復(fù)雜任務(wù)。如何有效地進(jìn)行文本理解和分析，成為一個重要研究課題。近年來，隨著計算能力的提升和硬件性能的增強(qiáng)，大規(guī)模
2024年02月09日
瀏覽(21)
BERT數(shù)據(jù)處理，模型，預(yù)訓(xùn)練
首先讀取文本，每個文本必須包含兩個以上句子（為了第二個預(yù)訓(xùn)練任務(wù)：判斷兩個句子，是否連續(xù)）。paragraphs 其中一部分結(jié)果如下所示上述已經(jīng)將數(shù)據(jù)處理完，最后看一下處理后的例子：隨后就是把處理好的數(shù)據(jù)，送入bert中。在 BERTEncoder 中，執(zhí)行如下代碼：將編碼完后
2024年02月13日
瀏覽(17)
中文自然語言處理（NLP）的命名實(shí)體識別（NER）任務(wù)常見序列標(biāo)注方法
中文NLP的NER任務(wù)中的數(shù)據(jù)集序列標(biāo)注方法，主要有以下幾種常用的標(biāo)注方案： BIO標(biāo)注法（Begin-Inside-Outside）： B （Begin）表示實(shí)體的開始部分。 I （Inside）表示實(shí)體的中間部分。 O （Outside）表示非實(shí)體部分。例如，“北京是中國的首都”，如果要標(biāo)注“北京”為地名，會標(biāo)
2024年01月23日
瀏覽(30)