国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

機器學習：self supervised learning

2年前作者：uncle_ll分類：Toy博客閱讀(16)違法舉報

這篇具有很好參考價值的文章主要介紹了機器學習：self supervised learning。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

機器學習：self supervised learning

340M 參數(shù)

機器學習：self supervised learning

機器學習：self supervised learning

BERT

自監(jiān)督學習的目標跟目標越接近越好。
機器學習：self supervised learning
一個任務：預測句子中被mask的詞：
BERT通過Masking Input來獲得訓練數(shù)據(jù)

mask有兩種做法：

將某個字token換成一個特殊符號（代表蓋?。?/p>
隨機把某個字換成另外一個字

蓋住的部分輸出的向量作為Linear層的輸入，然后送入softmax得到所有感興趣詞的概率分數(shù)。
蓋住的字就能作為標簽

另外一個任務：預測下一句
cls
sep

兩個句子應不應該接到一起，這項任務太簡單了。改進的方法：RoBERTa，SOP（前后句子都能互相組隊）

使用BERT

填空題
預測下一句
基于上面功能可以做一些downstream任務

用Pre-train訓練，fine-tune Bert模型

模型評估

機器學習：self supervised learning
九個任務上的平均分是多少表示模型的好壞。

基于Bert模型，自然語言處理能力有比較大的提升。

使用

case1: 輸入是序列，輸出是類別。
bert提取特征，加線性層+softmax分類，仍然需要一些標注數(shù)據(jù)

主要是學線性層的參數(shù)，bert得到的權重比隨機初始化的要好。
機器學習：self supervised learning

case2: 輸入是序列，輸出也是序列，類似于輸入，比如詞性標注
case3: 輸入兩個句子，輸出一個類別，比如推理（基于輸入能否推出某個論點）
case4：問答系統(tǒng)（有點限制的問答，答案一定出現(xiàn)在文章里面）

輸入一個問題，輸出兩個正整數(shù)，表示第s個字到第e個字作為答案。

正確答案在文章中的起始位置和結束位置。
把文章截成一小段一小段作為訓練數(shù)據(jù)。

機器學習：self supervised learning

BERT
ALBERT

時間：

TPU V3 花費8天

將句子弄壞，看看后續(xù)能不能還原出來。
T5 訓練，公開數(shù)據(jù)1PB

BERT工作原理

將字轉成embeeding后，相近的字特征空間里比較接近
機器學習：self supervised learning
計算特征之間的相似性：

機器學習：self supervised learning

BERT的輸出，每個向量代表那個對應的輸入的字。一個詞匯的意思取決于上下文：

早期的cbow技術的思想與BERT的想法一樣，word embedding, 兩層線性層。Bert就是深度學習版本的cbow，還考慮上下問：
機器學習：self supervised learning

DNA轉成對應的文字，然后再做分類：

Multi-lingual BERT

機器學習：self supervised learning

用多種語言混合的訓練填空題，結果在QA時候用英文訓練，能夠比較好的回答中文的QA；

不同語種之間相同意思在特征空間比較

機器學習：self supervised learning

兩天沒有變，一周突然就變了：

資料變多，訓練效果就變好。

機器學習：self supervised learning
矛盾點：英文輸出英文，中文輸出中文，假如BERT能夠學習不同語言的embedding，假如是英文句子空著的地方，為什么不推理出來的是中文呢？說明BERT還是能夠識別出語種的差距：

加上差距后就能英文輸入，中文輸出：
機器學習：self supervised learning

GPT

任務是預測接下來后出現(xiàn)的token是什么
機器學習：self supervised learning
應用的是Transformer的decoder，不會看到之后的詞：

有生成文字的能力：

使用

機器學習：self supervised learning

few shot learning
one-shot learning
zero-shot learning

第3代GPT在42個任務上進行測試，效果還不是很好，但是在3.5及以后，效果基本上達到人類水平。
GTP3的細節(jié)：

其他方面

機器學習：self supervised learning

語音mask版本的bert和gpt，預測接下來出現(xiàn)的內容。缺評測的benchmark，文本類的有GLUE，語音上有superb

文章來源地址http://www.zghlxwxcb.cn/news/detail-500682.html

到了這里，關于機器學習：self supervised learning的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如若轉載，請注明出處：如若內容造成侵權/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領支付寶紅包贊助服務器費用

[論文閱讀]Self-Supervised Learning for Videos: A Survey
Schiappa, M. C., Rawat, Y. S., Shah, M. (2023). Self-Supervised Learning for Videos: A Survey. ACM Comput. Surv., 55(13s), 1–37. https://doi.org/10.1145/3577925 論文中文名稱：視頻的自監(jiān)督學習綜述摘要：深度學習在各個領域取得的顯著成功依賴于大規(guī)模標注數(shù)據(jù)集的可用性。然而，獲取標注是昂貴且需要巨
2024年01月17日
瀏覽(25)
EMP-SSL: TOWARDS SELF-SUPERVISED LEARNING IN ONETRAINING EPOCH
Recently, self-supervised learning (SSL) has achieved tremendous success in learning image representation. Despite the empirical success, most self-supervised learning methods are rather “inefficient” learners, typically taking hundreds of training epochs to fully converge. In this work, we show that the key towards efficient self-supervised learning is
2024年02月15日
瀏覽(19)
【深度學習】半監(jiān)督學習 Efficient Teacher: Semi-Supervised Object Detection for YOLOv5
https://arxiv.org/abs/2302.07577 https://github.com/AlibabaResearch/efficientteacher 半監(jiān)督目標檢測（SSOD）在改善R-CNN系列和無錨點檢測器的性能方面取得了成功。然而，一階段基于錨點的檢測器缺乏生成高質量或靈活偽標簽的結構，導致SSOD存在嚴重的一致性問題。本文提出了Efficient Teacher框架
2024年02月11日
瀏覽(23)
【自監(jiān)督學習】對比學習（Contrastive Learning）介紹
1.1. 為什么要進行自監(jiān)督學習 ???????我們知道，標注數(shù)據(jù)總是有限的，就算ImageNet已經(jīng)很大，但是很難更大，那么它的天花板就擺在那，就是有限的數(shù)據(jù)總量。NLP領域目前的經(jīng)驗應該是：自監(jiān)督預訓練使用的數(shù)據(jù)量越大，模型越復雜，那么模型能夠吸收的知識越多，對下游
2024年02月07日
瀏覽(21)
遷移學習（CLDA）《CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation》
Note：[ wechat：Y466551 | 可加勿騷擾，付費咨詢 ] 論文標題：CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation 論文作者：Ankit Singh 論文來源：NeurIPS 2021 論文地址：download? 論文代碼：download 視屏講解：click 動機：半監(jiān)督導致來自標記源和目標樣本的監(jiān)督只能確保部分跨域特征對
2023年04月17日
瀏覽(22)
Video Self-Supervised Pertraining（Video SSL）
Video Self-Supervised learning (SSL) ：Video Model 在大規(guī)模 unabled dataset 上 Pertraining，然后在 labeled dataset 上 Finetuning： Video Pertraining Downstream Evaluation將預訓練的Video Model經(jīng)過Zero-Shot（不再訓練）、Fine-tuning（需要再訓練）、Linear probing（需要再訓練）.通常在以下Task上進行測試評估： A
2024年03月14日
瀏覽(18)
論文閱讀：SERE: Exploring Feature Self-relation for Self-supervised Transformer
Self-supervised 學習目的是在無人工標注的情況下通過自定制的任務（hand-crafted pretext tasks）學習豐富的表示。使用自監(jiān)督學習為卷積網(wǎng)絡（CNN）學習表示已經(jīng)被驗證對視覺任務有效。作為CNN的一種替代方案，視覺變換器（ViT）具有強大的表示能力，具有空間自注意力和通道
2024年02月09日
瀏覽(27)
初探BERT&Pre-train&Self-supervise
因為一次偶然的原因，自己有再次對Bert有了一個更深層地了解，特別是對預訓練這個概念，首先說明，自己是看了李宏毅老師的講解，這里只是嘗試進行簡單的總結復述并加一些自己的看法。說Bert之前不得不說現(xiàn)在的語言模型與芝麻街有密切的聯(lián)系了：以前，在自然語言處
2024年02月09日
瀏覽(13)
論文閱讀 Self-Supervised Burst Super-Resolution
這是一篇 ICCV 2023 的文章，主要介紹的是用自監(jiān)督的方式進行多幀超分的學習 Abstract 這篇文章介紹了一種基于自監(jiān)督的學習方式來進行多幀超分的任務，這種方法只需要原始的帶噪的低分辨率的圖。它不需要利用模擬退化的方法來構造數(shù)據(jù)，而且模擬退化的方法又可能存在域
2024年01月18日
瀏覽(23)
【論文閱讀】Digging Into Self-Supervised Monocular Depth Estimation
論文：https://arxiv.org/pdf/1806.01260.pdf 代碼：https://github.com/nianticlabs/monodepth2 A: 這篇論文試圖解決的問題是如何提高僅使用單目圖像進行深度估計的性能。具體來說，它關注的是如何在沒有像素級地面真實深度數(shù)據(jù)的情況下，通過自監(jiān)督學習方法訓練模型來生成高質量的深度圖。
2024年04月17日
瀏覽(25)