ChatGPT原理剖析
文章來源：http://www.zghlxwxcb.cn/news/detail-633225.html
- 語言模型 == 文字接龍
- ChatGPT在測試階段是不聯(lián)網的。
ChatGPT背后的關鍵技術：預訓練（Pre-train）
- 又叫自監(jiān)督式學習（Self-supervised Learning），得到的模型叫做基石模型（Foundation Model）。在自監(jiān)督學習中，用一些方式“無痛”生成成對的學習資料。
- GPT1 -> GPT2 -> GPT3 （參數(shù)量增加，通過大量網絡資料學習，這一過程稱為預訓練），GPT -> ChatGPT (增加人類老師提供的資料學習)，GPT到ChatGPT增加的繼續(xù)學習的過程就叫做 微調 （finetune）。
預訓練多有幫助呢？
- 在多種語言上做預訓練后，只要教某一個語言的某一個任務，自動學會其他語言的同樣任務。
- 當在104種語言上預訓練，在英語數(shù)據上微調后在中文數(shù)據上測試的結果（78.8的F1值），和在中文數(shù)據上微調并在中文數(shù)據上測試的結果（78.1的F1值）相當。
ChatGPT帶來的研究問題
- 1.如何精準提出需求
- 2.如何更正錯誤【Neural Editing】
- 3.偵測AI生成的物件
- 怎么用模型偵測一段文字是不是AI生成的
- 4.不小心泄露秘密?【Machine Unlearning】
對于大型語言模型的兩種不同期待 Finetune vs. Prompt
文章來源地址http://www.zghlxwxcb.cn/news/detail-633225.html
- 成為專才，對預訓練模型做改造，加外掛和微調參數(shù)。
- 成為通才，機器要學會讀題目描述或者題目范例
- 題目敘述–Instruction Learning
- 范例–In-context Learning
-
In-context Learning
- 給機器的范例的domain是很重要的；范例的數(shù)量并不需要很多，并不是通過范例進行學習，范例的作用只是喚醒模型的記憶；也就是說，語言模型本來就會做情感分析，只是需要被指出需要做情感任務。
-
Instruction-tuning
到了這里，關于【學習筆記】生成式AI（ChatGPT原理，大型語言模型）的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
