LLM開發(fā)者必讀論文：檢索增強(qiáng)（RAG）生成技術(shù)綜述！
為機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的愛好者、開發(fā)者和研究者提供了豐富的資源和學(xué)習(xí)機(jī)會(huì)，助您緊跟行業(yè)前沿，掌握最新技術(shù)動(dòng)態(tài)。
1、動(dòng)手實(shí)戰(zhàn)人工智能 Hands-on AI
地址：https://ai.huhuhang.com/intro
這個(gè)《動(dòng)手實(shí)戰(zhàn)人工智能 Hands-on AI》寫的相當(dāng)不錯(cuò)，作者用 Jupyter Notebook編寫了這個(gè)教程，參考了《機(jī)器學(xué)習(xí)方法》，《深度學(xué)習(xí)入門》，西瓜書，花花書等，剖析和推導(dǎo)每一個(gè)基礎(chǔ)算法的原理，將數(shù)學(xué)過程寫出來了，同時(shí)基于 Python 代碼對(duì)公式進(jìn)行實(shí)現(xiàn)，做到公式和代碼的一一對(duì)應(yīng)。
我把章節(jié)簡(jiǎn)單整理成了這個(gè)思維導(dǎo)圖，大家可以結(jié)合自身情況，挑選感興趣的章節(jié)閱讀。
2、huggingface的NLP、深度強(qiáng)化學(xué)習(xí)、語音課
地址：https://huggingface.co/learn
HuggingFace開放了NLP、深度強(qiáng)化學(xué)習(xí)、基于transformer的語音框架三門課，看了每一課的結(jié)構(gòu)，比較偏實(shí)踐，蠻不錯(cuò)的。
我最近對(duì)語音比較感興趣，加上正在學(xué)點(diǎn)前端，所以就把語音課拿出來，做了個(gè)文檔型網(wǎng)頁，準(zhǔn)備一邊學(xué)，一邊翻譯。
感興趣的同學(xué)可以一起翻譯：https://hf-audio.zhanglearning.com/
3、Awesome Jupyter
地址：https://github.com/markusschanta/awesome-jupyter
這個(gè)項(xiàng)目收錄了精選的Jupyter項(xiàng)目、庫和資源列表，已經(jīng)更新了很多年，我比較喜歡可視化部分，認(rèn)識(shí)了很多好玩的庫。
4、計(jì)算機(jī)科學(xué)熱門論文
地址：https://trendingpapers.com/
trendingpapers這個(gè)網(wǎng)站每日更新計(jì)算機(jī)科學(xué)最新、最火的論文，分門別類，查找起來非常方便。打開感興趣的論文，可以直接跳轉(zhuǎn)到arxiv查看pdf，也可以點(diǎn)擊Find similar找到該方向類似的論文。
5、LLM開發(fā)者必讀論文：檢索增強(qiáng)（RAG）生成技術(shù)綜述
論文：https://arxiv.org/abs/2312.10997
檢索增強(qiáng)利用外部知識(shí)庫來豐富大語言模型的上下文并生成答案，從而提升了答案的準(zhǔn)確度。論文深入探討并梳理了檢索增強(qiáng)型生成（ RAG）技術(shù)，非常全面。RAG是LLM領(lǐng)域最火爆的方向了，我在公眾號(hào)中曾推薦過吳恩達(dá)老師最近的一個(gè)短課：吳恩達(dá)最新短課，構(gòu)建和評(píng)估高級(jí) RAG 應(yīng)用程序，附中英字幕，感興趣想要學(xué)習(xí)RAG，這個(gè)短課，建議作為首選。
6、 Apple 公布了多模態(tài)大型語言模型 Ferret
地址：github.com/apple/ml-ferret
蘋果最新公布的 Ferret 是一種新的多模態(tài)大型語言模型（MLLM)，能夠理解圖像中任何形狀或粒度的空間參考，并準(zhǔn)確地理解詞匯描述。
蘋果開源了訓(xùn)練、微調(diào)、模型代碼和模型權(quán)重：https://github.com/apple/ml-ferret/
可以下載、安裝后一個(gè)命令運(yùn)行g(shù)radio前端
python -m ferret.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload --add_region_feature
7、免費(fèi)的基于ChatGPT API的安卓端語音助手
地址：https://github.com/Skythinker616/gpt-assistant-android
這個(gè)項(xiàng)目是免費(fèi)的、基于ChatGPT API的安卓端語音助手，可通過音量鍵喚起并進(jìn)行語音交流，支持聯(lián)網(wǎng)、Vision拍照識(shí)圖、連續(xù)對(duì)話、提問模板、3.5/4.0接口、Markdown渲染等功能
8、每日數(shù)學(xué)
地址：https://www.theoremoftheday.org/
這個(gè)網(wǎng)站每天更新一個(gè)數(shù)學(xué)定理（或引理、法則、公式或恒等式），每一個(gè)都足以裝飾數(shù)學(xué)殿堂的墻壁。
每個(gè)定理都被設(shè)計(jì)得盡可能讓廣大觀眾能夠欣賞，如果某個(gè)定理的表述看起來難以理解，可以繼續(xù)查看附帶的圖形解釋、巧妙的動(dòng)畫。
9、WhisperLive：接近實(shí)時(shí)的 OpenAI Whisper 實(shí)現(xiàn)
地址：https://github.com/collabora/WhisperLive
這個(gè)項(xiàng)目是一個(gè)實(shí)時(shí)轉(zhuǎn)錄應(yīng)用程序，它使用 OpenAI Whisper 模型將語音輸入（來自麥克風(fēng)的現(xiàn)場(chǎng)音頻輸入 or預(yù)先錄制的音頻文件 ）轉(zhuǎn)換為文本輸出。
10、Unsloth
地址：https://github.com/unslothai/unsloth
訓(xùn)練大語言模型往往會(huì)消耗大量算力和時(shí)間，Unsloth開源的這個(gè)項(xiàng)目可以加快訓(xùn)練速度和效率。
支持 Llama 7b、13b、70b、CodeLlama 34b、Mistral 7b、TinyLlama 以及所有 Llama 架構(gòu)！
Llama 7b Colab T4 實(shí)例在 1 T4 上比原來快 2 倍，使用的 VRAM 減少了 43%（8.4GB）LAION 數(shù)據(jù)集。Alpaca T4 實(shí)例在 1 T4 上也是快了 2 倍，使用了 6.4GB VRAM。
Mistral 7b Colab A100 實(shí)例在 1 A100 上快了 2.2 倍，使用的 VRAM 減少了 62%（12.4GB）。Colab T4 實(shí)例
CodeLlama 34b Colab 實(shí)例不會(huì)出現(xiàn) OOM，速度提升了 1.9 倍，使用的 VRAM 減少了 32%（27GB）。
Kaggle 上使用 2 Tesla T4 的 Alpaca 訓(xùn)練速度提高了 5.28 倍。Kaggle 實(shí)例
所有內(nèi)核均使用 OpenAI 的 Triton 語言編寫。
準(zhǔn)確率無損失 - 沒有使用近似方法 - 全部精確。
無需更換硬件。支持自 2018 年以來的 NVIDIA GPU。最低 CUDA 計(jì)算能力 7.0（V100、T4、Titan V、RTX 20、30、40x、A100、H100、L40 等）檢查您的 GPU
在 Linux 和 Windows 通過 WSL 上運(yùn)行。
實(shí)驗(yàn)性支持 DPO（直接偏好優(yōu)化）！
支持通過 bitsandbytes 進(jìn)行 4bit 和 16bit QLoRA / LoRA 微調(diào)。
開源版本的訓(xùn)練速度提高了 5 倍，或者您可以查看 Unsloth Pro 和 Max 代碼路徑，以獲得高達(dá) 30 倍的訓(xùn)練速度提升！
11、最后推薦三個(gè)AI工具
PIA：照片轉(zhuǎn)動(dòng)漫風(fēng)格工具，可線上試用
地址：https://huggingface.co/spaces/Leoxing/PIA
帶web界面的聲音克隆工具
地址：https://github.com/jianchang512/clone-voice
cloudflare-ai-web
地址：https://github.com/Jazee6/cloudflare-ai-web文章來源：http://www.zghlxwxcb.cn/news/detail-781417.html
支持GeminiPro Vision / Cloudflare Workers AI / ChatGPT的融合Web平臺(tái)文章來源地址http://www.zghlxwxcb.cn/news/detail-781417.html
到了這里，關(guān)于機(jī)器學(xué)習(xí)周刊 第4期：動(dòng)手實(shí)戰(zhàn)人工智能、計(jì)算機(jī)科學(xué)熱門論文、免費(fèi)的基于ChatGPT API的安卓端語音助手、每日數(shù)學(xué)、檢索增強(qiáng) (RAG) 生成技術(shù)綜述的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
