Vigil 是一款開源安全掃描程序，可檢測即時注入、越獄以及對大型語言模型(LLM) 的其他潛在威脅。
當(dāng)攻擊者使用專門設(shè)計的輸入成功影響 LLM 時，就會出現(xiàn)即時注入。這導(dǎo)致 LLM 無意中實現(xiàn)了攻擊者設(shè)定的目標(biāo)。
?
我對 LLM 的可能性感到非常興奮，但也注意到圍繞它們構(gòu)建的應(yīng)用程序以及我們允許應(yīng)用程序訪問的數(shù)據(jù)需要更好的安全實踐。
這個項目給了我一個很好的機會在人工智能和網(wǎng)絡(luò)安全的交叉點上構(gòu)建一些東西。希望它能為其他安全研究人員和開發(fā)人員提供一個嘗試現(xiàn)有的 LLM 輸入和輸出安全措施，甚至創(chuàng)建自己的安全措施的開始。
Vigil 的創(chuàng)建者 Adam M. Swanda 告訴我們，這比期望直接在生產(chǎn)中使用的任何東西都更有“可能”。
Vigil LLM 安全掃描儀亮點
- 模塊化和可擴展的設(shè)計
- 支持YARA（啟發(fā)式）、矢量數(shù)據(jù)庫相似性、變壓器模型、提示響應(yīng)相似性
- 只需很少的代碼即可添加自定義掃描儀
- 自托管或使用 OpenAI
- 提供嵌入數(shù)據(jù)集和 YARA 簽名
- 當(dāng)掃描儀閾值匹配時，Vector DB 可以根據(jù)檢測到的提示自動更新
- 非?？膳渲茫▎⒂?禁用掃描儀、修改閾值、使用不同的嵌入模型等）
- 通過添加自定義掃描儀、新的 YARA 簽名或更新矢量數(shù)據(jù)庫來輕松擴展
Vigil 可在?GitHub?上下載。該存儲庫還提供開始自托管所需的檢測簽名和數(shù)據(jù)集。
Swanda 計劃在短期內(nèi)繼續(xù)開發(fā) Vigil。
具體來說，他一直在開發(fā)一個應(yīng)用程序，旨在根據(jù)自定義數(shù)據(jù)集評估 Vigil 及其各種掃描儀。
該應(yīng)用程序評估誤報和其他相關(guān)指標(biāo)等方面。文章來源：http://www.zghlxwxcb.cn/news/detail-800841.html
此外，Swand 正在探索檢測基于圖像的提示注入的方法。文章來源地址http://www.zghlxwxcb.cn/news/detail-800841.html
到了這里，關(guān)于開源 LLM 安全掃描器的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
