Azure AI Content Safety 檢測(cè)應(yīng)用程序和服務(wù)中用戶(hù)生成和 AI 生成的有害內(nèi)容。 Azure AI 內(nèi)容安全包括文本和圖像 API，可用于檢測(cè)有害材料。 交互式 Content Safety Studio，可用于查看、瀏覽和試用用于檢測(cè)不同形式的有害內(nèi)容的示例代碼。
關(guān)注TechLead，分享AI全維度知識(shí)。作者擁有10+年互聯(lián)網(wǎng)服務(wù)架構(gòu)、AI產(chǎn)品研發(fā)經(jīng)驗(yàn)、團(tuán)隊(duì)管理經(jīng)驗(yàn)，同濟(jì)本復(fù)旦碩，復(fù)旦機(jī)器人智能實(shí)驗(yàn)室成員，阿里云認(rèn)證的資深架構(gòu)師，項(xiàng)目管理專(zhuān)業(yè)人士，上億營(yíng)收AI產(chǎn)品研發(fā)負(fù)責(zé)人
什么是 Azure AI 內(nèi)容安全？
Azure AI Content Safety 檢測(cè)應(yīng)用程序和服務(wù)中用戶(hù)生成和 AI 生成的有害內(nèi)容。 Azure AI 內(nèi)容安全包括文本和圖像 API，可用于檢測(cè)有害材料。 交互式 Content Safety Studio，可用于查看、瀏覽和試用用于檢測(cè)不同形式的有害內(nèi)容的示例代碼。內(nèi)容篩選軟件可以幫助你的應(yīng)用遵守法規(guī)或維護(hù)用戶(hù)的預(yù)期環(huán)境。
使用場(chǎng)合
下面是軟件開(kāi)發(fā)人員或團(tuán)隊(duì)需要使用內(nèi)容審核服務(wù)的一些場(chǎng)景：
- 在聯(lián)機(jī)市場(chǎng)中審查產(chǎn)品目錄和其他用戶(hù)生成的內(nèi)容。
- 在游戲公司中審查用戶(hù)生成的游戲項(xiàng)目和聊天室。
- 對(duì)用戶(hù)添加的圖片和文字進(jìn)行審查的社交通訊平臺(tái)。
- 企業(yè)媒體公司對(duì)其內(nèi)容進(jìn)行集中式審查。
- K-12 教育解決方案提供商為學(xué)生和教師篩選掉不當(dāng)?shù)膬?nèi)容。
- 不能使用 Azure AI 內(nèi)容安全檢測(cè)非法兒童剝削圖像。
產(chǎn)品類(lèi)型
此服務(wù)提供不同類(lèi)型的分析。 下表介紹當(dāng)前可用的 API。
| 類(lèi)型 | 功能 |
|---|---|
| 分析文本 API | 掃描文本以檢測(cè)多種嚴(yán)重性級(jí)別的色情、暴力、仇恨和自殘內(nèi)容。 |
| 分析圖像 API | 掃描圖像以檢測(cè)多種嚴(yán)重性級(jí)別的色情、暴力、仇恨和自殘內(nèi)容。 |
| 越獄風(fēng)險(xiǎn)檢測(cè)（新功能） | 掃描文本以查找大型語(yǔ)言模型上的[越獄攻擊風(fēng)險(xiǎn)] |
| 受保護(hù)材料文本檢測(cè)（新功能） | 掃描 AI 生成的文本以查找已知文本內(nèi)容（例如歌詞、文章、食譜、選定的 Web 內(nèi)容）。 |
Content Safety Studio
Azure AI Content Safety Studio 是一種在線工具，旨在使用先進(jìn)的內(nèi)容審核 ML 模型處理可能存在的冒犯性、有風(fēng)險(xiǎn)或不良的內(nèi)容。 它提供模板和自定義工作流，讓用戶(hù)能夠選擇和構(gòu)建自己的內(nèi)容審核系統(tǒng)。 用戶(hù)可以上傳自己的內(nèi)容，也可以使用提供的示例內(nèi)容進(jìn)行試用。
Content Safety Studio 不僅包含現(xiàn)成的 AI 模型，還包含 Microsoft 內(nèi)置術(shù)語(yǔ)阻止列表，用于標(biāo)記不雅內(nèi)容并及時(shí)了解新趨勢(shì)。 你還可以上傳自己的阻止列表，拓展有害內(nèi)容的覆蓋范圍以滿(mǎn)足特定用例。
該工作室還允許設(shè)置審核工作流，可在其中持續(xù)監(jiān)視和提高內(nèi)容審核性能。 可幫助你滿(mǎn)足各種行業(yè)（如游戲、媒體、教育、電子商務(wù)等）的內(nèi)容要求。 企業(yè)可以輕松地將其服務(wù)連接到該工作室，并實(shí)時(shí)審核其內(nèi)容（包括用戶(hù)生成的內(nèi)容以及 AI 生成的內(nèi)容）。
所有這些功能都由工作室及其后端處理，客戶(hù)無(wú)需操心模型開(kāi)發(fā)。 可以載入數(shù)據(jù)以快速驗(yàn)證并對(duì) KPI 進(jìn)行相應(yīng)的監(jiān)視，例如技術(shù)指標(biāo)（延遲、準(zhǔn)確性、召回率）或業(yè)務(wù)指標(biāo)（阻止率、阻止量、類(lèi)別比例、語(yǔ)言比例等）。 通過(guò)簡(jiǎn)單的操作和配置，客戶(hù)可以快速測(cè)試不同的解決方案并找到最合適的解決方案，而無(wú)需花時(shí)間試驗(yàn)自定義模型或手動(dòng)進(jìn)行審核。
Content Safety Studio 功能
內(nèi)容安全工作室中提供以下 Azure AI 內(nèi)容安全服務(wù)功能：
-
審查文本內(nèi)容：使用文本審查工具，可以輕松對(duì)文本內(nèi)容運(yùn)行測(cè)試。 無(wú)論是要測(cè)試單個(gè)句子還是整個(gè)數(shù)據(jù)集，我們的工具都為你提供用戶(hù)友好的界面，讓你可以直接在門(mén)戶(hù)中評(píng)估測(cè)試結(jié)果。 可以嘗試使用不同的敏感度級(jí)別來(lái)配置內(nèi)容篩選器和阻止列表管理，確保內(nèi)容始終按照確切規(guī)范進(jìn)行審核。 此外，借助導(dǎo)出代碼的功能，可以直接在應(yīng)用程序中實(shí)現(xiàn)該工具，從而簡(jiǎn)化工作流并節(jié)省時(shí)間。
-
審查圖像內(nèi)容：使用圖像審查工具，可以輕松對(duì)圖像運(yùn)行測(cè)試，以確保它們符合內(nèi)容標(biāo)準(zhǔn)。 使用用戶(hù)友好的界面，可以直接在門(mén)戶(hù)中評(píng)估測(cè)試結(jié)果，并且可以嘗試使用不同的敏感度級(jí)別來(lái)配置內(nèi)容篩選器。 自定義設(shè)置后，可以輕松導(dǎo)出代碼，在應(yīng)用程序中實(shí)現(xiàn)該工具。
-
監(jiān)視聯(lián)機(jī)活動(dòng)：借助功能強(qiáng)大的監(jiān)視頁(yè)面，你可以輕松地跟蹤不同形式的審查 API 使用情況和趨勢(shì)。 使用此功能，可以訪問(wèn)詳細(xì)的響應(yīng)信息，包括類(lèi)別和嚴(yán)重性分布情況、延遲、錯(cuò)誤和阻止列表檢測(cè)。 此信息提供內(nèi)容審查性能的完整概述，讓你能優(yōu)化工作流，并確保內(nèi)容始終按照確切規(guī)范進(jìn)行審核。 使用我們的用戶(hù)友好界面，可以快速輕松地導(dǎo)航監(jiān)視頁(yè)面，以訪問(wèn)在內(nèi)容審核策略方面做出明智決策所需的信息。 你擁有隨時(shí)了解內(nèi)容審核性能以及實(shí)現(xiàn)內(nèi)容目標(biāo)所需的工具。
分析文本內(nèi)容
“審查文本內(nèi)容”頁(yè)提供快速試用文本審查的功能。
-
選擇“審查文本內(nèi)容”面板。
-
將文本添加到輸入字段，或從頁(yè)面上的面板中選擇示例文本。
提示
文本大小和粒度
文本提交的默認(rèn)最大長(zhǎng)度為 10K 個(gè)字符。
-
選擇“運(yùn)行測(cè)試”。
該服務(wù)返回檢測(cè)到的所有類(lèi)別，以及每個(gè)類(lèi)別的嚴(yán)重性級(jí)別（0-安全、2-低、4-中、6-高）。 它還會(huì)根據(jù)配置的篩選器返回二進(jìn)制的“已接受”/“已拒絕”結(jié)果。 使用右側(cè)“配置篩選器”選項(xiàng)卡中的矩陣為每個(gè)類(lèi)別設(shè)置允許/禁止的嚴(yán)重性級(jí)別。 然后，可以再次運(yùn)行文本以查看篩選器的效果。
通過(guò)右側(cè)的“使用阻止列表”選項(xiàng)卡，可以創(chuàng)建、編輯阻止列表并將其添加到審查工作流。 如果在運(yùn)行測(cè)試時(shí)啟用了阻止列表，則會(huì)在“結(jié)果”下獲取“阻止列表檢測(cè)”面板。 該面板會(huì)報(bào)告阻止列表的任何匹配項(xiàng)。
檢測(cè)越獄風(fēng)險(xiǎn)
在“越獄風(fēng)險(xiǎn)檢測(cè)”面板中可以嘗試進(jìn)行越獄風(fēng)險(xiǎn)檢測(cè)。 越獄攻擊是用戶(hù)提示，旨在激怒生成式 AI 模型展示它訓(xùn)練的行為，以避免或打破系統(tǒng)消息中設(shè)置的規(guī)則。 這些攻擊可以是復(fù)雜的角色扮演，也可以是對(duì)安全目標(biāo)的微妙顛覆。
- 選擇“越獄風(fēng)險(xiǎn)檢測(cè)”面板。
- 選擇頁(yè)面上的示例文本，或輸入自己的內(nèi)容進(jìn)行測(cè)試。 還可以上傳 CSV 文件以執(zhí)行批量測(cè)試。
- 選擇“運(yùn)行測(cè)試”。
服務(wù)將返回每個(gè)樣本的越獄風(fēng)險(xiǎn)級(jí)別和類(lèi)型。 你還可以通過(guò)選擇“詳細(xì)信息”按鈕來(lái)查看越獄風(fēng)險(xiǎn)檢測(cè)結(jié)果的詳細(xì)信息。
分析圖像內(nèi)容
“審查圖像內(nèi)容”頁(yè)提供快速試用圖像審查的功能。
- 選擇“審查圖像內(nèi)容”面板。
- 從頁(yè)面上的面板中選擇示例圖像，或上傳自己的圖像。 提交圖像的最大大小為 4MB，圖像尺寸必須介于 50x50 像素到 2048x2048 像素之間。 圖像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
- 選擇“運(yùn)行測(cè)試”。
該服務(wù)返回檢測(cè)到的所有類(lèi)別，以及每個(gè)類(lèi)別的嚴(yán)重性級(jí)別（0-安全、2-低、4-中、6-高）。 它還會(huì)根據(jù)配置的篩選器返回二進(jìn)制的“已接受”/“已拒絕”結(jié)果。 使用右側(cè)“配置篩選器”選項(xiàng)卡中的矩陣為每個(gè)類(lèi)別設(shè)置允許/禁止的嚴(yán)重性級(jí)別。 然后，可以再次運(yùn)行文本以查看篩選器的效果。
查看和導(dǎo)出代碼
可以使用“分析文本內(nèi)容”或“分析圖像內(nèi)容”頁(yè)中的“查看代碼”功能查看和復(fù)制示例代碼，其中包括嚴(yán)重性篩選、阻止列表和審查函數(shù)的配置。 然后，你可以自行部署代碼。
監(jiān)視聯(lián)機(jī)活動(dòng)
使用“監(jiān)視聯(lián)機(jī)活動(dòng)”頁(yè)可以查看 API 使用情況和趨勢(shì)。
你可以選擇要監(jiān)視的媒體類(lèi)型。 還可以通過(guò)選擇“顯示以下時(shí)間段內(nèi)的數(shù)據(jù):__”來(lái)指定要檢查的時(shí)間范圍。
在“每個(gè)類(lèi)別的拒絕率”圖表中，還可以調(diào)整每個(gè)類(lèi)別的嚴(yán)重性閾值。
如果要根據(jù)“十大禁用字詞”圖表更改某些字詞，也可以編輯阻止列表。
管理資源
若要查看資源詳細(xì)信息（如名稱(chēng)和定價(jià)層），請(qǐng)選擇 Content Safety Studio 主頁(yè)右上角的“設(shè)置”圖標(biāo)，然后選擇“資源”選項(xiàng)卡。如果有其他資源，也可以在此處切換資源。
輸入要求
文本提交的默認(rèn)最大長(zhǎng)度為 10K 個(gè)字符。 如果需要分析較長(zhǎng)的文本塊，可以跨多個(gè)相關(guān)提交拆分輸入文本（例如使用標(biāo)點(diǎn)符號(hào)或空格）。
提交圖像的最大大小為 4MB，圖像尺寸必須介于 50x50 像素到 2048x2048 像素之間。 圖像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
安全性
使用 Microsoft Entra ID 或托管標(biāo)識(shí)管理訪問(wèn)權(quán)限
為了實(shí)現(xiàn)增強(qiáng)的安全性，可以使用 Microsoft Entra ID 或托管實(shí)例 (MI) 來(lái)管理對(duì)資源的訪問(wèn)。
- 在創(chuàng)建內(nèi)容安全資源時(shí)，將會(huì)自動(dòng)啟用托管標(biāo)識(shí)。
- API 和 SDK 方案都支持 Microsoft Entra ID。
靜態(tài)數(shù)據(jù)加密
了解 Azure AI 內(nèi)容安全如何處理[數(shù)據(jù)的加密和解密]。 客戶(hù)管理的密鑰 (CMK)（也稱(chēng)為創(chuàng)建自己的密鑰 (BYOK)）在創(chuàng)建、輪換、禁用和撤銷(xiāo)訪問(wèn)控制方面具有更大的靈活性。 此外，你還可以審核用于保護(hù)數(shù)據(jù)的加密密鑰。
你當(dāng)前正在訪問(wèn) Microsoft Azure Global Edition 技術(shù)文檔網(wǎng)站。 如果需要訪問(wèn)由世紀(jì)互聯(lián)運(yùn)營(yíng)的 Microsoft Azure 中國(guó)技術(shù)文檔網(wǎng)站，請(qǐng)?jiān)L問(wèn) https://docs.azure.cn。
Azure AI 內(nèi)容安全支持的語(yǔ)言
文本審查
Azure AI 內(nèi)容安全文本審查功能支持多種語(yǔ)言，但它只針對(duì)少數(shù)語(yǔ)言進(jìn)行了專(zhuān)門(mén)訓(xùn)練和測(cè)試。
備注
語(yǔ)言自動(dòng)檢測(cè)文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-777405.html
無(wú)需為文本審查指定語(yǔ)言代碼，服務(wù)會(huì)自動(dòng)檢測(cè)你的輸入語(yǔ)言。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-777405.html
| 語(yǔ)言名稱(chēng) | 語(yǔ)言代碼 | 文本審查 | 經(jīng)過(guò)專(zhuān)門(mén)訓(xùn)練 |
|---|---|---|---|
| 南非荷蘭語(yǔ) | af |
? | |
| 阿爾巴尼亞語(yǔ) | sq |
? | |
| 阿姆哈拉語(yǔ) | am |
? | |
| 阿拉伯語(yǔ) | ar |
? | |
| 亞美尼亞語(yǔ) | hy |
? | |
| 阿塞拜疆語(yǔ) | az |
? | |
| Bangla | bn |
? | |
| 巴斯克語(yǔ) | eu |
? | |
| 白俄羅斯語(yǔ) | be |
? | |
| 保加利亞語(yǔ) | bg |
? | |
| 保加利亞語(yǔ) (拉丁文) | bg-Latn |
? | |
| 緬甸語(yǔ) | my |
? | |
| 加泰羅尼亞語(yǔ) | ca |
? | |
| 宿霧語(yǔ) | ceb |
? | |
| 中文 | zh |
? | ? |
| 中文（拉丁語(yǔ)） | zh-Latn |
? | |
| 柯西嘉語(yǔ) | co |
? | |
| 克羅地亞語(yǔ) | hr |
? | |
| 捷克語(yǔ) | cs |
? | |
| 丹麥語(yǔ) | da |
? | |
| 荷蘭語(yǔ) | nl |
? | |
| 英語(yǔ) | en |
? | ? |
| 世界語(yǔ) | eo |
? | |
| 愛(ài)沙尼亞語(yǔ) | et |
? | |
| 菲律賓語(yǔ) | fil |
? | |
| 芬蘭語(yǔ) | fi |
? | |
| 法語(yǔ) | fr |
? | ? |
| 加利西亞語(yǔ) | gl |
? | |
| 格魯吉亞語(yǔ) | ka |
? | |
| 德語(yǔ) | de |
? | ? |
| 希臘語(yǔ) | el |
? | |
| 希臘語(yǔ)（拉丁語(yǔ)） | el-Latn |
? | |
| 古吉拉特語(yǔ) | gu |
? | |
| 海地語(yǔ) | ht |
? | |
| 豪撒語(yǔ) | ha |
? | |
| 夏威夷語(yǔ) | haw |
? | |
| 希伯來(lái)語(yǔ) | iw |
? | |
| Hindi | hi |
? | |
| 北印度語(yǔ)（拉丁語(yǔ)腳本） | hi-Latn |
? | |
| 苗語(yǔ)（蒙古） | hmn |
? | |
| 匈牙利語(yǔ) | hu |
? | |
| 冰島語(yǔ) | is |
? | |
| 伊博語(yǔ) | ig |
? | |
| 印度尼西亞語(yǔ) | id |
? | |
| 愛(ài)爾蘭語(yǔ) | ga |
? | |
| 意大利語(yǔ) | it |
? | ? |
| 日語(yǔ) | ja |
? | ? |
| 日語(yǔ)（拉丁語(yǔ)） | ja-Latn |
? | |
| 爪哇文 | jv |
? | |
| 哈薩克語(yǔ) | kk |
? | |
| 高棉語(yǔ) | km |
? | |
| 朝鮮語(yǔ) | ko |
? | |
| 庫(kù)爾德語(yǔ) | ku |
? | |
| 柯?tīng)柨俗握Z(yǔ) | ky |
? | |
| 老撾語(yǔ) | lo |
? | |
| 拉丁語(yǔ) | la |
? | |
| 拉脫維亞語(yǔ) | lv |
? | |
| 立陶宛語(yǔ) | lt |
? | |
| 盧森堡語(yǔ) | lb |
? | |
| 馬其頓語(yǔ) | mk |
? | |
| 馬達(dá)加斯加語(yǔ) | mg |
? | |
| 馬來(lái)語(yǔ) | ms |
? | |
| 馬拉雅拉姆語(yǔ) | ml |
? | |
| 馬耳他語(yǔ) | mt |
? | |
| 毛利語(yǔ) | mi |
? | |
| 馬拉地語(yǔ) | mr |
? | |
| 蒙古語(yǔ) | mn |
? | |
| 尼泊爾語(yǔ) | ne |
? | |
| 尼昂加語(yǔ) | ny |
? | |
| 挪威語(yǔ) | no |
? | |
| 普什圖語(yǔ) | ps |
? | |
| 波斯語(yǔ) | fa |
? | |
| 波蘭語(yǔ) | pl |
? | |
| 葡萄牙語(yǔ) | pt |
? | ? |
| 旁遮普語(yǔ) | pa |
? | |
| 羅馬尼亞語(yǔ) | ro |
? | |
| 俄語(yǔ) | ru |
? | |
| 俄語(yǔ)（拉丁語(yǔ)） | ru-Latn |
? | |
| 蘇格蘭蓋爾語(yǔ) | gd |
? | |
| 塞爾維亞語(yǔ) | sr |
? | |
| 紹納語(yǔ) | sn |
? | |
| 信德語(yǔ) | sd |
? | |
| 僧伽羅語(yǔ) | si |
? | |
| 斯洛伐克語(yǔ) | sk |
? | |
| 斯洛文尼亞語(yǔ) | sl |
? | |
| 索馬里語(yǔ) | so |
? | |
| 南索托語(yǔ) | st |
? | |
| 西班牙語(yǔ) | es |
? | ? |
| 巽他語(yǔ) | su |
? | |
| 斯瓦希里語(yǔ) | sw |
? | |
| 瑞典語(yǔ) | sv |
? | |
| 塔吉克語(yǔ) | tg |
? | |
| 泰米爾語(yǔ) | ta |
? | |
| 泰盧固語(yǔ) | te |
? | |
| 泰語(yǔ) | th |
? | |
| 土耳其語(yǔ) | tr |
? | |
| 烏克蘭語(yǔ) | uk |
? | |
| 未知語(yǔ)言 | und |
? | |
| 烏爾都語(yǔ) | ur |
? | |
| 烏茲別克語(yǔ) | uz |
? | |
| 越南語(yǔ) | vi |
? | |
| 威爾士語(yǔ) | cy |
? | |
| 西弗里西亞語(yǔ) | fy |
? | |
| 班圖語(yǔ) | xh |
? | |
| 意第緒語(yǔ) | yi |
? | |
| 約魯巴語(yǔ) | yo |
? | |
| 祖魯語(yǔ) | zu |
? |
到了這里，關(guān)于Azure AI 內(nèi)容安全Content Safety Studio實(shí)戰(zhàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
