今年負(fù)責(zé)的APP產(chǎn)品涉及到內(nèi)容的審核，并且針對性的做了一套內(nèi)容審核系統(tǒng)和賬號安全體系。因此總結(jié)了一些經(jīng)驗。

內(nèi)容審核基礎(chǔ)邏輯：

• 內(nèi)容類型：文本、圖片、視頻、音頻

• 審核類型：涉黃、暴恐、涉政、廣告、垃圾違禁、辱罵自定義；主要為這幾類，其他的根據(jù)具體場景添加，比如文化宗教等。

審核模塊：

• 用戶發(fā)送信息流程：用戶登錄——內(nèi)容編輯——內(nèi)容上傳——內(nèi)容展示

• 用戶接受信息流程：用戶登錄——內(nèi)容展示——互動

通過簡單的流程梳理，不難看出涉及的對象有：發(fā)送用戶、接收用戶、內(nèi)容審核（人員、管理員等）等；那么考慮設(shè)計時，有兩個方向去思考：一方面，單純考慮針對某個對象，要做什么機(jī)制處理。另一個方面，將相關(guān)聯(lián)對象串聯(lián)起來，考慮產(chǎn)品設(shè)計。

一、對于發(fā)送用戶

可以通過用戶的賬號進(jìn)行處理，用戶的所有行為都能說明用戶想干什么，是什么樣的用戶。

針對用戶可以建立一套賬號基礎(chǔ)信息、用戶分值系統(tǒng)、用戶風(fēng)險監(jiān)控系統(tǒng)。

用戶基礎(chǔ)信息可以有用戶年齡、性別、地理位置、設(shè)備、ip地址、使用時長、交易信息、用戶發(fā)布各類信息等。用戶數(shù)據(jù)是對用戶進(jìn)行分析的基礎(chǔ)，有些數(shù)據(jù)可以在一定程度上反應(yīng)用戶信用。

用戶分值系統(tǒng)則是通過用戶基礎(chǔ)數(shù)據(jù)進(jìn)行分析，并數(shù)值化，可以按權(quán)重累加、按總分值加總均可。

比如：發(fā)布過一個違規(guī)內(nèi)容的用戶，則分值降低等。僅分值系統(tǒng)可能不夠，比如分值高的用戶，但是還是有可能發(fā)布不好的內(nèi)容。因此需要再通過其他策略處理，比如高中低風(fēng)險用戶制度、黑白名單制度等。

比如：一個用戶發(fā)布了一個違規(guī)內(nèi)容被檢測出來后，和分值解耦的另外一個平臺定義其為高風(fēng)險用戶，該用戶后續(xù)內(nèi)容將多次放到人工審核機(jī)制中。

二、內(nèi)容的編輯、上傳

內(nèi)容上傳后，就是常用的先跑系統(tǒng)審核流程——人工審核流程——及其他申述復(fù)審流程等。

常見可選擇敏感詞策略有：不同類型內(nèi)容選擇不同。

（1）關(guān)鍵詞：禁止關(guān)鍵詞，一旦識別立即攔截。疑似關(guān)鍵詞：支持更多策略，可以設(shè)置閾值，處理的方式有：疑似送審、攔截不送審、攔截加黑名單。設(shè)置的閾值指的是：設(shè)置一定數(shù)，若檢測出超過一定次數(shù)后，則對應(yīng)處理。

（2）黑白名單：顧名思義，黑名單一律攔截、白名單一律不檢測攔截。

（3）用戶頻次：主要針對用戶發(fā)送的方式、次數(shù)等次數(shù)進(jìn)行統(tǒng)計，形成用戶頻次統(tǒng)計數(shù)據(jù)。根據(jù)頻次可對用戶進(jìn)行處理：疑似送審、直接攔截、攔截加黑。

（4）黑白指紋：指紋-唯一，對內(nèi)容文件通過消息摘要算法生成MD5，配置入黑名單，一旦發(fā)現(xiàn)相同MD5則攔截。反之白名單一樣。

1. 系統(tǒng)審核

（1）文本

主要是關(guān)鍵詞過濾，關(guān)鍵詞大可分為：禁止、需審核關(guān)鍵詞。禁止關(guān)鍵詞：自動禁止的關(guān)鍵詞（色情、廣告等）；審核關(guān)鍵詞：檢測到比較模糊是否為違規(guī)關(guān)鍵詞的需要進(jìn)入人工審核流程。

關(guān)鍵詞的類型分為不同類型進(jìn)行檢測，關(guān)鍵詞的庫做成可配置的方式，以供應(yīng)對不同的場景。

（2）圖片

圖片的審核有幾種類型：圖片主體、圖片動作、圖片文字、圖片質(zhì)量、圖片廣告（二維碼、水印等）。針對不同的檢測內(nèi)容，可自行配置圖片審核策略。

（3）視頻

視頻審核和圖片審核是一樣的，不同的地方在于，視頻的審核需要先進(jìn)行截取視頻某一幀畫面然后再進(jìn)行圖片審核。不同于圖片，視頻還可進(jìn)行音頻審核。

（4）音頻

音頻審核最主要是兩點(diǎn)：1.是關(guān)鍵詞內(nèi)容，音頻轉(zhuǎn)為文字，進(jìn)行校驗關(guān)鍵詞。2.是音頻動物、喘息聲紋就監(jiān)控，這個需要閾值管理，主要有三個區(qū)域：正常區(qū)域、疑似區(qū)域、違規(guī)區(qū)域。

（5）其他

限定符：設(shè)置字符間可忽略的字符數(shù)；例如：“黃色”為違規(guī)詞，為了規(guī)避用戶可能會用“黃1色”，因此在“黃色”中間加入限定符以檢測。

還有正則表達(dá)式、亂碼等。

2. 人工審核

（1）人工審核機(jī)制

內(nèi)容給到人工進(jìn)行審核主要有：各系統(tǒng)轉(zhuǎn)發(fā)至人工審核（系統(tǒng)審核為疑似內(nèi)容、檢測為高危用戶等）、隨機(jī)抽樣審核；

人工任務(wù)分配機(jī)制：

1. 內(nèi)容的分發(fā)一般來說，可以按某些類型分發(fā)給不同的審核人員。比如：內(nèi)容類型（圖片、文字），再比如某個類型涉黃的內(nèi)容某些審核人員專門負(fù)責(zé)等等。

2. 分配的時間：審核人員可能不能做到24h在線，那么未在線的時候，該類內(nèi)容次日優(yōu)先處理。對于某些發(fā)布者的內(nèi)容，可以優(yōu)先審核。

（2）人工審核系統(tǒng)

人工審核系統(tǒng)主要分為幾塊：

1. 賬號管理：超級管理員可以通過系統(tǒng)管理人工審核賬號，包括開通、刪除、權(quán)限管理等。

2. 監(jiān)管平臺：對于人工審核的質(zhì)量也需要監(jiān)管。簡單的監(jiān)管，可以直接抽樣觀察+操作日志記錄即可。復(fù)雜的可以深入設(shè)計，對于審核人員來說他們的KPI大都是在一定時間內(nèi)完成一定數(shù)量審核。那么這樣很容易忽略質(zhì)量，因此交叉審核、復(fù)審是有必要的。內(nèi)容被人工審核后隨即一部分進(jìn)入交叉審核或者給到專門做二審的部門（KPI不同），若兩次審核結(jié)果不一致則需復(fù)審，復(fù)審由更高一級負(fù)責(zé)人完成。

3. 人工審核平臺：審核人員通過平臺對圖、文、音、視頻進(jìn)行審核。不同類型前端樣式的設(shè)計也是不同的。and 許多配套功能，倍速瀏覽、自動播放功能等。

3. 投訴和復(fù)審

對于發(fā)布者來說，內(nèi)容的審核有時候沒辦法做到百分百準(zhǔn)確，那么用戶可以通過申述方式進(jìn)行處理。那么對于人工審核人員中，也需要有對應(yīng)處理申述的后臺。

三、內(nèi)容展示

大家應(yīng)該都懂：先展示后審核、先審核后展示，這是基礎(chǔ)的。還有其他的展示邏輯：發(fā)布內(nèi)容后先對少量用戶展示，審核通過后再全量展示。而對于高敏感的內(nèi)容，限制展示渠道和曝光的上限，減少影響范圍。

四、對于接受者

對于接受內(nèi)容的用戶，可以通過他們的行為側(cè)面分析出內(nèi)容的情況。

1. 用戶基礎(chǔ)行為

觀看、點(diǎn)評、點(diǎn)贊、轉(zhuǎn)發(fā)等，主要關(guān)注的是點(diǎn)評/評論，對評論進(jìn)行監(jiān)控內(nèi)容，若評論中有對內(nèi)容的舉報或其他關(guān)鍵詞，則該內(nèi)容需要進(jìn)入人工審核流程關(guān)注該類內(nèi)容。

轉(zhuǎn)發(fā)也需要關(guān)注，大量的傳播有時候可能不是好消息，一旦有一個違規(guī)內(nèi)容被大量傳播，很可能導(dǎo)致公關(guān)問題。對大量傳播內(nèi)容，需要高度關(guān)注。

2. 舉報

用戶通過舉報，將內(nèi)容進(jìn)入人工檢查階段。

最后來一句：內(nèi)容安全、審核，主要工作應(yīng)該還是對內(nèi)容識別，提升系統(tǒng)審核效率、準(zhǔn)確度，提升人工審核效率。

題外話

初入計算機(jī)行業(yè)的人或者大學(xué)計算機(jī)相關(guān)專業(yè)畢業(yè)生，很多因缺少實戰(zhàn)經(jīng)驗，就業(yè)處處碰壁。下面我們來看兩組數(shù)據(jù)：

• 2023屆全國高校畢業(yè)生預(yù)計達(dá)到1158萬人，就業(yè)形勢嚴(yán)峻；

• 國家網(wǎng)絡(luò)安全宣傳周公布的數(shù)據(jù)顯示，到2027年我國網(wǎng)絡(luò)安全人員缺口將達(dá)327萬。

一方面是每年應(yīng)屆畢業(yè)生就業(yè)形勢嚴(yán)峻，一方面是網(wǎng)絡(luò)安全人才百萬缺口。

6月9日，麥可思研究2023年版就業(yè)藍(lán)皮書（包括《2023年中國本科生就業(yè)報告》《2023年中國高職生就業(yè)報告》）正式發(fā)布。

2022屆大學(xué)畢業(yè)生月收入較高的前10個專業(yè)

本科計算機(jī)類、高職自動化類專業(yè)月收入較高。2022屆本科計算機(jī)類、高職自動化類專業(yè)月收入分別為6863元、5339元。其中，本科計算機(jī)類專業(yè)起薪與2021屆基本持平，高職自動化類月收入增長明顯，2022屆反超鐵道運(yùn)輸類專業(yè)（5295元）排在第一位。

具體看專業(yè)，2022屆本科月收入較高的專業(yè)是信息安全（7579元）。對比2018屆，電子科學(xué)與技術(shù)、自動化等與人工智能相關(guān)的本科專業(yè)表現(xiàn)不俗，較五年前起薪漲幅均達(dá)到了19%。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)雖是近年新增專業(yè)但表現(xiàn)亮眼，已躋身2022屆本科畢業(yè)生畢業(yè)半年后月收入較高專業(yè)前三。五年前唯一進(jìn)入本科高薪榜前10的人文社科類專業(yè)——法語已退出前10之列。

“沒有網(wǎng)絡(luò)安全就沒有國家安全”。當(dāng)前，網(wǎng)絡(luò)安全已被提升到國家戰(zhàn)略的高度，成為影響國家安全、社會穩(wěn)定至關(guān)重要的因素之一。

網(wǎng)絡(luò)安全行業(yè)特點(diǎn)

1、就業(yè)薪資非常高，漲薪快 2021年獵聘網(wǎng)發(fā)布網(wǎng)絡(luò)安全行業(yè)就業(yè)薪資行業(yè)最高人均33.77萬！

2、人才缺口大，就業(yè)機(jī)會多

2019年9月18日《中華人民共和國中央人民政府》官方網(wǎng)站發(fā)表：我國網(wǎng)絡(luò)空間安全人才 需求140萬人，而全國各大學(xué)校每年培養(yǎng)的人員不到1.5W人。獵聘網(wǎng)《2021年上半年網(wǎng)絡(luò)安全報告》預(yù)測2027年網(wǎng)安人才需求300W，現(xiàn)在從事網(wǎng)絡(luò)安全行業(yè)的從業(yè)人員只有10W人。

行業(yè)發(fā)展空間大，崗位非常多

網(wǎng)絡(luò)安全行業(yè)產(chǎn)業(yè)以來，隨即新增加了幾十個網(wǎng)絡(luò)安全行業(yè)崗位︰網(wǎng)絡(luò)安全專家、網(wǎng)絡(luò)安全分析師、安全咨詢師、網(wǎng)絡(luò)安全工程師、安全架構(gòu)師、安全運(yùn)維工程師、滲透工程師、信息安全管理員、數(shù)據(jù)安全工程師、網(wǎng)絡(luò)安全運(yùn)營工程師、網(wǎng)絡(luò)安全應(yīng)急響應(yīng)工程師、數(shù)據(jù)鑒定師、網(wǎng)絡(luò)安全產(chǎn)品經(jīng)理、網(wǎng)絡(luò)安全服務(wù)工程師、網(wǎng)絡(luò)安全培訓(xùn)師、網(wǎng)絡(luò)安全審計員、威脅情報分析工程師、災(zāi)難恢復(fù)專業(yè)人員、實戰(zhàn)攻防專業(yè)人員…

職業(yè)增值潛力大

網(wǎng)絡(luò)安全專業(yè)具有很強(qiáng)的技術(shù)特性，尤其是掌握工作中的核心網(wǎng)絡(luò)架構(gòu)、安全技術(shù)，在職業(yè)發(fā)展上具有不可替代的競爭優(yōu)勢。

隨著個人能力的不斷提升，所從事工作的職業(yè)價值也會隨著自身經(jīng)驗的豐富以及項目運(yùn)作的成熟，升值空間一路看漲，這也是為什么受大家歡迎的主要原因。

從某種程度來講，在網(wǎng)絡(luò)安全領(lǐng)域，跟醫(yī)生職業(yè)一樣，越老越吃香，因為技術(shù)愈加成熟，自然工作會受到重視，升職加薪則是水到渠成之事。

為了幫助大家更好的學(xué)習(xí)網(wǎng)絡(luò)安全，我給大家準(zhǔn)備了一份網(wǎng)絡(luò)安全入門/進(jìn)階學(xué)習(xí)資料，里面的內(nèi)容都是適合零基礎(chǔ)小白的筆記和資料，不懂編程也能聽懂、看懂這些資料！

因篇幅有限，僅展示部分資料，需要點(diǎn)擊下方鏈接即可前往獲取

[2024最新CSDN大禮包：《黑客&網(wǎng)絡(luò)安全入門&進(jìn)階學(xué)習(xí)資源包》免費(fèi)分享]

因篇幅有限，僅展示部分資料，需要點(diǎn)擊下方鏈接即可前往獲取

[2024最新CSDN大禮包：《黑客&網(wǎng)絡(luò)安全入門&進(jìn)階學(xué)習(xí)資源包》免費(fèi)分享]

文章來源地址http://www.zghlxwxcb.cn/news/detail-847590.html

到了這里，關(guān)于內(nèi)容安全審核系統(tǒng)的設(shè)計思路的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！