目錄
1.Segment anything
?2.補(bǔ)充圖像分割和目標(biāo)檢測(cè)的區(qū)別
1.Segment anything
定義:圖像分割通用大模型
延深:可以預(yù)計(jì)視覺(jué)檢測(cè)大模型,也快了。
進(jìn)一步理解:傳統(tǒng)圖像分割對(duì)于下圖處理時(shí),識(shí)別房子的是識(shí)別房子的模型,識(shí)別草的是識(shí)別草的模型,識(shí)別人的是識(shí)別人的模型,而Segment anything可一次識(shí)別所有物體??梢赃@樣說(shuō)以前我們的模型是訓(xùn)練得到幾個(gè),幾十個(gè),幾千個(gè)標(biāo)簽,而Segment anything可以得到所有標(biāo)簽,
再進(jìn)一步理解:chagpt在實(shí)現(xiàn)文本任務(wù)時(shí)我們發(fā)現(xiàn),他同樣是聚焦所有點(diǎn),只需要幾個(gè)提示詞去引導(dǎo)它,對(duì)應(yīng)下圖,比方說(shuō),找到圖中病毒或者找到圖中藍(lán)色區(qū)域。在?Segment anything同樣是這個(gè)道理,我們對(duì)圖中想要識(shí)別的對(duì)象,點(diǎn)三個(gè)點(diǎn)(提示詞),模型便知道你想識(shí)別這個(gè)對(duì)象。也可以用一個(gè)框(提示詞)對(duì)這個(gè)對(duì)象作為指導(dǎo)。通用大模型不用一次把所有東西都訓(xùn)練好,在有大模型后,有提示詞,可以持續(xù)學(xué)習(xí)。
?2.補(bǔ)充圖像分割和目標(biāo)檢測(cè)的區(qū)別
定義:在這兩個(gè)任務(wù)中,我們都希望找到圖像中某些感興趣的項(xiàng)目的位置,比如說(shuō)圖中人的位置。從輸出理解兩者區(qū)別:
? ? ? ? ? ? ? 1. 目標(biāo)檢測(cè):預(yù)測(cè)包圍盒(對(duì)于下面的狗只用框框起來(lái)即可)
? ? ? ? ? ? ? YOLO,F(xiàn)ast-RCNN,似乎還有個(gè)SSD
? ? ? ? ? ? ? 輸入:一個(gè)矩陣(輸入圖像),每個(gè)像素有 3 個(gè)值(紅、綠、藍(lán)),如果是黑色和白色,則每個(gè)像素有 1 個(gè)值。
? ? ? ? ? ? ? 輸出:由左上角和大小定義的邊框列表。
? ? ? ? ? ? ? 2. 圖像分割:預(yù)測(cè)掩模(對(duì)下面的狗比方說(shuō),紅色的狗,周邊標(biāo)注時(shí)要對(duì)每一個(gè)像素點(diǎn)標(biāo)注,過(guò)于麻煩)
? ? ? ? ? ? ? Mask RCNN,Unet,Segnet
? ? ? ? ? ? ?輸入:是一個(gè)矩陣(輸入圖像),每個(gè)像素有 3 個(gè)值(紅、綠、藍(lán)),如果是黑色和白色,則每個(gè)像素有 1 個(gè)值
? ? ? ? ? ? ?輸出:是一個(gè)矩陣(掩模圖像),每個(gè)像素有一個(gè)包含指定類(lèi)別的
? ? ? ? ? ? ?結(jié)論:輸出不同,從下圖理解二者區(qū)別:簡(jiǎn)單理解目標(biāo)檢測(cè)在圖中表現(xiàn)為框,圖像分割是一種類(lèi)別的顏色。
補(bǔ)充一下語(yǔ)義分割和實(shí)例分割:
? ? ? ? 語(yǔ)義分割:(圖片分割)是對(duì)圖像中的每一塊像素都應(yīng)該給出類(lèi)別標(biāo)簽。
? ? ? ? 實(shí)例分割:(目標(biāo)檢測(cè))只需要給出我們關(guān)注的物體的像素的類(lèi)別標(biāo)簽。
? ? ? ? 結(jié)論:兩者其實(shí)沒(méi)有本質(zhì)的區(qū)別。
參考文獻(xiàn)
1.分割一切!刷爆CV圈子的視覺(jué)終極模型Segment Anything(SAM),唐宇迪博士?jī)尚r(shí)原理精講、源碼復(fù)現(xiàn)帶你實(shí)操!_嗶哩嗶哩_bilibili
2.圖像分割與目標(biāo)檢測(cè)與區(qū)別_圖像分割和目標(biāo)檢測(cè)區(qū)別_必修居士的博客-CSDN博客文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-619393.html
3.計(jì)算機(jī)視覺(jué):圖像檢測(cè)和圖像分割有什么區(qū)別?_圖像識(shí)別與分割_喜歡打醬油的老鳥(niǎo)的博客-CSDN博客文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-619393.html
到了這里,關(guān)于Segment anything(圖片分割大模型)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!