note

• Yolov8提供了一個(gè)全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目標(biāo)檢測(cè)網(wǎng)絡(luò)和基于 YOLACT 的實(shí)例分割模型。和 YOLOv5 一樣，基于縮放系數(shù)也提供了 N/S/M/L/X 尺度的不同大小模型，用于滿足不同場(chǎng)景需求
• 骨干網(wǎng)絡(luò)和 Neck 部分可能參考了 YOLOv7 ELAN 設(shè)計(jì)思想，將 YOLOv5 的 C3 結(jié)構(gòu)換成了梯度流更豐富的 C2f 結(jié)構(gòu)，并對(duì)不同尺度模型調(diào)整了不同的通道數(shù)，屬于對(duì)模型結(jié)構(gòu)精心微調(diào)
• Head 部分相比 YOLOv5 改動(dòng)較大，換成了目前主流的解耦頭結(jié)構(gòu)，將分類和檢測(cè)頭分離，同時(shí)也從 Anchor-Based 換成了 Anchor-Free
• Loss 計(jì)算方面采用了 TaskAlignedAssigner 正樣本分配策略，并引入了 Distribution Focal Loss
• 訓(xùn)練的數(shù)據(jù)增強(qiáng)部分引入了 YOLOX 中的最后 10 epoch 關(guān)閉 Mosiac 增強(qiáng)的操作，可以有效地提升精度

一、yolov8和ultralytics簡(jiǎn)介

• yolov8：ultralytics公司于2023年1月開(kāi)源的anchor-free的最新目標(biāo)檢測(cè)算法框架
  使用：封裝在ultralytics庫(kù)，https://github.com/ultralytics/ultralytics
• 支持圖片分類，目標(biāo)檢測(cè)， 實(shí)例分割，目標(biāo)追蹤，關(guān)鍵點(diǎn)檢測(cè)

二、目標(biāo)檢測(cè)

1. 實(shí)踐例子

import ultralytics
from PIL import Image
from torchkeras.data import get_example_image
import torch
from ultralytics import YOLO

file_path = "/home/andy/torch_rechub_n/nn/torch/cv/"
img2 = Image.open(file_path + 'girl2.jpg')
# model = YOLO(file_path + 'yolov8n-cls.pt')

# 0. 分類
# model = YOLO(file_path + 'yolov8n-cls.pt')

# 1. 目標(biāo)檢測(cè)
model = YOLO(file_path + 'yolov8n.pt')

# 2. 語(yǔ)義分割
# model_test = YOLO('yolov8s-seg.pt')

# 3. 關(guān)鍵點(diǎn)檢測(cè)
# model = YOLO('yolov8s-pose.pt')

#save保存預(yù)測(cè)可視化， save_txt保存預(yù)測(cè)
preds = model.predict(source= file_path + 'girl2.jpg',save_txt=True,save=True)
#查看預(yù)測(cè)結(jié)果
Image.open(model.predictor.save_dir/'girl2.jpg')
# model.predict(source=0, show=True)

2. yolov8模型結(jié)構(gòu)

MMYOLO 中重構(gòu)的 YOLOv8 模型如下：

• 提供了一個(gè)全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目標(biāo)檢測(cè)網(wǎng)絡(luò)和基于 YOLACT 的實(shí)例分割模型。和 YOLOv5 一樣，基于縮放系數(shù)也提供了 N/S/M/L/X 尺度的不同大小模型，用于滿足不同場(chǎng)景需求
• 骨干網(wǎng)絡(luò)和 Neck 部分可能參考了 YOLOv7 ELAN 設(shè)計(jì)思想，將 YOLOv5 的 C3 結(jié)構(gòu)換成了梯度流更豐富的 C2f 結(jié)構(gòu)，并對(duì)不同尺度模型調(diào)整了不同的通道數(shù)，屬于對(duì)模型結(jié)構(gòu)精心微調(diào)
• Head 部分相比 YOLOv5 改動(dòng)較大，換成了目前主流的解耦頭結(jié)構(gòu)，將分類和檢測(cè)頭分離，同時(shí)也從 Anchor-Based 換成了 Anchor-Free
• Loss 計(jì)算方面采用了 TaskAlignedAssigner 正樣本分配策略，并引入了 Distribution Focal Loss
• 訓(xùn)練的數(shù)據(jù)增強(qiáng)部分引入了 YOLOX 中的最后 10 epoch 關(guān)閉 Mosiac 增強(qiáng)的操作，可以有效地提升精度

三、關(guān)鍵點(diǎn)檢測(cè)

關(guān)鍵點(diǎn)檢測(cè)（HRNet）：Ultralytics使用了HRNet模型進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。HRNet是一種基于高分辨率特征金字塔網(wǎng)絡(luò)的人體姿態(tài)估計(jì)算法，其在準(zhǔn)確性和速度方面均具有優(yōu)勢(shì)。

四、語(yǔ)義分割

語(yǔ)義分割（DeepLabv3）：Ultralytics使用了Google開(kāi)發(fā)的DeepLabv3模型進(jìn)行語(yǔ)義分割。該模型基于深度卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)D像中的每個(gè)像素進(jìn)行分類，并輸出像素級(jí)別的語(yǔ)義分割結(jié)果。

五、模型訓(xùn)練注意事項(xiàng)

當(dāng)然更多時(shí)候不能直接使用封裝庫(kù)，需要自己訓(xùn)練模型。

1. 提高圖片分類準(zhǔn)確度

需要綜合考慮數(shù)據(jù)、模型和訓(xùn)練三個(gè)方面：

• 數(shù)據(jù)增強(qiáng)：通過(guò)對(duì)圖片進(jìn)行旋轉(zhuǎn)、縮放、平移、翻轉(zhuǎn)等變換，增加訓(xùn)練數(shù)據(jù)的多樣性，從而提高模型的泛化能力和魯棒性。
• 模型選擇：選擇適合特定任務(wù)的模型架構(gòu)，如 ResNet、Inception、VGG 等，可以提高模型的分類準(zhǔn)確度。
• 模型調(diào)整：對(duì)模型的超參數(shù)進(jìn)行調(diào)整和優(yōu)化，如學(xué)習(xí)率、批大小、權(quán)重衰減等，可以進(jìn)一步提高模型的性能。
• 遷移學(xué)習(xí)：使用已經(jīng)訓(xùn)練好的模型，如在 ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的模型，進(jìn)行微調(diào)可以快速提高模型的分類準(zhǔn)確度。
• 模型集成：將多個(gè)模型的輸出進(jìn)行融合，如平均、加權(quán)平均、投票等，可以提高模型的分類準(zhǔn)確度。
• 訓(xùn)練技巧：使用正則化方法，如 Dropout、L1/L2 正則化等，可以幫助模型避免過(guò)擬合，提高模型的泛化能力。
• 數(shù)據(jù)預(yù)處理：對(duì)圖片進(jìn)行預(yù)處理，如歸一化、標(biāo)準(zhǔn)化等，可以提高模型的分類準(zhǔn)確度。

2. 經(jīng)典必讀和復(fù)現(xiàn)論文

網(wǎng)絡(luò)架構(gòu)

AlexNet: https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks
ZFNet: https://arxiv.org/abs/1311.2901
VGG16: https://arxiv.org/abs/1505.06798
ResNet: https://arxiv.org/abs/1704.06904
GoogLeNet: https://arxiv.org/abs/1409.4842
Inception: https://arxiv.org/abs/1512.00567
Xception: https://arxiv.org/abs/1610.02357
MobileNet: https://arxiv.org/abs/1704.04861

語(yǔ)義分割

FCN: https://arxiv.org/abs/1411.4038
SegNet: https://arxiv.org/abs/1511.00561
UNet: https://arxiv.org/abs/1505.04597
PSPNet: https://arxiv.org/abs/1612.01105
DeepLab: https://arxiv.org/abs/1606.00915
ICNet: https://arxiv.org/abs/1704.08545
ENet: https://arxiv.org/abs/1606.02147

生成對(duì)抗網(wǎng)絡(luò)

GAN: https://arxiv.org/abs/1406.2661
DCGAN: https://arxiv.org/abs/1511.06434
WGAN: https://arxiv.org/abs/1701.07875
Pix2Pix: https://arxiv.org/abs/1611.07004
CycleGAN: https://arxiv.org/abs/1703.10593

目標(biāo)檢測(cè)

RCNN: https://arxiv.org/abs/1311.2524
Fast-RCNN: https://arxiv.org/abs/1504.08083
Faster-RCNN: https://arxiv.org/abs/1506.01497
SSD: https://arxiv.org/abs/1512.02325
YOLO: https://arxiv.org/abs/1506.02640
YOLO9000: https://arxiv.org/abs/1612.08242

實(shí)例分割

Mask-RCNN: https://arxiv.org/abs/1703.06870
YOLACT: https://arxiv.org/abs/1904.02689

姿態(tài)估計(jì)

PoseNet: https://arxiv.org/abs/1505.07427
DensePose: https://arxiv.org/abs/1802.00434
原文鏈接：https://towardsdatascience.com/guide-to-learn-computer-vision-in-2020-36f19d92c934

Reference

[1] https://github.com/ultralytics/ultralytics
[2] https://github.com/open-mmlab/mmyolo/blob/dev/configs/yolov8/README.md
[3] YOLOv8 深度詳解.OpenMMLab?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-459148.html

到了這里，關(guān)于【CV】Yolov8：ultralytics目標(biāo)檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)、語(yǔ)義分割的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！