YOLO代表“You Only Look Once”，它是一種流行的實(shí)時(shí)物體檢測算法系列。最初的YOLO物體檢測器于2016年首次發(fā)布。從那時(shí)起，YOLO的不同版本和變體被提出，每個(gè)版本和變體都顯著提高了性能和效率。YOLO算法作為one-stage目標(biāo)檢測算法最典型的代表，其基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)象的識(shí)別和定位，運(yùn)行速度很快，可以用于實(shí)時(shí)系統(tǒng)。YOLOv7 是 YOLO 模型系列的下一個(gè)演進(jìn)階段，在不增加推理成本的情況下，大大提高了實(shí)時(shí)目標(biāo)檢測精度。

項(xiàng)目使用的代碼在github開源，來源

github (GitHub - openvinotoolkit/openvino: OpenVINO? is an open-source toolkit for optimizing and deploying AI inference_notebooks/tree/main/notebooks/226-yolov7-optimization)[]

1. 準(zhǔn)備模型與環(huán)境

1.1安裝openvino以及nncf包，并且clone yolov7的倉庫

%pip install -q "openvino>=2023.2.0" "nncf>=2.5.0"

import sys

from pathlib import Path

sys.path.append("../utils")

from notebook_utils import download_file

# Clone YOLOv7 repo

if not Path('yolov7').exists():

? ? !git clone https://github.com/WongKinYiu/yolov7

%cd yolov7

下圖為代碼執(zhí)行后的輸出

# Download pre-trained model weights

MODEL_LINK = "https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-tiny.pt"

DATA_DIR = Path("data/")

MODEL_DIR = Path("model/")

MODEL_DIR.mkdir(exist_ok=True)

DATA_DIR.mkdir(exist_ok=True)



download_file(MODEL_LINK, directory=MODEL_DIR, show_progress=True)

下圖為代碼執(zhí)行后的輸出

2. 使用Pytorch原生推理檢查模型

調(diào)用推理腳本`ignore detect.py`,輸入模型相關(guān)信息和推理圖片執(zhí)行推理

!python -W ignore detect.py --weights model/yolov7-tiny.pt --conf 0.25 --img-size 640 --source inference/images/horses.jpg

下圖為代碼執(zhí)行后的輸出，執(zhí)行完成后可以看到輸出圖像尺寸信息以及torch版本，推理設(shè)備為CPU。推理結(jié)果可以看到識(shí)別到5匹馬，推理耗時(shí)、NMS耗時(shí),結(jié)果圖片保存路徑等信息。

打開圖片查看結(jié)果

3.導(dǎo)出模型為onnx格式

3.1 查看`export.py`腳本參數(shù)說明

3.2 輸入模型權(quán)重文件路徑和要導(dǎo)出Detect()層網(wǎng)格，執(zhí)行腳本生成onnx模型文件并保存

需要說明的是，將整個(gè)后處理包含到模型中有助于獲得更高性能的結(jié)果，但同時(shí)會(huì)降低模型的靈活性，并且不能保證完全準(zhǔn)確，這就是為什么我們只添加 --grid 參數(shù)來保留原始 pytorch 模型結(jié)果格式的原因。

4.轉(zhuǎn)換onnx格式為openvino支持的IR文件

雖然 OpenVINO Runtime直接支持 ONNX 模型，但將它們轉(zhuǎn)換為 IR 格式可以利用 OpenVINO 模型轉(zhuǎn)換的一些API特性。調(diào)用模型轉(zhuǎn)換的python API 的 `ov.convert_model`可以轉(zhuǎn)換模型。該API返回 OpenVINO 模型類的實(shí)例，該實(shí)例可在 Python 接口中使用。我們可以使用 `ov.save_model` API 接口以 OpenVINO IR 格式保存在設(shè)備上，以備使用。

import openvino as ov



model = ov.convert_model('model/yolov7-tiny.onnx')

# serialize model for saving IR

ov.save_model(model, 'model/yolov7-tiny.xml')

5. 驗(yàn)證模型推理

`detect.py` 推理腳本包括預(yù)處理步驟、OpenVINO模型的推理以及結(jié)果后處理以獲得邊界框等功能。

模型需要RGB通道格式的圖像，并在 [0， 1] 范圍內(nèi)歸一化。要調(diào)整圖像大小以適合模型大小，請(qǐng)使用`letterbox`方法調(diào)整，其中保留了寬度和高度的縱橫比。為了保持特定的形狀，預(yù)處理會(huì)自動(dòng)啟用填充。

5.1 預(yù)處理階段

對(duì)圖像進(jìn)行預(yù)處理,以 `np.array` 格式獲取圖像，使用`letterbox`方法將其調(diào)整為特定大小，將色彩空間從 BGR（OpenCV 中的默認(rèn)值）轉(zhuǎn)換為 RGB，并將數(shù)據(jù)布局從 HWC 更改為 CHW

def preprocess_image(img0: np.ndarray):

? ? # resize

? ? img = letterbox(img0, auto=False)[0]

? ?

? ? # Convert

? ? img = img.transpose(2, 0, 1)

? ? img = np.ascontiguousarray(img)

? ? return img, img0

將預(yù)處理后的圖像轉(zhuǎn)換為張量格式。以 np.array 格式獲取圖像，其中 unit8 數(shù)據(jù)在 [0， 255] 范圍內(nèi)，并將其轉(zhuǎn)換為浮點(diǎn)數(shù)據(jù)在 [0， 1] 范圍內(nèi)的 torch.Tensor 對(duì)象

def prepare_input_tensor(image: np.ndarray):

? ? input_tensor = image.astype(np.float32) ?# uint8 to fp16/32

? ? input_tensor /= 255.0 ?# 0 - 255 to 0.0 - 1.0

? ?

? ? if input_tensor.ndim == 3:

? ? ? ? input_tensor = np.expand_dims(input_tensor, 0)

5.2 后處理階段

模型檢測功能核心代碼的介紹，使用 NMS 讀取圖像、對(duì)其進(jìn)行預(yù)處理、運(yùn)行模型推理和后處理結(jié)果。

? ?參數(shù)： ? ?

? ? ? ? model（Model）：OpenVINO編譯的模型。

? ? ? ? image_path （Path）：輸入圖片路徑。

? ? ? ? conf_thres（浮點(diǎn)數(shù)，*可選*，0.25）：對(duì)象過濾的最小置信度

? ? ? ? iou_thres（float，*可選*，0.45）：在 NMS 中重新復(fù)制對(duì)象的最小重疊分?jǐn)?shù)

? ? ? ? classes （List[int]， *optional*， None）：用于預(yù)測過濾的標(biāo)簽，如果未提供，則將使用所有預(yù)測標(biāo)簽

? ? ? ? agnostic_nms （bool， *optiona*， False）：是否應(yīng)用與類無關(guān)的 NMS 方法

? ? 返回：

? ? ? ?pred （List）：具有 （n，6） 形狀的檢測列表，其中 n - 格式為 [x1， y1， x2， y2， score， label] 的檢測框數(shù)

? ? ? ?orig_img （np.ndarray）：預(yù)處理前的圖像，可用于結(jié)果可視化

? ? ? ?input_shape （Tuple[int]）：模型輸入tensor的形狀，可用于輸出分辨率

def detect(model: ov.Model, image_path: Path, conf_thres: float = 0.25, iou_thres: float = 0.45, classes: List[int] = None, agnostic_nms: bool = False):

? ? output_blob = model.output(0)

? ? img = np.array(Image.open(image_path))

? ? preprocessed_img, orig_img = preprocess_image(img)

? ? input_tensor = prepare_input_tensor(preprocessed_img)

? ? predictions = torch.from_numpy(model(input_tensor)[output_blob])

? ? pred = non_max_suppression(predictions, conf_thres, iou_thres, classes=classes, agnostic=agnostic_nms)

? ? return pred, orig_img, input_tensor.shape

圖像上繪制預(yù)測邊界框的核心代碼實(shí)現(xiàn)，

?參數(shù)：

? ? ? ? predictions （np.ndarray）：形狀為 （n，6） 的檢測列表，其中 n - 檢測到的框數(shù)，格式為 [x1， y1， x2， y2， score， label]

? ? ? ? image （np.ndarray）：用于框可視化的圖像

? ? ? ? names （List[str]）： 數(shù)據(jù)集中每個(gè)類的名稱列表

? ? ? ? colors （Dict[str， int]）： 類名和繪圖顏色之間的映射

? ? 返回：

? ? ? ? image （np.ndarray）：框可視化結(jié)果

def draw_boxes(predictions: np.ndarray, input_shape: Tuple[int], image: np.ndarray, names: List[str], colors: Dict[str, int]):

? ? if not len(predictions):

? ? ? ? return image

? ? # Rescale boxes from input size to original image size

? ? predictions[:, :4] = scale_coords(input_shape[2:], predictions[:, :4], image.shape).round()



? ? # Write results

? ? for *xyxy, conf, cls in reversed(predictions):

? ? ? ? label = f'{names[int(cls)]} {conf:.2f}'

? ? ? ? plot_one_box(xyxy, image, label=label, color=colors[names[int(cls)]], line_thickness=1)

6. 選擇設(shè)備并推理

compiled_model = core.compile_model(model, device.value)

boxes, image, input_shape = detect(compiled_model, 'inference/images/horses.jpg')

image_with_boxes = draw_boxes(boxes[0], input_shape, image, NAMES, COLORS)

# visualize results

Image.fromarray(image_with_boxes)

單圖片推理的可視化結(jié)果如下圖所示

7. 驗(yàn)證模型準(zhǔn)確性

為了評(píng)估模型的準(zhǔn)確性，需要下載coco數(shù)據(jù)集以及注釋。處理驗(yàn)證數(shù)據(jù)集并完成評(píng)估。評(píng)估完成后，下圖可以看到準(zhǔn)確度是符合要求的

8. 使用 NNCF 訓(xùn)練后量化 API 優(yōu)化模型

NNCF 是 OpenVINO 中的神經(jīng)網(wǎng)絡(luò)推理優(yōu)化提供了一套高級(jí)算法，精度下降最小。我們將在訓(xùn)練后模式下使用 8-bit量化來優(yōu)化 YOLOv7。優(yōu)化過程包含以下步驟：1）創(chuàng)建用于量化的數(shù)據(jù)集。2）運(yùn)行 nncf.quantize 以獲取優(yōu)化的模型。3）使用 openvino.runtime.serialize 函數(shù)序列化 OpenVINO IR 模型。

量化變換函數(shù),從數(shù)據(jù)加載器項(xiàng)中提取和預(yù)處理輸入數(shù)據(jù)以進(jìn)行量化。量化完成后可以驗(yàn)證量化模型推理和驗(yàn)證量化模型的準(zhǔn)確性，看是否符合要求。

import nncf



def transform_fn(data_item):

? ? img = data_item[0].numpy()

? ? input_tensor = prepare_input_tensor(img)

? ? return input_tensor



quantization_dataset = nncf.Dataset(dataloader, transform_fn)

nncf.quantize 函數(shù)提供模型量化的接口。它需要OpenVINO模型和量化數(shù)據(jù)集的實(shí)例。

quantized_model = nncf.quantize(model, quantization_dataset, preset=nncf.QuantizationPreset.MIXED)



ov.save_model(quantized_model, 'model/yolov7-tiny_int8.xml')

9. 比較原始模型和量化后模型的性能

量化完成后，我們希望使用 OpenVINO 基準(zhǔn)測試工具測量 FP32 和 INT8 模型的推理性能，從而清楚NNCF帶來的優(yōu)化提升。

下圖為在AI愛克斯開發(fā)板上FP32格式的模型推理，cpu型號(hào)為n5105,可以看到吞吐為2.27fps.

下圖為量化后 INT8 格式的模型推理,可以看到吞吐為4.89fps.