目錄

前言

算法理論

基礎(chǔ)實現(xiàn)

a.旋轉(zhuǎn)

b.亮度調(diào)整

c.裁剪及拼接

隨機調(diào)整參數(shù)

d.隨機翻轉(zhuǎn)算法

e.隨機顏色明暗調(diào)整算法

f.隨機裁剪算法

實驗分析

本章小結(jié)

參考文章

前言

圖像增廣算法在計算機視覺領(lǐng)域扮演著至關(guān)重要的角色。隨著深度學(xué)習(xí)的興起，大規(guī)模數(shù)據(jù)集的需求變得更加迫切，而圖像增廣算法可以通過對原始圖像進行一系列變換，擴充數(shù)據(jù)集，從而提升模型的泛化能力和魯棒性。

本文將著重介紹圖像增廣算法中的三個關(guān)鍵方面：圖像旋轉(zhuǎn)、圖像亮度調(diào)整以及圖像裁剪與拼接。這些算法不僅能夠增加訓(xùn)練數(shù)據(jù)的多樣性，還可以幫助我們解決一些實際問題，例如旋轉(zhuǎn)不變性、光照變化以及物體完整性等。

而采用了隨機參數(shù)的圖像增廣算法可以增加數(shù)據(jù)多樣性、減少過擬合、增強模型的魯棒性，并擴充數(shù)據(jù)集規(guī)模，從而改善模型的性能和泛化能力。

算法理論

旋轉(zhuǎn)

理論基礎(chǔ)是幾何變換。在二維平面中，一個圖像可以通過旋轉(zhuǎn)角度θ來進行旋轉(zhuǎn)變換。旋轉(zhuǎn)變換可以表示為一個旋轉(zhuǎn)矩陣，該矩陣描述了如何對圖像中的每個像素進行重新采樣。通常情況下，旋轉(zhuǎn)矩陣可以表示為：

[ cos(θ) ?-sin(θ) ]
[ sin(θ) ? cos(θ) ]

對于給定的旋轉(zhuǎn)中心點（通常是圖像的中心），通過對每個像素點進行旋轉(zhuǎn)矩陣的變換，可以得到旋轉(zhuǎn)后的圖像。

在實際應(yīng)用中，旋轉(zhuǎn)圖像的角度可以是任意的，通常以度數(shù)為單位。一些常見的旋轉(zhuǎn)角度包括90度、180度和270度的順時針或逆時針旋轉(zhuǎn)，以及任意角度的平滑旋轉(zhuǎn)。此外，還可以通過插值算法對旋轉(zhuǎn)后的圖像進行重新采樣，以獲得更平滑的旋轉(zhuǎn)結(jié)果。

亮度調(diào)整

圖像的亮度可以通過不同的方法進行調(diào)整，其中最常見的方法是使用亮度調(diào)整函數(shù)。亮度調(diào)整函數(shù)是一個映射函數(shù)，它將原始圖像中的每個像素值映射到一個新的值，從而改變圖像的亮度水平。

常見的亮度調(diào)整函數(shù)包括線性變換、非線性變換和直方圖均衡化等。

這里我們采用線性變換的方法：線性變換是一種簡單的亮度調(diào)整方法，它通過對每個像素值應(yīng)用一個縮放因子來改變亮度。線性變換可以表示為新像素值 = 原始像素值 * 縮放因子，其中縮放因子可以大于1使圖像變亮，小于1使圖像變暗。

裁剪

裁剪是指從原始圖像中選擇感興趣的區(qū)域，并將其提取出來形成一個新的圖像。裁剪可以根據(jù)需求選擇任意區(qū)域的位置和大小。通常，裁剪操作可以通過指定裁剪框的位置和尺寸來實現(xiàn)。裁剪可以用于去除圖像中的干擾部分，提取感興趣的目標(biāo)區(qū)域，或者調(diào)整圖像的組成元素。

拼接

拼接是指將兩個或多個圖像按照一定的規(guī)則組合在一起形成一個新的圖像。拼接可以水平或垂直方向上進行。水平拼接將圖像按照水平方向連接，而垂直拼接將圖像按照垂直方向連接。

基礎(chǔ)實現(xiàn)

我們需要先了解一下圖像增廣算法的基礎(chǔ)實現(xiàn)是怎么樣的。

這里我們將使用一些Python優(yōu)秀的第三方庫來完成。在圖像增廣方面，有許多可供選擇的第三方庫，如PIL/Pillow、OpenCV、scikit-image等。而在PyTorch中也提供了一些圖像增廣的函數(shù)，雖然圖像增廣算法在PyTorch中也屬于預(yù)處理的一部分，但為了方便起見，我們?nèi)匀贿x擇使用大家較為熟悉的OpenCV庫，而不使用PyTorch。

a.旋轉(zhuǎn)

def Rotated_image(img, angle = 45, scale = 1.0):
    height, width = img.shape[:2]
    center = (width // 2, height // 2)
    matrix = cv2.getRotationMatrix2D(center, angle, scale) #旋轉(zhuǎn)中心，旋轉(zhuǎn)角度，縮放比例
    rotated_image = cv2.warpAffine(img, matrix, (width, height))
    return rotated_image

通過cv2.getRotationMatrix2D函數(shù)計算旋轉(zhuǎn)矩陣，然后使用cv2.warpAffine函數(shù)執(zhí)行旋轉(zhuǎn)操作。最后，使用cv2.imshow函數(shù)顯示旋轉(zhuǎn)前后的圖像。?

實驗結(jié)果：?

?

b.亮度調(diào)整

def Adjusted_image(img,brightness_factor = 1.5):
    image_float = img.astype(np.float32)
    adjusted_image = image_float * brightness_factor
    # 將圖像像素值限制在[0, 255]范圍內(nèi)
    adjusted_image = np.clip(adjusted_image, 0, 255)
    adjusted_image = adjusted_image.astype(np.uint8)
    return adjusted_image

將圖像轉(zhuǎn)換為浮點型數(shù)據(jù)類型。然后，通過乘以一個亮度調(diào)整因子來調(diào)整圖像的亮度，這里的亮度調(diào)整因子可以根據(jù)具體需求進行調(diào)整。接下來，我們使用np.clip函數(shù)將圖像像素值限制在[0, 255]范圍內(nèi)，避免溢出。最后，我們將圖像轉(zhuǎn)換回?zé)o符號8位整數(shù)類型，并顯示調(diào)整后的圖像。

實驗結(jié)果：

?

c.裁剪及拼接

裁剪

def Cut_image(image, coordinate, Leath, cropImg=False ,save=False, saveFile=''):
    imageH,imageW=image.shape[:2]
    x, y = coordinate[0], coordinate[1]
    width, height = Leath[0], Leath[1]
    h, w = height, width
    if x < 0:
        x = 0
    if y < 0:
        y = 0
    if x + width > imageW:
        width = imageW - x
    if y + height > imageH:
        height = imageH - y

    cropped_image = image[y:y + height, x:x + width]
    padded_image = np.full((h, w, 3), 128, dtype=np.uint8)
    x_offset = (w - width) // 2
    y_offset = (h - height) // 2
    padded_image[y_offset:y_offset + height, x_offset:x_offset + width] = cropped_image
    if save:
        cv2.imwrite(saveFile, cropped_image)
    if cropImg:
        return cropped_image
    else:
        return padded_image

此功能為裁剪圖像并用灰色填充不足的部分。添加了保存功能，默認(rèn)不使用。

實驗結(jié)果：

?

拼接

def Stitcher_image(image_paths):
    stitcher = cv2.Stitcher_create()
    images = []
    for path in image_paths:
        img = cv2.imread(path)
        if img is not None:
            images.append(img)
    if len(images) < 2:
        print('至少需要兩個圖像進行拼接')
        return
    (status, stitched_image) = stitcher.stitch(images)
    if status == cv2.Stitcher_OK:
        return stitched_image
    else:
        print('圖像拼接失敗')

輸入圖片路徑組成的列表，數(shù)量大于等于2才可進行拼接。下圖是經(jīng)過裁剪后保存的圖片，原圖片似乎因為較小，拼接時無法成功，經(jīng)過放大再裁剪后拼接，實驗成功。

實驗結(jié)果：?

?

隨機調(diào)整參數(shù)

當(dāng)然，上面只是簡單的功能實現(xiàn)，現(xiàn)在我們需要對其添加隨機參數(shù)。添加隨機參數(shù)可以增加數(shù)據(jù)增強的多樣性。通過在圖像處理過程中引入隨機性，可以使得每次處理的結(jié)果略有不同，從而擴展數(shù)據(jù)集的多樣性。這對于訓(xùn)練深度學(xué)習(xí)模型非常有益，可以幫助模型更好地泛化和適應(yīng)不同的輸入。

d.隨機翻轉(zhuǎn)算法

介紹：通過隨機選擇是否對圖像進行翻轉(zhuǎn)，并選擇翻轉(zhuǎn)的方式（水平翻轉(zhuǎn)或垂直翻轉(zhuǎn)）來改變圖像的方向或視角。

import cv2
import numpy as np
import pyps.pyzjr.utility as zjr

path = r'Images\Leopard_cat.png'
img = cv2.imread(path)
def horizontal_flip(image, axis):
    if axis != 2:
        image = cv2.flip(image, axis)
    return image

def random_generate():
    values = [0, 1, -1, 2]
    return np.random.choice(values)

def random_flip_batch(images):
    imglist=[]
    for img in images:
        random_value = random_generate()
        image=horizontal_flip(img,random_value)
        imglist.append(image)
    return imglist

if __name__ == "__main__":
    flipped_images=random_flip_batch([img,img,img,img])
    stackimg=zjr.stackImages(1,flipped_images)
    cv2.imshow("img",stackimg)
    cv2.waitKey(0)

e.隨機顏色明暗調(diào)整算法

介紹：通過隨機選擇圖像的區(qū)域進行裁剪，以改變圖像的大小和內(nèi)容。

import cv2
import numpy as np
import pyps.pyzjr.utility as zjr
from d2l import torch as d2l
import random

path = r'Images\Leopard_cat.png'
img = cv2.imread(path)

def random_generate(mode):
    if mode=='flip':
        values = [0, 1, -1, 2]
        randimg=np.random.choice(values)
        return randimg
    if mode=='bright':
        bri_num = round(random.uniform(0.5, 1.5), 1)
        return bri_num

def Adjusted_image(img, brightness_factor=1.5):
    image_float = img.astype(np.float32)
    adjusted_image = image_float * brightness_factor
    adjusted_image = np.clip(adjusted_image, 0, 255)
    adjusted_image = adjusted_image.astype(np.uint8)
    return adjusted_image

def random_brightness_batch(images):
    imglist = []
    for img in images:
        random_value=random_generate("bright")
        image=Adjusted_image(img,random_value)
        imglist.append(image)
    return imglist

?隨機顏色明暗調(diào)整，明暗變化在0.5到1.5之間隨機變化。

f.隨機裁剪算法

介紹：通過隨機調(diào)整圖像中每個像素的顏色明暗度，以改變圖像的整體色調(diào)。

import cv2
import numpy as np
import pyps.pyzjr.utility as zjr
from d2l import torch as d2l
import random

path = r'Images\Leopard_cat.png'
img = cv2.imread(path)
def random_generate(img,mode):
    if mode=='flip':
        values = [0, 1, -1, 2]
        randimg=np.random.choice(values)
        return randimg
    elif mode=='bright':
        bri_num = round(random.uniform(0.5, 1.5), 1)
        return bri_num
    elif mode=='cut':
        scale = round(random.uniform(0.1, 1.0), 1)
        h,w=img.shape[:2]
        newH=random.randint(0, h)
        newW=random.randint(0, w)
        initPoint =[newW,newH]
        return initPoint,scale
    else:
        print("這并不是在選定規(guī)格內(nèi) This is not within the selected specifications.")

def Cut_image(image, coordinate, Leath, cropImg=False ,save=False, saveFile=''):
    imageH,imageW=image.shape[:2]
    x, y = coordinate[0], coordinate[1]
    width, height = Leath[0], Leath[1]
    h, w = height, width
    if x < 0:
        x = 0
    if y < 0:
        y = 0
    if x + width > imageW:
        width = imageW - x
    if y + height > imageH:
        height = imageH - y

    cropped_image = image[y:y + height, x:x + width]
    padded_image = np.full((h, w, 3), 128, dtype=np.uint8)
    x_offset = (w - width) // 2
    y_offset = (h - height) // 2
    padded_image[y_offset:y_offset + height, x_offset:x_offset + width] = cropped_image
    if save:
        cv2.imwrite(saveFile, cropped_image)
    if cropImg:
        return cropped_image
    else:
        return padded_image

def random_Cropping_batch(images):
    imglist = []
    for img in images:
        h, w = img.shape[:2]
        InitPoint, scale = random_generate(img, "cut")
        newH, newW = h * scale, w * scale

        image = Cut_image(img,InitPoint,[int(newH), int(newW)],cropImg=True)
        restored_image=cv2.resize(image,(w, h))
        imglist.append(restored_image)
    return imglist

if __name__ == "__main__":
    flipped_images=random_Cropping_batch([img, img, img, img])
    stackimg=zjr.stackImages(1,flipped_images)
    cv2.imshow("img",stackimg)
    cv2.waitKey(0)

隨機裁剪圖像，并且將原來的裁剪的圖像還原為原來大小。

實驗分析

實驗圖片：300x300，Leopard_cat.png

?

本次實驗采用一張300x300大小的梅貍貓圖片進行實驗，并進行了圖像旋轉(zhuǎn)、圖像亮度調(diào)整以及圖像裁剪與拼接，效果均達到我的預(yù)期，在圖像裁剪的過程中，因為考慮到做的是數(shù)據(jù)增廣，所以添加了灰度條，保證裁剪后的圖片大小與原始圖片相同；拼接的圖片似乎不能太小，可能會拼接失敗，本實驗經(jīng)過圖片進行放大后裁剪后拼接，實驗成功。

而在后面又添加了隨機調(diào)整參數(shù)，有助于丹友們對圖像增廣的應(yīng)用的理解。

關(guān)于拼接出現(xiàn)黑邊的分析：

在實驗過程中，我們注意到拼接后的圖像邊緣可能會出現(xiàn)一些黑邊。這是由于圖像拼接算法的工作原理所致，它會嘗試將圖像進行平滑過渡，以便在拼接處產(chǎn)生較少的不連續(xù)性。在一些情況下，這可能會導(dǎo)致邊緣處的像素值略微偏暗，從而形成黑邊。

雖然這些黑邊可能對整體圖像的觀感產(chǎn)生一些影響，但通常情況下它們并不會嚴(yán)重干擾圖像的內(nèi)容。如果你認(rèn)為黑邊對你的應(yīng)用場景有較大影響，您可以嘗試進行后處理來減輕或消除黑邊的影響。如邊緣增強、圖像修復(fù)或邊緣填充等，來改善黑邊問題。

總的來說，盡管在圖像拼接過程中可能會出現(xiàn)一些黑邊，但這并不會嚴(yán)重影響整體的拼接結(jié)果。通過適當(dāng)?shù)暮筇幚矸椒?，我們可以進一步改善圖像的外觀，并獲得更好的拼接效果。

本章小結(jié)

本章介紹了圖像處理中常見的幾種操作：旋轉(zhuǎn)、亮度調(diào)整、裁剪、拼接等。通過使用OpenCV和NumPy庫的函數(shù)，輕松地實現(xiàn)了。

• 首先，通過cv2.getRotationMatrix2D和cv2.warpAffine函數(shù)，我們可以指定旋轉(zhuǎn)中心、旋轉(zhuǎn)角度和縮放比例來旋轉(zhuǎn)圖像。
• 接下來，將圖像轉(zhuǎn)換為浮點數(shù)類型，我們可以通過乘以亮度因子并將像素值控制在0到255之間來調(diào)整圖像亮度。
• 然后，通過指定裁剪區(qū)域的坐標(biāo)和長度，我們可以裁剪出我們需要的圖像，并使用灰色填充圖像的不足部分。
• 最后，使用cv2.Stitcher_create和stitch函數(shù)，我們可以將多張圖像拼接在一起，從而創(chuàng)建一個更大的圖像。在拼接過程中，我們需要注意邊緣區(qū)域可能會有黑邊的問題，可以使用圖像裁剪來去除。

以上這些操作是圖像處理中非?；A(chǔ)的操作，在實際應(yīng)用中也非常常見。掌握這些基礎(chǔ)操作后，我們可以更加輕松地實現(xiàn)更復(fù)雜的圖像處理算法。

參考文章

(3條消息) 對圖像進行隨機翻轉(zhuǎn)和裁剪_半個夏天1314的博客-CSDN博客

說明：本章節(jié)的代碼均為草稿，如果想要這一章整理好的代碼，可以私信我。?文章來源地址http://www.zghlxwxcb.cn/news/detail-450102.html

到了這里，關(guān)于圖像處理：手寫實現(xiàn)圖像增廣算法（旋轉(zhuǎn)、亮度調(diào)整、裁剪與拼接）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！