【人工智能概論】 optimizer.param_groups簡(jiǎn)介

一. optimizer.param_groups究竟是什么

• optimizer.param_groups： 是一個(gè)list，其中的元素為字典；
• optimizer.param_groups[0]：是一個(gè)字典，一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘a(chǎn)msgrad’, ‘maximize’]等參數(shù)（不同的優(yōu)化器包含的可能略有不同，而且還可以額外人為添加鍵值對(duì)）；
• 舉例展示：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
# dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov', 'maximize', 'foreach', 'differentiable'])
print(optimizer1.param_groups[0].keys())
# dict_keys(['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad', 'maximize', 'foreach', 'capturable', 'differentiable', 'fused'])

• 不同鍵有不同的含義，還是要具體分析為好。
• 通過(guò)修改其中的值，可以實(shí)現(xiàn)對(duì)優(yōu)化器更為靈活的控制，優(yōu)化器的其他參數(shù)就好比默認(rèn)服務(wù)，而它所控制的就好比私人訂制，且具有更高的優(yōu)先級(jí)。

二. 實(shí)際應(yīng)用——給不同層匹配不同的學(xué)習(xí)率

• 構(gòu)建案例模型：

import torch

class Resnet(torch.nn.Module):
    def __init__(self):
        super(Resnet, self).__init__()
        self.block1 = torch.nn.Sequential(
            torch.nn.Conv2d(1, 10, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(10),
        )
        self.block2 = torch.nn.Sequential(
            torch.nn.Conv2d(10, 20, 5),
            torch.nn.MaxPool2d(2),
            torch.nn.ReLU(True),
            torch.nn.BatchNorm2d(20),
        )
        self.fc = torch.nn.Sequential(
            torch.nn.Flatten(),
            torch.nn.Linear(320, 10)
        )
    def forward(self, x):
        x = self.block1(x)
        x = self.block2(x)
        x = self.fc(x)
        return x
    
model = Resnet()

• 正常的設(shè)置優(yōu)化器方式：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)

• 對(duì)網(wǎng)絡(luò)不同模塊設(shè)置不同的學(xué)習(xí)率：

params = [
        {"params":model.block1.parameters()},  # 其采用默認(rèn)的學(xué)習(xí)率
        {"params":model.block2.parameters(),"lr":0.08},
        ]
optimizer = torch.optim.SGD(params, lr=0.1,) # 此處的lr是默認(rèn)的學(xué)習(xí)率
# optimizer.param_groups[1]在這對(duì)應(yīng)的就是{"params":model.block2.parameters(),"lr":0.08}

• 動(dòng)態(tài)調(diào)整學(xué)習(xí)率：

start_lr = [0.1, 0.08, 0.09]  # 不同層的初始學(xué)習(xí)率
def adjust_learning_rate(optimizer, epoch, start_lr):
    for index, param_group in enumerate(optimizer.param_groups):
        lr = start_lr[index] * (0.9 ** (epoch // 1))    # 每1個(gè)eporch學(xué)習(xí)率改變?yōu)樯弦粋€(gè)eporch的 0.9倍
        param_group['lr'] = lr

三. 用add_param_group方法給param_group添加內(nèi)容：

optimizer.add_param_group({"params":model.fc.parameters(),"lr":0.09})

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-498740.html

到了這里，關(guān)于【人工智能概論】 optimizer.param_groups簡(jiǎn)介的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！