detach()

detach是截?cái)喾聪騻鞑サ奶荻攘?br> 將某個(gè)node變成不需要梯度的Varibale。因此當(dāng)反向傳播經(jīng)過(guò)這個(gè)node時(shí)，梯度就不會(huì)從這個(gè)node往前面?zhèn)鞑ァ?/p>

拼接函數(shù)torch.stack()

拼接：將多個(gè)維度參數(shù)相同的張量連接成一個(gè)張量

a=torch.tensor([[1,2,3],[4,5,6]])
b=torch.tensor([[10,20,30],[40,50,60]])
c=torch.tensor([[100,200,300],[400,500,600]])
print(torch.stack([a,b,c],dim=0))
print(torch.stack([a,b,c],dim=1))
print(torch.stack([a,b,c],dim=2))
print(torch.stack([a,b,c],dim=0).size())
print(torch.stack([a,b,c],dim=1).size())
print(torch.stack([a,b,c],dim=2).size())
#輸出結(jié)果為：
tensor([[[  1,   2,   3],
         [  4,   5,   6]],

        [[ 10,  20,  30],
         [ 40,  50,  60]],

        [[100, 200, 300],
         [400, 500, 600]]])
tensor([[[  1,   2,   3],
         [ 10,  20,  30],
         [100, 200, 300]],

        [[  4,   5,   6],
         [ 40,  50,  60],
         [400, 500, 600]]])
tensor([[[  1,  10, 100],
         [  2,  20, 200],
         [  3,  30, 300]],

        [[  4,  40, 400],
         [  5,  50, 500],
         [  6,  60, 600]]])
torch.Size([3, 2, 3])
torch.Size([2, 3, 3])
torch.Size([2, 3, 3])

torch.nn.DataParallel()

torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
module即表示你定義的模型，device_ids表示你訓(xùn)練的device，output_device這個(gè)參數(shù)表示輸出結(jié)果的device，而這最后一個(gè)參數(shù)output_device一般情況下是省略不寫(xiě)的，那么默認(rèn)就是在device_ids[0]，也就是第一塊卡上。

np.clip()

a = np.arange(10)
np.clip(a, 1, 8)
array([1, 1, 2, 3, 4, 5, 6, 7, 8, 8]) # a被限制在1-8之間
a
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) # 沒(méi)改變a的原值

np.clip(a, 3, 6, out=a) # 修剪后的數(shù)組存入到a中
array([3, 3, 3, 3, 4, 5, 6, 6, 6, 6])

torch.linspace()

函數(shù)的作用是，返回一個(gè)一維的tensor，這個(gè)張量包含了從start到end，分成steps個(gè)線段得到的向量。

torch.linspace(start, end, steps=100, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False) 
→ Tensor

例如

import torch
print(torch.linspace(3,10,5))
#tensor([ 3.0000,  4.7500,  6.5000,  8.2500, 10.0000])

type=torch.float
print(torch.linspace(-10,10,steps=6,dtype=type))
#tensor([-10.,  -6.,  -2.,   2.,   6.,  10.])

PyTorch中tensor.repeat()

當(dāng)參數(shù)只有兩個(gè)時(shí)，第一個(gè)參數(shù)表示的是行復(fù)制的次數(shù)，第二個(gè)參數(shù)表示列復(fù)制的次數(shù)；
當(dāng)參數(shù)有三個(gè)時(shí)，第一個(gè)參數(shù)表示的是通道復(fù)制的次數(shù)，第二個(gè)參數(shù)表示的是行復(fù)制的次數(shù)，第三個(gè)參數(shù)表示列復(fù)制的次數(shù)。
(1). 對(duì)于已經(jīng)存在的維度復(fù)制

import torch
 
a = torch.tensor([[1], [2], [3]])  # 3 * 1
b = a.repeat(3, 2)
print('a\n:', a)
print('shape of a', a.size())  # 原始shape = （3，1）
print('b:\n', b)
print('shape of b', b.size())  # 新的shape = （3*3，1*2），新增加的數(shù)據(jù)通過(guò)復(fù)制得到
 
'''   運(yùn)行結(jié)果   '''
a:
tensor([[1],
        [2],
        [3]])
shape of a torch.Size([3, 1])  注： 原始shape = （3，1）
b:
 tensor([[1, 1],
        [2, 2],
        [3, 3],
        [1, 1],
        [2, 2],
        [3, 3],
        [1, 1],
        [2, 2],
        [3, 3]])
shape of b torch.Size([9, 2])  新的shape = （3*3，1*2）

(2). 對(duì)于原始不存在的維度數(shù)量拓展

import torch
a = torch.tensor([[1, 2], [3, 4], [5, 6]])  # 3 * 2
b = a.repeat(3, 2, 1)   # 在原始tensor的0維前拓展一個(gè)維度，并把原始tensor的第1維擴(kuò)張2倍，都是通過(guò)復(fù)制來(lái)完成的
print('a:\n', a)
print('shape of a', a.size())  # 原始維度為 （3，2）
print('b:\n', b)
print('shape of b', b.size())  # 新的維度為 （3，2*2，2*1）=（3，4，2）

'''   運(yùn)行結(jié)果   '''
a:
 tensor([[1, 2],
         [3, 4],
         [5, 6]])
shape of a torch.Size([3, 2])   注：原始維度為 （3，2）
b:
 tensor([[[1, 2],
          [3, 4],
          [5, 6],
          [1, 2],
          [3, 4],
          [5, 6]],
 
         [[1, 2],
          [3, 4],
          [5, 6],
          [1, 2],
          [3, 4],
          [5, 6]],
 
         [[1, 2],
          [3, 4],
          [5, 6],
          [1, 2],
          [3, 4],
          [5, 6]]])
shape of b torch.Size([3, 6, 2])   新的維度為 （3，2*2，2*1）=（3，4，2）

pytorch索引查找 index_select

anchor_w = FloatTensor(scaled_anchors).index_select(1, LongTensor([0]))

先定義了一個(gè)tensor，這里用到了linspace和view方法。
第一個(gè)參數(shù)是索引的對(duì)象，第二個(gè)參數(shù)0表示按行索引，1表示按列進(jìn)行索引，第三個(gè)參數(shù)是一個(gè)tensor，就是索引的序號(hào)，比如b里面tensor[0， 2]表示第0行和第2行，c里面tensor[1, 3]表示第1列和第3列文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-636461.html

a = torch.linspace(1, 12, steps=12).view(3, 4)
print(a)
b = torch.index_select(a, 0, torch.tensor([0, 2]))
print(b)
print(a.index_select(0, torch.tensor([0, 2])))
c = torch.index_select(a, 1, torch.tensor([1, 3]))
print(c)

-----輸出結(jié)果-----
tensor([[ 1.,  2.,  3.,  4.],
        [ 5.,  6.,  7.,  8.],
        [ 9., 10., 11., 12.]])
tensor([[ 1.,  2.,  3.,  4.],
        [ 9., 10., 11., 12.]])
tensor([[ 1.,  2.,  3.,  4.],
        [ 9., 10., 11., 12.]])
tensor([[ 2.,  4.],
        [ 6.,  8.],
        [10., 12.]])

到了這里，關(guān)于深度學(xué)習(xí)torch基礎(chǔ)知識(shí)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！