1 矩陣運算基本概念

1.1 點積

又稱為數(shù)量積、標量積（scalar product）或者內(nèi)積（inner product）

它是指實數(shù)域中的兩個向量運算得到一個實數(shù)值標量的二元運算。也就是對應元素的位置相乘

舉例：

對于向量$a=(x_1,y_1)和b=(x_2,y_2)，他們的點積就是a?b=x_1{x}_2+y_1{y}_2$

1.2 矩陣乘法

兩個運算的矩陣需要滿足矩陣乘法規(guī)則，即需要前一個矩陣的列和后一個矩陣的行相等

一般我們用矩陣運算

就是Numpy的ndarray和torch的tensor張量 兩種矩陣形式進行運算

他們大體相同，有一些小的差異，比如numpy的dot可以實現(xiàn)高維度的矩陣乘法但是torch的dot不可以

下表詳細比較了他們之間的差異

具體看下面的例子

2 dot()

numpy和torch的dot 可以用在一維的數(shù)組相乘，此時相當于兩個數(shù)組的點積。

例1

import numpy as np
a=np.array([1,2,3])
b=np.array([2,3,4])
print(np.dot(a,b))

輸出

20

numpy的dot也可以用在多維數(shù)組的相乘，此時是矩陣乘法，所以需要滿足矩陣乘法的運算規(guī)則，需要前一個矩陣的列和后一個矩陣的行相等

例2

import numpy as np
a=np.array([[1,2,3],
           [1,2,3]])
b=np.array([[2,3],
           [3,4],
           [5,6]])
print(np.dot(a,b))

輸出

[[23 29]
[23 29]]

但是torch的dot就會報錯

例3

a=torch.tensor([[1,2,3,4],[1,2,3,4]])
b=torch.tensor([[5,6],[7,8],[5,6],[7,8]])
print(a.ndim,b.ndim)
print(torch.dot(a,b))

輸出

RuntimeError: 1D tensors expected, but got 2D and 2D tensors

3 multiply（） 和 *

兩個運算都是相當于點乘，可以實現(xiàn)一維或高維度的點積，參與運算的兩個矩陣必須形狀一致

（和dot不同的是乘完之后不會加起來）返回往往是一個矩陣

import numpy as np
a=np.array([[1,2,3],
           [1,2,3]])
b=np.array([[2,3,4],
           [3,4,5]],)
print("multiply:")
print(np.multiply(a,b))
print("*:")
print(a*b)

輸出

multiply:
[[ 2 6 12]
[ 3 8 15]]
*:
[[ 2 6 12]
[ 3 8 15]]

4 matmul和@

matmul 是matrix multiply的縮寫，專門用于矩陣乘法，需要滿足矩陣乘法的運算規(guī)則，需要前一個矩陣的列和后一個矩陣的行相等

import numpy as np
a=np.array([[1,2,3],
           [1,2,3]])
b=np.array([[2,3],
           [3,4],
           [5,6]])
print("matmul:")
print(np.matmul(a,b))
print("@:")
print(a@b)

輸出

matmul:
[[23 29]
[23 29]]
@:
[[23 29]
[23 29]]

注意這里的行向量可以列向量，比如

a=np.array([[1,2,3],
[1,2,3]])
b=np.array([2,3,4])

我們?nèi)绻裝看做1行3列的矩陣，則運算不符合運算規(guī)則，但是如果看做3行1列的矩陣，則它是正確的，即2*3 × 3 * 1=2 * 1 即最后會輸出一維的向量

import numpy as np
a=np.array([[1,2,3],
           [1,2,3]])
b=np.array([2,3,4])
print("matmul:")
print(np.matmul(a,b))

輸出

matmul:
[20 20]

在PyTorch中，有幾種執(zhí)行矩陣乘法的方式，包括torch.matmul、torch.mm和@運算符。這些方法之間有一些區(qū)別，讓我們逐個解釋它們：

1. torch.matmul:

   • torch.matmul是PyTorch中用于執(zhí)行矩陣乘法的通用函數(shù)。
   • 它支持廣播（broadcasting），可以處理不同形狀的輸入矩陣。
   • 對于兩個二維矩陣，torch.matmul等效于矩陣乘法。
   • 對于高維張量，torch.matmul會在合適的維度上進行廣播，以進行張量間的乘法。

   import torch
   
   A = torch.tensor([[1, 2], [3, 4]])
   B = torch.tensor([[5, 6], [7, 8]])
   
   result = torch.matmul(A, B)
   

2. torch.mm:

   • torch.mm是專門用于兩個二維矩陣相乘的函數(shù)，不支持廣播。
   • 輸入的兩個矩陣必須是二維的，并且符合矩陣乘法的規(guī)則。

   import torch
   
   A = torch.tensor([[1, 2], [3, 4]])
   B = torch.tensor([[5, 6], [7, 8]])
   
   result = torch.mm(A, B)
   

3. @運算符:

   • @運算符在PyTorch中被重載，用于執(zhí)行矩陣乘法。
   • 類似于torch.matmul，它支持廣播操作。

   import torch
   
   A = torch.tensor([[1, 2], [3, 4]])
   B = torch.tensor([[5, 6], [7, 8]])
   
   result = A @ B
   

總結：文章來源地址http://www.zghlxwxcb.cn/news/detail-824412.html

• 如果你希望使用通用的矩陣乘法函數(shù)，并且想要支持廣播，可以使用torch.matmul或@運算符。
• 如果你知道你的輸入是二維矩陣且不需要廣播，可以使用torch.mm。
• 通常來說，推薦使用torch.matmul或@運算符，因為它們更通用，而torch.mm僅限于二維矩陣。

到了這里，關于【易混區(qū)分】 tensor張量 Numpy張量的各種矩陣乘法、點積的函數(shù)對比 (dot, multiply,*,@matmul)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！