행렬의 전치와 브로드캐스팅

❗️블로그 옮김:  https://www.taemobang.com

방태모

 

행렬의 중요한 연산중 하나는 전치(transpose)이다. 행렬 $\boldsymbol{A}$의 전치는 $\boldsymbol{A}^\textrm{T}$로 나타내고, 수식으로는 다음과 같이 정의된다.

 

$\left(\boldsymbol{A}^\textrm{T}\right)_{i,j} = A_{j, i}$ 

출처 - Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. The MIT Press, 2016

벡터는 하나의 열만 가지는 행렬로 생각될 수 있다. 그러므로 벡터의 전치는 하나의 행만을 가진 행렬이다. 경우에 따라 벡터를 한 줄에 벡터들의 요소를 나타내기 위해 하나의 행을 가진 행렬로 정의하고, 전치 연산자를 써주어서 본래는 열벡터임을 나타내준다. 예를 들면 $\boldsymbol{x} = \left[x_1, x_2, x_3 \right ]^ T$. 스칼라는 하나의 요소를 가지는 행렬로 생각할 수 있다. 즉 스칼라의 전치는 자기자신과 같다 : $a = a^T$

 

같은 shape을 가지는 행렬끼리는 덧셈이 가능하며, 행렬에 스칼라를 더하거나 곱할 수도 있다. 스칼라는 더하는경우 행렬의 모든 성분에 스칼라만큼이 더해진다. 딥러닝에서는, 또한 다소 관례적이지 않은 표기법을 사용한다. 딥러닝에서는 행렬과 벡터의 덧셈을 허용한다. 예를 들어,  $\boldsymbol{C} = \boldsymbol{A} + \boldsymbol{b}$, where $C_{i,j} = A_{i, j} + b_j$. 즉, 벡터 $\boldsymbol{b}$가 행렬의 각 행에 더해진다. 이와 같이 $\boldsymbol{b}$가 암묵적으로 복사되는 것을 "브로드캐스팅(broadcasting)"이라고 부른다.