특별한 종류의 행렬과 벡터

❗️블로그 옮김:  https://www.taemobang.com

방태모

 

1. 대각 행렬(Diagonal matrix)

main diagonal에 있는 대각성분들을 제외한 값은 모두 0인 행렬을 말한다. 대각성분의 값들이 벡터 $\boldsymbol{v}$의 성분들로 주어지는 정사각 대각행렬(square diagonal matrix)는 diag($\boldsymbol{v}$)로 나타낸다. 대각행렬에 의한 행렬 곱은 계산적으로 매우 효율적이다. diag($\boldsymbol{v}$)$\boldsymbol{x}$를 계산할 때, 각 요소 $x_i$에 $v_i$를 곱해주기만 하면된다 즉 diag($\boldsymbol{v}$)$\boldsymbol{x}$ = $\boldsymbol{v} \odot \boldsymbol{x}$.  정사각 대각행렬의 역행렬 계산또한 매우 효율적이다. 모든 대각성분이 0이 아닌 대각행렬에 대해서 역행렬이 존재하며, 이경우 diag$\left (  \boldsymbol{v} \right )^{-1}$ = diag($\left [ 1/v_1, \cdots, 1/v_n \right ]^T $)와 같이 정의된다. 몇몇 일반적은 머신러닝 알고리즘에서 일부 행렬들을 대각행렬로 제한을 둠으로써 계산 비용을 감소시키는 경우도 있다.

모든 대각행렬이 정사각형태일 필요는 없으며, 직사각형태의(rectangular) 대각행렬도 존재한다. 직사각형태의 대각행렬은 역행렬이 없으나, 여전히 행렬곱에 있어서는 계산 비용이 매우 작다. 직사각형태의 대각행렬 $\boldsymbol{D}$에 대해 $\boldsymbol{Dx}$를 수행한다고 해보자. 이경우 $\boldsymbol{D}$가 long한 형태의 경우 $\boldsymbol{x}$의 일부 성분이 0이 되고, wide한 형태의 경우 $\boldsymbol{x}$의 일부 마지막 성분이 버려지게 된다.

 

2. 대칭 행렬(Symmetric matrix)

$\boldsymbol{A} = \boldsymbol{A}^T$

위 조건을 만족하는 행렬이다. 그 예로는 $\boldsymbol{A}$가 거리 측도의 행렬인 경우를 생각할 수 있다.

 

3. 단위 벡터(unit vector)

$\left \| \boldsymbol{x} \right \|_2 = 1 $

크기가 1인 벡터를 말한다.

 

여기서 잠깐 알아두고 가야할 개념으로 직교(orthogonal)와 정규직교(orthonormal)에 대해 이야기해보자. $\boldsymbol{x}^T \boldsymbol{y} = 0$이면, 두 벡터 $\boldsymbol{x}$와 $\boldsymbol{y}$는 서로 직교한다고 한다. 두 벡터가 모두 nonzero norm을 갖는다면, 이는 두 벡터의 방향이 서로 90도를 이루고 있음을 의미한다. $\mathbb{R}^n$의 공간에서는, nonzero norm을 가지며 서로(mutually) 직교하는 벡터들이 최대 $n$개 존재할 수 있다. 만약 이 벡터들이 서로 직교일뿐만 아니라 크기 1인 unit norm을 가진다면, 우리는 이를 정규직교한다고 말한다.

 

4. 직교 행렬(orthogonal matrix)

행이 서로 정규직교하고, 열이 서로 정규직교하는 정사각행렬을 말한다 즉:

$\boldsymbol{A}^T \boldsymbol{A}$ = $\boldsymbol{A} \boldsymbol{A}^T$ = $\boldsymbol{I}$

즉 이는

$\boldsymbol{A}^{-1} = \boldsymbol{A}^T$

임을 의미한다. 그래서 직교 행렬들은 역행렬의 계산 비용이 매우 작다. 직교행렬의 정의를 주의깊게 살펴보면, "직교"행렬이라는 이름에서의 직관과는 달리 행들은(물론 열들도) 직교할뿐만 아니라, 정규직교이다. 행또는 열들이 서로 정규직교는 아니지만, 직교만하는 행렬을 지칭하는 특별한 용어는 없다.

 

 

참고 도서

Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. The MIT Press, 2016