Trace 연산자와 행렬식

❗️블로그 옮김:  https://www.taemobang.com

방태모

 

1. Trace 연산자

행렬 대각성분의 합을 반환하는 연산자이다. 상당히 유용하다!

$\textrm{Tr}\left ( \boldsymbol{A} \right ) = \sum_i \boldsymbol{A}_{i,i}$

이 연산자의 유용한 점들을 하나하나 살펴보자.

 

(1) summation 기호 $\sum $을 생략할 수 있게 해준다.

예를 들면, 행렬의 크기를 재는 Frobenius norm을 다음과 같이 쓸 수 있다.

$\sqrt{\sum_{i, j} \boldsymbol{A}_{i,j}^2} = \left \| \boldsymbol{A} \right \|_F = \sqrt{\textrm{Tr}\left ( \boldsymbol{AA}^T \right )} = \sqrt{\textrm{Tr}\left ( \boldsymbol{A}^T \boldsymbol{A} \right )}$

(2) Trace 연산자를 이용하면, 유용한 identity들을 가지는 경우가 있다. 예를 들면,

$\textrm{Tr}\left ( \boldsymbol{A} \right ) = \textrm{Tr}\left ( \boldsymbol{A}^T \right )$

(3) 많은 인수 행렬들로(factors) 구성되는 정사각 행렬의 trace는 다음과 같이 그 순서에 대해 불변한다.

$\textrm{Tr}\left ( \boldsymbol{ABC} \right ) = \textrm{Tr}\left ( \boldsymbol{CAB} \right ) = \textrm{Tr}\left ( \boldsymbol{BCA} \right )$

더 일반적으로는 다음과 같이 쓸 수 있다.

$\textrm{Tr}\left ( \prod_{i=1}^n \boldsymbol{F}^{(i)} \right ) = \textrm{Tr}\left ( \boldsymbol{F}^{(n)}\prod_{i=1}^{n-1} \boldsymbol{F}^{(i)}  \right )$

이 불변성은, 행렬곱의 결과의 shape가 달라도 성립한다. 예를 들어 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$, $\boldsymbol{B} \in \mathbb{R}^{n \times m}$, $\boldsymbol{AB} \in \mathbb{R}^{m \times m}$, $\boldsymbol{BA} \in \mathbb{R}^{n \times n}$이여도 다음이 성립한다.

$\textrm{Tr}\left ( \boldsymbol{AB} \right ) = \textrm{Tr}\left ( \boldsymbol{BA} \right )$

 

2. 행렬식(Determinant)

det($\boldsymbol{A}$)로 표현되는 정사각 행렬의 행렬식은 행렬을 실수 스칼라값으로 mapping해주는 함수이며, 이는 행렬의 모든 고윳값들의 곱과 같다. 이 관점에서 생각해보면, 행렬식의 절대값은 해당 행렬이 곱해지면 공간이 얼마나 확장 또는 축소하는지를 나타내는 양이라고 생각할 수 있다. 만약 행렬식이 0이면 즉, 고윳값이 하나라도 0값을 가지면, 해당 공간은 volume을 완전히 잃어버리기때문에 적어도 1차원을 따라서 완전히 수축된다. 행렬식이 1이면 공간의 volume을 보존하게된다(preserve).

 

 

참고 도서
Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. The MIT Press, 2016