선형대수
-
[선형대수] 주성분분석Research/Linear Algebra 2020. 8. 5. 21:22
공분산 행렬 PCA에 대해 공부하기 이전에 배경지식으로 공분산 행렬에 대해서 알아야한다. 공분산의 정의는 두 확률변수의 상관 정도를 나타내는 값으로 두 확률변수 X Y에 대해 아래와 같이 정의된다. $E(X) $ 는 X에 대한 기대값을 의미한다. 데이터의 입장에서 보면 두 특징 (차원, 축)이 얼마나 상관이 있는지에 대한 수치로 볼 수 있다. 예시로 어떤 학교의 전교생 성적 자료를 N명의 학생 (데이터 개수)와 M개의 과목 (특징의 개수)로 정의하였을 때, 수학을 잘하는 학생이 과학을 잘하는 경우가 많으니 두 특징 (과목)의 공분산은 높은 수치를 기록할 것이다. 다른 과목을 살펴보니, 수학을 잘하는 학생들이 국어도 대체로 잘하지만 과학만큼은 아니기에 조금 낮은 수치 (양수의)를 기록할 것이다. 역사 과목..
-
[선형대수] 특이값 분해Research/Machine Learning 2020. 8. 4. 01:35
정의 $M \times N$ 행렬 $M$가 주어졌을 때, 다음과 같이 세 행렬의 곱으로 분해할 수 있다. $M = U \Sigma V^{*}$ $U$는 $M \times M$의 유니터리 행렬$^{[1]}$ (좌 특이벡터 행렬), $\Sigma$는 $M \times N$의 음이 아닌 내림차순 대각 행렬 (특이값 행렬) , $V^{*}$는 $N \times N$의 유니터리 행렬 ($V$의 켤레전치 행렬$^{[2]}$, 우 특이벡터 행렬) 의미 유니터리 행렬은 선형변환으로 해석하였을 때 회전(det가 1인 경우) 혹은 반전된 회전 (det가 -1인 경우)을 의미하고 대각행렬은 scale을 의미한다. 회전 (혹은 반전된 회전)은 scale에 비하여 상대적으로 형태적 변환이 크지 않다. 또한 그 변환 정도는 sc..
-
[선형대수] 고유값과 고유벡터Research/Machine Learning 2020. 7. 27. 22:18
정의 선형 변환(=행렬 연산) $T$가 주어졌을 때, 어떤 vector $v$와 scalar $\lambda$에 대하여 $Tv = \lambda v$, $v \neq$0 일 때, $v$를 $T$의 고유 벡터 (eigen value)라 하고 $\lambda$를 $v$에 대응하는 고유값이라고 한다. 의미 어떠한 선형 변환 $T$에 대하여 대부분의 벡터들은 그 크기와 방향이 모두 변하지만 일부 벡터(=고유 벡터)에 대해서만 그 크기(=고유값)만 바뀌었다. 당연하게도 $T$가 정방행렬이 아닐 경우 $Tv$ 와 $v$의 길이가 달라짐으로 $T$가 정방행렬일 경우만 고유값과 고유벡터가 존재한다. 구하는 방법 $Tv = \lambda v$ $Tv - \lambda v =$ $(T-\lambda I)v$ $=0$ 즉,..