[인공지능수학] 고유 값,고유 벡터

1. 고유값과 고유벡터의 정의

행렬 A가 주어졌을 때, 고유값과 고유벡터는 아래 식을 만족하는 값과 벡터를 말합니다:

$$A\overrightarrow{v}=\lambda \overrightarrow{v}$$

여기서:

$$\overrightarrow{v}:고유벡터(0이아닌벡터)$$

$$\lambda :고유값(스칼라)이식은행렬A가어떤고유벡터\overrightarrow{v}에대해단순히크기를변환시키고방향은유지함을의미$$

 

다시 설명하면 다음과 같은 의미를 가지고 있습니다.

고유벡터(eigenvector)는 선형 변환을 취했을 때 방향(direction)은 변하지 않고 크기(magnitude)만 변하는 벡터를 의미합니다.

여기에서 고유벡터의 크기가 변한다고 했는데 그 변하는 크기가 고유값(eigenvalue)을 의미합니다. 즉 고유값이 2라면 기존 벡터 크기의 2배만큼 길어진 벡터입니다.

 

2. 고유값과 고유벡터의 계산 과정

고유값과 고유벡터를 구하기 위해서는 다음 단계를 따릅니다:

1. 특성 방정식 설정: 행렬 A에 대해 det⁡(A−λI)=0을 만족하는 λ 값을 구합니다. 여기서 I는 단위행렬입니다.
2. 고유값 계산: 특성 방정식을 풀어 고유값 λ를 구합니다.
3. 고유벡터 계산: 각 고유값에 대응하는 고유벡터는 $$(A-\lambda I)\overrightarrow{v}=0$$ 을 풀어 구합니다.

예제

행렬 A가 다음과 같이 주어졌다고 가정합니다:

$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$

1단계: 특성 방정식 구하기

고유값 λ를 구하기 위해, 아래 식을 사용합니다:

det⁡(A−λI)=0

여기서 I는 단위행렬입니다. A−λI를 계산하면:

$$A-\lambda I=\left[\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right]$$

이 행렬의 행렬식을 구하면:

$$det(A-\lambda I)=(2-\lambda )(2-\lambda )-(1)(1)$$

$$det(A-\lambda I)=({\lambda }^2-4\lambda +3)=0$$

2단계: 고유값 계산

특성 방정식 λ^2−4λ+3=0을 풀면, 고유값은 다음과 같습니다:

$${\lambda }_1=3,{\lambda }_2=1$$

3단계: 고유벡터 계산

각 고유값에 대응하는 고유벡터를 구하기 위해 $$(A-\lambda I)\overrightarrow{v}=0$$을 풉니다.

• λ=3일 때:

$$A-3I=\left[\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right]$$

$$\left[\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

이 식을 풀면 x=y가 됩니다. 따라서 고유벡터는 $$\overrightarrow{v_1}=k\left[\begin{array}{c}1\\ 1\end{array}\right]$$ (여기서 k는 임의의 상수)입니다.

• λ=1일 때:

$$A-1I=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$$

$$\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

이 식을 풀면 x=−y가 됩니다. 따라서 고유벡터는 $$\overrightarrow{v_2}=k\left[\begin{array}{c}1\\ -1\end{array}\right]$$입니다.

결론

이 행렬 A의:

• 고유값은 $${\lambda }_1=3,{\lambda }_2=1$$

 

3. 활용 사례

고유값과 고유벡터는 수학적 개념을 넘어 다양한 실제 응용 분야에 쓰입니다:

• 머신러닝: 주성분 분석(PCA)에서 데이터를 차원 축소할 때 사용됩니다.
• 물리학: 양자역학에서 행렬의 고유값은 관찰 가능한 물리량의 값과 관련이 있습니다.
• 컴퓨터 그래픽스: 3D 객체의 회전과 변형 계산에 사용됩니다.
• 네트워크 분석: 그래프의 중심성을 측정하는 데 활용됩니다.

예)

주성분 분석(PCA)에서 데이터를 차원 축소

PCA란?

PCA는 데이터를 "새로운 축"으로 재정렬해 정보를 요약하는 기법입니다. 이 새로운 축은 원래 데이터에서 가장 중요한 변동(즉,데이터의 분산)을 최대화할 수 있도록 정의됩니다. 이를 통해 차원을 줄이면서도 데이터의 본질적인 특성을 유지할 수 있습니다.

PCA의 기본흐름

1. 데이터를 표준화(평균 0, 분산 1) 합니다.

2. 데이터를 잘 설명할 수 있는 새로운 좌표 축을 찾습니다.

3. 새로운 축으로 데이터를 변환하고(투영), 중요하지 않은 축을 제거하여 차원을 축소합니다.

고유값과 고유벡터의 역할

PCA에서 고유값과 고유벡터는 데이터를 새로 재구성하는 데 중요한 역할을 합니다.

• 공분산 행렬 계산 : 데이터를 표준화한 후, 공분산 행렬을 계산합니다. 이 행렬은 데이터의 변수 간 관계(즉,상관 정도)를 나타냅니다.
• 고유값과 고유벡터 계산 : 공분산 행렬에서 고유값과 고유벡터를 구합니다.
  • 고유벡터 : 데이터의 분산이 최대가 되는 방향을 나타내며 새로운 좌표 축이 됩니다.
  • 고유값 : 각 고유벡터 방향으로 테이터의 분산 크기를 나타냅니다.
• 축 정렬 : 고유값이 큰 순서대로 고유벡터를 정렬합니다. 고유값이 클수록 데이터의 중요한 정보를 담고 있기 때문에, 가장 큰 고유값에 대응하는 고유벡터를 첫 번째 주성분으로 사용합니다. 이후 두 번째, 세 번째 주성분이 따라 옵니다.

차원축소

예를 들어 3차원 데이터를 PCA로 분석한 결과 첫 번째와 두 번째 주성분이 대부분의 정보를 설명한다고 판단되면 이 두 주성분만 남기고 데이터를 2차원으로 축소합니다. 이렇게 하면 중요한 데이터 특성을 잃지 않으면서도 간단하게 표현할 수 있습니다.