[인공지능수학]1.선형 대수학이란

선형대수학이 왜 인공지능에 필요한지 살펴 보도록 하겠습니다.

 

선형대수학(linear algebra)이란

• 대수학(algebra)의 한 분야
• 하나 이상의 변수로 이루어진 선형방정식의 해를 다루는 수학분야
• 선형대수학은 벡터와 행렬을 다루는 수학의 한 분야로 공학,물리학,컴퓨터 과학의 다양한 분야에서 중요한 역할을 한다.

선형대수학의 기본 개념

1. 벡터(Vector):
   • 벡터는 크기와 방항을 가진 수학적 개체
   • 예를 들어 2차원 평면에서 벡터는(x,y)좌표로 나타낼 수 있다.
2. 행렬(Matrix)
   • 행렬은 숫자를 직사각형 배열로 정렬한 것
   • 예를 들어 2*2 행렬은 다음과 같이 나타낼 수 있다. $$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$$
3. 선형변환(Linear Transformation)
   • 선형 변환은 벡터를 다른 벡터로 변환하는 함수이다.
   • 예를 들어 2차원벡터(x,y)를 2*2 행렬 A를 통해 변환하면 새로운(x',y')를 얻을 수 있다.

주요 개념

1. 랭크(Rank):행렬의 열 벡터들 중 선형 독립인 벡터수
2. 역행렬(Inverse Matrix): 주어진 행렬과 곱했을 때 항등행렬이 되는 행렬
3. 행렬식(Determinant): 행렬의 크기를 나타내는 값으로 행렬이 가역인지 판단하는데 사용 됨
4. 고유값(Eigenvalue)과 고유벡터(Eigenvector): 행렬 변환 후에도 방향이 변하지 않는 벡터와 그에 대응하는 값

선형방정식과 머신러닝의 관계

1. 데이터 표현
   • 선형대수학을 사용하여 데이터를 벡터와 행렬로 나타낸다.
   • 예를 들어 다수의 특성(feature)을 가진 데이터를 행렬 형태로 정리하여 모델에 입력 할 수 있다.
2. 선형회귀(Linear Regression)
   • 선형 회기는 주어진 데이터에 가장 적합한 직선을 찾는 알고리즘이다.
   • 선형 회귀는 y=Xβ+ϵ 형태의 선형 방정식을 사용하여 종속 변수 y를 예측한다
   • 여기서 X는 특성행렬, β는 회귀 계수 벡터, ϵ는 오차벡터이다.
3. 최소 제곱법(Least Squares Methord)
   • 선형회귀에서 가장 적합한 직선을 찾기 위해 최소 제곱법을 사용한다.
   • 최소 제곱법은 오차의 제곱합을 최소화하는 방법으로 선형방정식 Xβ=y 의 해를 구한다.
   • 이를 통해 회귀계수 β를 추정할 수 있다.
4. 특징 추출 및 차원 축소
   • 주성분 분석(PCA)과 같은 차원 축소 기법은 행렬의 고유값 분해(Eigendecomposition)와 같은 선형대수학 개념을 사용한다.
   • PCA는 고차원 데이터를 저차원으로 변환하여 데이터의 주요 특성을 추출하고 시각화 하는데 사용된다.
5. 뉴럴 네트워크(Neural Networks)
   • 뉴럴 네트워크의 각 층은 선형 변환과 비선형 활성화 함수로 구성된다.
   • 입력데이터는 가중치 행렬을 통해 선형 변환된 후 비선형 활성화 함수를 거쳐 다음 층으로 전달된다.
   • 이를 통해 복잡한 비선형 관계를 학습할 수 있다.
6. 벡터화 연산(Vectorized Operations)
   • 머신러닝 알고리즘의 효율성을 높이기 위해 벡터화 연산을 사용한다.
   • 벡터화 연산은 데이터를 벡터와 행렬로 표현하여 병렬 처리 및 최적화를 가능하게 한다.
7. 결론 
   • 결국 선형 대수학의 개념은 머신러닝의 다양한 알고리즘과 기법에서 핵심적인 역할을 한다.

예제데이터

우리는 간단한 데이터셋을 가지고 선형 회귀 모델을 만들어 보겠습니다. 예를 들어, 어떤 가게의 광고비(입력)와 판매량(출력)의 관계를 예측하려고 합니다.

광고비 (x) (단위: 천 원)	판매량 (y) (단위: 개)
1	5
2	7
3	9
4	11
5	13

선형 회귀 모델

우리는 y=β0+β1x형태의 선형 방정식을 사용하여 판매량을 예측할 수 있습니다.

1. 데이터 표현:
   • 입력 변수 x와 출력 변수 y를 벡터로 표현합니다. $$X=\left(\begin{array}{ccccc}1& 2& 3& 4& 5\end{array}\right)$$ $$Y=\left(\begin{array}{ccccc}5& 7& 9& 11& 13\end{array}\right)$$
2. 모델 학습:
   • 최소 제곱법을 사용하여 회귀 계수 β0와 β1를 추정합니다.
     • 회귀 직선은 데이터를 가장 잘 맞추는 직선입니다.
     • 이 예제에서는 y=3+2x로 표현될 수 있습니다.
     • 즉, β0=3\, β1=2 입니다.
3. 예측:
   • 이제 새로운 광고비 x=6에 대한 판매량을 예측해 보겠습니다.
   • y=3+2⋅6=15
   • 광고비가 6천 원일 때 판매량은 약 15개로 예측됩니다.

머신러닝과 선형 방정식의 관계

• 데이터 표현: 데이터를 벡터와 행렬로 나타내어 머신러닝 모델에 입력합니다.
• 모델 학습: 선형 방정식을 사용하여 데이터를 가장 잘 맞추는 모델을 학습합니다.
• 예측: 학습된 모델을 사용하여 새로운 입력 데이터에 대한 예측을 수행합니다.

이와 같이 선형 방정식은 머신러닝의 기본 개념을 이해하는 데 중요한 역할을 하며 선형회귀와 같은 간단한 모델에서부터 더 복잡한 모델까지 널리 사용된다.