강의실/인공지능수학

[인공지능수학] 활성화 함수

파아란기쁨 2022. 1. 18. 20:05
활성화함수란
  • 인공 신경망에서 입력을 변환하는 함수이며 ReLU,시그모이드함수,tanh 함수 등이 대표적인 활성함수이다.

 

인공 신경망은 뉴런을 본따서 만든 기계학습 알고리즘입니다.

뉴런의 이미지를 살펴 보면 다음과 같습니다.

출처: 위키백과

이러한 뉴런을 본따 만든 인공신경망은 입력값과 가중치 값을 이용하여 출력 여부를 나타냅니다.

출처:위키백과

위의 이미지는 3개의 입력 데이터를 이용해 2개의 출력 데이터를 만드는 인공신경망의 그림입니다.

이때 hidden을 살펴 보면 3개의 데이터를 입력으로 받아 2개를 출력 하는 뉴런과 같은 신경망이며 각각의 유닛을 살펴 보면 다음과 같은 형태로 나타낼 수 있습니다.

이때 각각의 출력 y1,y2 에 대해 출력신호 y=0,1 로 표현을 할 수 가 있습니다.

어떤 입력값 x1,x2,x3 에 대해 어떤 임곗값에 도달 하는 경우 y1,y2 에 출력신호가 나타나는 경우 1, 출력신호가 없는 경우 0 값이 됩니다.

이때 다음과 같은 식으로 나타낼 수 가 있습니다.

y = a(w1*x1 + w2*x2 + w3*x3 - Θ)

이때 함수 a는 작성자가 정의하는 함수로 활성화함수 라고 합니다. 

 

이러한 활성화 함수는 출력값을 활성화 할것인가 비활성화 할것인가를 정하고 그 값을 부여하는 함수라고 할 수 있습니다.

활성화 함수의 사용이유는 입력값을 비선형 으로 바꾸기 위해서 입니다.

https://wondangcom.tistory.com/2055?category=932273 

 

01-5. 퍼셉트론이란?

인공지능의 역사를 보면 1950년대 퍼셉트론을 제시 후 이 이론을 바탕으로 1960년대 제1전성기를 맞이하게 되는데요~ 이 퍼셉트론은 향후 다층 퍼셉트론으로 다시 돌아 오면서 제2전성기를 맞이

wondangcom.com

퍼셉트론에서 다음의 이미지에서 직선을 분류하지만 곡선을 분류하지 못하는 문제를 살펴 보았었는데요~

이런경우 Hidden Layer 를 추가하여 활성화 함수를 이용하면 출력값이 비선형으로 나오기 때문에 비선형 값을 분류 할 수 있게 됩니다.

 

시그모이드 함수
  • 시그모이드 함수는 S자형 곡선 또는 시그모이드 곡선을 갖는 수학함수이면서 다음과 같은 수식으로 표현 됩니다.
  • 시그모이드 함수는 실수 전체를 정의역으로 가지며 반환값은 0에서 1까지의 범위를 가집니다.
    출처:위키백과
  • 시그모이드 함수는 신경망 초기에는 많이 사용되었지만 기울기소실 문제,함수의 중심값이 0이 아닌 문제, exp함수 사용시 비용이 큰 문제 와 같은 단점들 때문에 최근에는 ReLU 함수를 많이 사용합니다.

 

tanh함수(Hyperbolic tangent function)
  • Hyperbolic tangent function 은 쌍곡선 함수중 하나입니다.
  • Hyperbolic tangent function는 확장된 시그모이드 함수입니다.
  • Hyperbolic tangent function의 정의는 다음과 같습니다.
  • 이것을 시그모이드 형태로 표현 할 수 있습니다.
  • tanh 함수는 함수의 중심값을 0으로 옮겨 시그모이드의 최적화 과정이 느려지는 문제를 해결했습니다.
  • 하지만 값이 일정값 이상이 될때 미분값이 소실되는 기울기 소실 문제는 여전히 남아 있습니다.

 

ReLU함수
  • ReLU는 입력값이 0보다 작으면 0으로 0보다 크면 입력값 그대로 출력하는 함수 ( f(x) = max(0,x) )
    출처:위키백과
  • 시그모이드,tanh 함수와 비교시 학습이 훨씬 빨라 집니다.
  • ReLU 함수는 최근 가장 많이 사용되는 활성화 함수입니다.

 

인공지능에서의 활용
  • 활성화 함수는 인공지능 모델의 표현력을 높이기 위해 사용하는 함수로 비선형 분리를 할 수 있어 복잡한 데이터들의 관계를 눈에 더 잘 뜨게 만들 수 있습니다.

 

 

참고>

처음배우는 딥러닝수학

위키백과

사업자 정보 표시
원당컴퓨터학원 | 기희경 | 인천 서구 당하동 1028-2 장원프라자 502호 | 사업자 등록번호 : 301-96-83080 | TEL : 032-565-5497 | Mail : icon001@naver.com | 사이버몰의 이용약관 바로가기