강의자료/머신러닝 34

[캐글(Kaggle) 따라하기]01.왜 캐글인가?

1. 캐글이란? 캐글은 데이터과학 및 머신러닝 경진대회를 주최하는 온라인 커뮤니티로 전 세계 데이터 과학자를 위한 놀이터이다. 캐글에는 방대한 데이터, 유능한 데이터 과학자, 훌륭한 코드,좋은 문화가 있어 데이터 과학 역량을 쌓는데 최적의 플랫폼이다. 2. 캐글을 해야만 하는 이유? 코딩인터뷰에 대비하기 위해 다양한 알고리즘 문제사이트(백준,알고스팟,프로그래머스등)를 활용합니다. 세상이 바뀌어 앞으로의 기술은 알고리즘만으로 해결하기 어려운 문제들에 도전하고 있습니다. 바로 데이터과학과 머신러닝이 대표적입니다. 이 분야에서는 '데이터' 가 핵심입니다. 데이터 없이는 유의미한 문제를 제시 할 수 조차 없습니다. 그리고 양질의 데이터는 개인이나 작은 단체에서는 쉽사리 만들어 내기도 어렵습니다. 이러한 환경에서..

강의자료/머신러닝 2022.09.23 (5)

[딥러닝실습] 이미지 분류(CNN) II-Flatten을 이용한 딥러닝 학습

목표 이미지셋 데이터에서 딥러닝 모델의 특징을 추출하는 방법에 대해 이해 합니다. 실습하기 지난시간에 CNN의 구조를 살펴 보았습니다. CNN의 레이어는 크게 두가지 부분으로 나뉩니다. 1. Convolution/Pooling : 메커니즘은 이미지를 형상으로 분할하고 분석 2. FC(Fully Connected Layer) : 이미지를 분류/설명하는 데 적합하게 예측 위의 이미지는 32*32의 이미지 데이터를 LeNet 모델로 처리하는 이미지 입니다. C1 레이어 : 32*32 이미지를 6개의 5*5 필터와 컨볼루션 연산을 이용해 6장의 28*28 특징맵을 만드는 과정입니다. Convolution 연산은 다음과 같은 과정을 거쳐서 특징점을 만들게 됩니다. 4*4 이미지를 사이즈 3*3 필터를 사용하면 특..

강의자료/머신러닝 2022.09.16 (8)

[딥러닝실습] 이미지 분류(CNN) II-Conv2D을 이용한 딥러닝 학습

목표 컨볼루션에 대한 이해와 컨볼루션 레이어의 사용법을 이해합니다. 실습하기 지난시간에 CNN의 구조를 살펴 보았습니다. CNN의 레이어는 크게 두가지 부분으로 나뉘는 부분에 대해 살펴 보았습니다. 1. Convolution/Pooling : 메커니즘은 이미지를 형상으로 분할하고 분석 2. FC(Fully Connected Layer) : 이미지를 분류/설명하는 데 적합하게 예측 지난시간에는 Fully Connected Layer 부분을 Flatten을 이용하여 2차원 배열의 데이터를 1차원 배열의 데이터로 변환하여 학습하는 모델을 만들어 보았습니다. 오늘은 컨볼루션 부분에 대해 살펴 보겠습니다. 먼저 실습하기 전에 컨볼루션에 대한 부분을 살펴 보겠습니다. 컨볼루션이란 컨볼루션(Convolution)은 ..

강의자료/머신러닝 2022.09.01 (7)

[딥러닝실습] 이미지 분류(CNN) I-이미지 데이터 이해하기

CNN이란 CNN 은 Convolution Neural Network의 약자로 이미지를 인식하는 분류기입니다. CNN의 구조는 다음과 같습니다. 위의 이미지는 32*32의 이미지 데이터를 LeNet 모델로 처리하는 이미지입니다. 1) C1 레이어 : 32*32 이미지를 6개의 5*5 필터와 컨볼루션 연산을 이용해 6장의 28*28 특징맵을 만듭니다. 2) S2 레이어 : 6장의 28 * 28 특성 맵에 대해 서브샘플링을 진행한다. 결과적으로 28 * 28 사이즈의 특성맵이 14*14 사이즈의 특성맵으로 축소된다. 2*2 필터를 stride2로 설정해서 서브샘플링해주기 때문이다. 사용하는 서브샘플링 방법은 평균풀링(average pooling) 이다. 3) C3 레이어 : 6장의 14*14 특성맵에 6개의..

강의자료/머신러닝 2022.08.19 (5)

[딥러닝실습] pandas와 tensorflow를 이용한 보스턴 집값 예측

오늘은 딥러닝 실습시 가장 많이 사용하는 사이킷런에서 제공하는 보스턴 집값을 이용하여 예측하는 모델을 만들어 보도록 하겠습니다. 실습과정 지도학습의 실습과정은 다음과 같습니다. 1. 과거의 데이터를 준비합니다.(과거의 데이터에서 원인과 결과 즉 독립변수와 종속변수를 찾아 냅니다.) 2. 모델의 구조를 만듭니다. (레모네이드 판매량이 온도에 따라 달라지는데 이때 온도를 독립변수, 판매량을 종속변수로 하는 모델을 만들어 봅니다.) 3. 데이터로 모델을 학습합니다. 4. 모델을 이용합니다. 실습 도구 https://colab.research.google.com/ 실습은 코랩을 이용해서 진행하겠습니다. 과거 데이터 준비 #보스턴 주택 데이터셋 from sklearn import datasets 보스턴 = dat..

강의자료/머신러닝 2022.08.12 (11)

[딥러닝실습] 히든레이어 생성 실습

2021.12.03 - [강의실/머신러닝] - 01-5. 퍼셉트론이란? 01-5. 퍼셉트론이란? 인공지능의 역사를 보면 1950년대 퍼셉트론을 제시 후 이 이론을 바탕으로 1960년대 제1전성기를 맞이하게 되는데요~ 이 퍼셉트론은 향후 다층 퍼셉트론으로 다시 돌아 오면서 제2전성기를 맞이 wondangcom.com 퍼셉트론에서 단층퍼셉트론이 진화를 해서 다층퍼셉트론이 나오게 되는데요~ 여러개의 은닉층을 두어 다층퍼셉트론을 만들었다고 확인을 했습니다. 오늘은 여러개의 은닉층을 만드는 방법에 대해 살펴 보도록 하겠습니다. 보스턴 집값을 예측하는 모델의 구성은 다음과 같은 형태를 가지고 있었습니다. 13개의 독립변수를 가지고 하나의 종속변수를 만드는 단층레이어 모델로 실습을 진행했습니다. 이것을 위와 같은 다..

강의자료/머신러닝 2022.08.05 (13)

[딥러닝실습] pandas와 tensorflow를 이용한 아이리스 품종 분류

오늘은 아이리스의 품종을 분류하는 분류 모델을 만드는 방법을 실습해 보겠습니다. 실습과정 지도학습의 실습과정은 다음과 같습니다. 1. 과거의 데이터를 준비합니다.(과거의 데이터에서 원인과 결과 즉 독립변수와 종속변수를 찾아 냅니다.) 2. 모델의 구조를 만듭니다. 3. 데이터로 모델을 학습합니다. 4. 모델을 이용합니다. 실습 도구 https://colab.research.google.com/ 실습은 코랩을 이용해서 진행하겠습니다. 과거 데이터 준비 ########################### # 라이브러리 사용 import tensorflow as tf import pandas as pd from sklearn import datasets ########################### # 1...

강의자료/머신러닝 2022.07.12 (5)

[딥러닝실습] pandas와 tensorflow를 이용한 레모네이드 판매량 예측

실습과정 지도학습의 실습과정은 다음과 같습니다. 1. 과거의 데이터를 준비합니다.(과거의 데이터에서 원인과 결과 즉 독립변수와 종속변수를 찾아 냅니다.) 2. 모델의 구조를 만듭니다. (레모네이드 판매량이 온도에 따라 달라지는데 이때 온도를 독립변수, 판매량을 종속변수로 하는 모델을 만들어 봅니다.) 3. 데이터로 모델을 학습합니다. 4. 모델을 이용합니다. 실습 도구 https://colab.research.google.com/ 실습은 코랩을 이용해서 진행하겠습니다. 과거 데이터 준비 ########################### # 라이브러리 사용 import pandas as pd ########################### # 파일로부터 데이터 읽어오기 파일경로 = 'https://raw..

강의자료/머신러닝 2022.06.23 (7)

[딥러닝파이썬] 02-5.파이썬의 Pandas를 다뤄 보자.

피벗테이블 - 엑셀에서 처리하는 피벗테이블과 같은 의미 - index 축은 groupby와 동일하며 column에 labeling 값을 추가하여 value에 숫자를 aggregation 하는 형태임 - 피벗 테이블의 기본 구성요소는 행인덱스,열인덱스,데이터값,데이터집계함수로 구헝되어 있다. pdf=pd.pivot_table(df, #피벗할 데이터 프레임 index = '행위치에 들어갈 열', columns ='열 위치에 들어갈 열', values = '데이터로 사용할 열', aggfunc = '데이터 집계함수') - Seaborn 의 내장 데이터 타이타닉을 기준으로 피벗 테이블을 만들어 보자. import pandas as pd import seaborn as sns df = sns.load_datase..

강의자료/머신러닝 2022.06.08 (8)

[딥러닝파이썬] 02-4.파이썬의 Pandas를 다뤄 보자.

Group by - SQL 의 Group by 명령어와 같이 그룹별로 집계하는 기능 from pandas import DataFrame,Series import pandas as pd import numpy as np pd_data = pd.read_csv("https://rfriend.tistory.com/attachment/cfile21.uf@99FC50395B825BD92D1949.txt", names = ['sex', 'length', 'diameter', 'height','whole_weight', 'shucked_weight', 'viscera_weight','shell_weight', 'rings']) #https://rfriend.tistory.com/attachment/cfile21.uf..

강의자료/머신러닝 2022.05.24 (11)