AI16 [ai-2team] 5. Relu, Weight Initialization, Dropout, Batch Normalization 이번 포스팅은 모두를 위한 딥러닝 lab 10에 대한 본문 및 코드 요약입니다. Lab 10-1 :Relu activation function ● problem of sigmod 기존 neural network learning: 더보기 - 입력이 들어가면 출력이 나옴 - 실제 정답(ground truth) - output = loss - loss미분 값을 역전파하며 학습이 진행됨 - 역전파로 전달되는 loss를 미분한 것을 gradent = 그래프의 기울기 - Signoid Activation Function의 그래프: 가운데 그래프 기울기는 0보다 큼, 양 끝은 0에 가까움 시그노이드 함수의 문제점: 기울기가 매우작으면 neural network학습시 기울기를 전달받아 학습하는데 Vanishing .. 2021. 1. 28. [ai-2team] 4. Neural Networks 안녕하세요. 이번 학습 주제는 『Neural Networks』 입니다. 모두를 위한 딥러닝 시즌 2의 8-9강 내용을 기반으로 작성되었습니다. 인공지능의 시초는 1956년 미국에서 인간이 수행하는 지적 작업의 절차를 컴퓨터로 시뮬레이션한 것입니다. 이처럼 초창기에는 개발자가 만든 규칙에 따라 인간의 지적 작업을 흉내 내는 컴퓨터 프로그램을 인공지능 기술이라고 간주했습니다. 하지만 정보 기술의 발달로 더 많은 양의 데이터를 빠르고 정확하게 처리할 수 있게 된 현대 사회에서 인공지능 기술은 지식과 인지 데이터 기반의 학습을 통해 새로운 상황을 판단 및 분석하고 문제를 해결하는 능력까지 포함합니다. 결국, 인공지능 구현의 궁극적 목표는 『인간처럼 학습하고 생각할 수 있는 기계』일 것입니다. 이러한 thinki.. 2021. 1. 27. [ai-2team] 3. Learning rate, Data preprocessing, Overfitting, Data set Learning rate 가장 최적화된 모델을 찾기 위한 과정은 적절한 Learning rate 값을 찾아 Gradient 값이 0이 되는 지점을 찾는 것이다. 학습이 진행됨에 따라 cost 값이 점차 줄어들수록 학습능률이 좋은 모델이다. Learning rate 가 너무 큰 값일 경우 오른쪽 그래프의 붉은 표시와 같이 값을 과하게 이동하며 실행되고, overshooting 현상이 발생할 수 있다. 반대로 Learning rate 값이 너무 작을 경우, 실행 시간이 오래 걸릴 수 있기 때문에 적절한 값을 찾아 설정해야한다. Learning rate 값은 주로 0.01이 사용되고, Adam Optimizer에서 최적의 Learning rate 값은 3e-4이다. 학습을 하는 과정에서 cost 값이 더 이상.. 2021. 1. 23. [ai-2team] 2. Multi-variable linear regression, Logistic regression, Softmax Classifier Multi-variable linear regression 시험 점수 예측하기 입력 값 1개(x)를 이용한 회귀(regression) 여기서 입력값 x를 variable 혹은 feature라고 한다. 입력 값 3개(x1, x2, x3)를 이용한 회귀(regression) 두 차례의 쪽지시험 점수와 중간고사 점수를 통해 기말고사 점수를 예측하는 모델이다. 즉 새로운 학생의 쪽지시험 점수와 중간고사 점수를 알면 기말고사 점수를 예측할 수 있다. Hypothesis 기존의 Hypothesis 함수이다. 다변수 회귀의 경우 변수(x)가 3개로 늘어나면 가중치(w)도 3개가 된다. Cost function cost 함수는 기존에 변수가 하나일 때와 동일하다. Multi-variable 변수가 3개뿐이라면 괜찮지만.. 2021. 1. 15. 이전 1 2 3 4 다음
