2024 동계 모각코 4회차 활동정리

파이썬 언어로 Cross-Entropy Loss function을 선언하고 이를 설명하세요.

 

import numpy as np

true = np.array([1, 0, 1, 1])

pred = np.array([0.8, 0.2, 0.7, 0.9])

epsilon = 1e-15

pred = np.clip(pred, epsilon, 1 - epsilon)

loss = - (true * np.log(pred) + (1 - true) * np.log(1 - pred))

 

print(np.sum(loss))

 

clip함수는 pred, min, max가 있는데, min보다 작은건 min값으로 두고, max보다 큰거는 max로 만든다.

 

실제 측정값은 1, 0, 1, 1

 

예측값은 0.8, 0.2, 0.7, 0.9로 크로스 엔트로피 손실을 구하고 손실들의 합을 출력한다

 

 

SGD(Stochastic Gradient Descent) (경사하강법) 알고리즘에 관해 설명하세요.

매개변수에 대한 손실 기울기를 구하고, 손실함수의 기울기가 작아지는 방향으로 매개변수를 학습률에 따라 갱신한다.

 

sgd는 기울기가 너무 크게 바뀌면 노이즈가 발생한다.

 

 

error backpropagation에서 발생하는 기울기 소멸 문제(vanishing gradient problem) 문제와 해결 방법에 대해 간단히 설명하시오.

 

오차 역전파 알고리즘에서 출력층에서 입력층으로 역전파를 진행할수록 기울기가 점차 작아지다가 나중에는 기울기의 변화가 없어 학습이 되지 않는 문제이다. 이를 해결하려면 시그모이드함수를 렐루함수로 전환한다.

 

 

RELU 활성화 함수에 관해 설명하고 RELU 활성화 함수의 오차 역전파법(Error Backpropagation)에 관해 설명하세요.

 

Relu함수는 값이 0보다 크면 그 값을 그대로 출력하고, 아니면 0을 출력한다. 오차 역전파법은 매개변수의 기울기를 효과적으로 계산하는 방법이다. x가 0이상이면 기울기를 그대로 출력하고, 아니면 0을 출력한다.

 

소감 : 아직 배우지 않은 인공지능 개념에 대해 배웠는데, 미리 가볍게 예습하면서 내용을 익한 것 같아서 뿌듯했습니다.