300x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- nlp
- linux
- 킥스타트
- BFS
- 코딩 테스트
- 프로그래밍
- 파이썬
- DFS
- 브루트포스
- 네트워크
- AI
- PYTHON
- 코딩
- 구글 킥스타트
- 순열
- kick start
- 코딩테스트
- 그래프
- dp
- 백준
- CSS
- OS
- 동적프로그래밍
- 리눅스
- 운영체제
- 프로그래머스
- google coding competition
- 동적 프로그래밍
- 딥러닝
- 알고리즘
Archives
- Today
- Total
목록sgd (1)
오뚝이개발자
[CH6] 학습 관련 기술들
매개변수 갱신 신경망 학습의 목적은 손실함수의 값을 최대한 낮추는 매개변수를 찾는 것이었다. 이는 바로 최적의 매개변수를 찾는 최적화 문제이다. 앞 장에서 다루었던 매개변수의 기울기(미분)를 이용해 갱신하는 방식을 확률적 경사 하강법(SGD)라 한다. 최적화 방법에는 SGD말고도 모멘텀, AdaGrad, Adam 이라는 다른 방법들이 존재한다. (아래의 코드는 SGD를 구현한 것.) class SGD: def __init__(self, lr=0.01): self.lr = lr def update(self, params, grads): for key in params.keys(): params[key] -= self.lr * grads[key] GD와 SGD의 차이에 대해 조금 더 정확히 말하자면, SGD..
AI/밑바닥딥러닝1
2020. 6. 21. 21:24