Bias와 Variance

Bias와 Variace의 개념

---

bias와 variance의 도식화를 통한 비교(출처:ratsgo github 블로그)

쉽게 사격을 한다고 생각하면 된다. 위 그림의 파란색 엑스표는 예측값을 나타낸다. bias란 말그대로 예측값이 중앙(Truth)에서 얼마나 멀리 떨어져있는지를 나타낸다. bias가 높으면 중앙에서 멀리 떨어져있고, 낮으면 중앙과 가까이 붙어있다는 것이다. variance란 예측값들이 서로 얼마나 멀리 떨어져있는지를 나타낸다. variance가 높으면 예측값들이 서로 멀리 떨어져있고, 낮으면 서로 붙어있다.

 

성능과 bias, variance

---

- 모델의 성능을 높이기 위해선 당연하게도 bias와 variance를 둘 다 줄이는 것이 좋다.

- 하지만 이 둘 간에는 상충관계(trade-off)가 있다.

- 일반적으로 bias가 증가하더라도 variance의 감소폭이 크면 좋은 모델이라고 한다.

 

정규화(Regularization)와 bias, variance

---

출처:YOUTUBE 김성범 교수님 강의

위 그래프는 차수가 높아질수록 모델이 데이터를 얼마나 잘 나타내는지를 보여준다. 

출처:YOUTUBE 김성범 교수님 강의

위 그래프는 차수에 따른 오차를 보여준다. 빨간 선 두개 중 위쪽 선이 test data, 아래쪽 선이 train data를 나타낸다. 이를 bias와 variance관점에서 살펴보자. 차수가 낮을 땐, test와 train 모두 오차가 크다. 다시 말해 bias가 높다. 차수가 높을 땐, train 오차는 과적합에 의해 작아지지만 test 오차는 커진다. 다시 말해 variance가 높다.