[D+50] 오답노트 | 릿지(Ridge)와 라소(Lasso)

오늘은 머신러닝에서 자주 사용되는 릿지(Ridge)와 라소(Lasso) 회귀에 대해 알아보겠습니다. 

수업 시간에 배운 내용은 아닌데, 별도 공부를 하면 좋겠다고 하셔서 학습한 내용을 정리해보려고 합니다.

---

릿지(Ridge)와 라소(Lasso)는 머신러닝, 특히 회귀 분석에서 사용되는 기법입니다. 

이들은 기본적으로 선형 회귀(Linear Regression) 모델을 기반으로 하되, 과적합(Overfitting)을 방지하고 모델의 일반화 능력을 향상시키기 위해 도입된 '규제(Regularization)' 기법입니다.

 

1. 릿지(Ridge) 회귀

상상해 보세요. 당신이 종이비행기를 날리는데, 비행기가 너무 멀리 날아가지 않도록 하고 싶습니다. 

그래서 비행기에 작은 무게를 추가해서 조금만 날아가도록 합니다. 

릿지 회귀도 비슷한 원리에요. 컴퓨터가 데이터를 너무 완벽하게 학습하지 못하도록 "무게"를 추가해 주는 거죠. 

이렇게 하면 컴퓨터가 새로운 데이터에 대해 예측할 때 더 잘 할 수 있어요.

릿지 회귀에서는 각 계수의 제곱값에 대해 패널티를 부여합니다.

이 패널티는 람다(λ)라는 파라미터로 조절되며, 람다가 크면 클수록 더 많은 제약이 가해져 계수의 값들이 더 작아지게 됩니다.

이는 모델이 너무 복잡해지는 것을 방지하여 데이터의 잡음이나 불필요한 변수의 영향력을 줄여줍니다.

 

2. 라소(Lasso) 회귀

이번에는 당신이 방 정리를 해야 한다고 상상해 보세요. 

방에 있는 물건 중에서 정말 필요한 것만 남기고 나머지는 치웁니다. 

라소 회귀도 비슷해요. 컴퓨터가 데이터를 학습할 때, 정말 중요한 정보만 사용하고 나머지는 무시하도록 돕습니다. 

이 방법으로도 새로운 데이터에 대한 예측을 개선할 수 있어요.

라소는 계수의 절대값에 패널티를 부여합니다.

이로 인해 불필요한 변수의 계수를 정확히 0으로 만들어, 해당 변수를 모델에서 제외시킬 수 있습니다.

이런 특성 때문에 라소 회귀는 변수 선택(feature selection)에도 유용하게 사용됩니다.

 

3. 왜 사용할까?

컴퓨터가 데이터를 학습할 때, 너무 많은 정보로 인해 혼란을 겪거나, 새로운 상황에 맞게 잘 예측하지 못하는 경우가 있어요. 

릿지와 라소는 이런 문제들을 해결하기 위해 사용됩니다. 쉽게 말해, 컴퓨터가 더 "현명하게" 학습하도록 돕는 도구인 거죠.

---

릿지와 라소는 컴퓨터가 데이터로부터 배우는 방법을 조금 더 좋게 만들어주는 기술입니다.

처음에는 이 개념들이 복잡하게 느껴질 수 있지만, 기본적으로는 컴퓨터가 더 잘 학습하고 예측하도록 돕는 방법이라는 것을 기억해주세요!