[정규화] Elastic Net

이 글은 statquest의 Regularization Part 3: Elastic Net Regression를 정리한 것임을 밝힙니다.

Elastic Net

많은 변수가 있을 때...

앞서 릿지, 라쏘에 대한 정규화 기법을 알아보았는데, 현업에서는 수많은 피처가 사용될 때가 많다.

변수들이 대부분 중요하고 상관관계가 높으면 릿지를, 불필요한 변수가 많으면 라쏘를 쓰라고 했는데 사전에 그 많은 피처들에 대해 이러한 정보를 아는 것은 어렵다..

 

그래서 나온 방법이 Elastic Net이다.

Elastic Net은 Ridge와 Lasso의 하이브리드 정규화 기법이다. 

Elastic net의 비용함수

 

위의 수식에서 보이듯이 릿지와 라쏘는 각각 다른 λ1, λ2 규제 상수를 사용한다.

위 그림처럼 교차검증을 통하여 최적의 λ1, λ2를 찾아준다.

Elastic Net의 의미

라쏘는 상관 관계가 있는 항들 중 하나만을 선택하고 다른 항들은 제거한다.

반면에 릿지 회귀는 상관 관계가 있는 변수들의 모든 매개변수를 함께 축소하는 경향이 있다.

 

이러한 라쏘와 릿지 회귀를 결합함으로써, Elastic Net은 상관 관계가 있는 변수들을 그룹화하고 축소시키며, 이들을 함수에 남겨두거나 한 번에 모두 제거한다! (약간 뭉탱이로 묶어서 변수 처리하는 느낌?)