Machine learning/Supervised Learning (5) 썸네일형 리스트형 의사결정나무(Decision Tree) 이 글은 Joshua Starmer의 Regression Trees, Clearly Explained!!! 를 정리한 것임을 밝힙니다. 의사결정나무(Decision Tree)대표적인 비모수적 모델인 의사결정나무(Decision Tree)에 대해 알아보자. 만약, 데이터가 왼쪽과 같이 선형적으로 분포 되어 있다면, 선형 회귀와 같은 모델로 최적화할 수 있다. 그러나, 오른쪽과 같이 점진적으로 변화하지 않고 X값에 따라 뚝뚝 나뉘는 데이터의 분포 형태라면 이러한 선형 회귀의 가정은 옳지 않다. 이런 경우를 위해 Decision Tree가 등장하였다. 의사결정나무(Decision Tree)는 분류(Classification)와 회귀(Regression) 문제를 해결하기 위해 사용되는 지도 학습 알고리즘이다... [정규화] Elastic Net 이 글은 statquest의 Regularization Part 3: Elastic Net Regression를 정리한 것임을 밝힙니다. Elastic Net 앞서 릿지, 라쏘에 대한 정규화 기법을 알아보았는데, 현업에서는 수많은 피처가 사용될 때가 많다. 변수들이 대부분 중요하고 상관관계가 높으면 릿지를, 불필요한 변수가 많으면 라쏘를 쓰라고 했는데 사전에 그 많은 피처들에 대해 이러한 정보를 아는 것은 어렵다.. 그래서 나온 방법이 Elastic Net이다. Elastic Net은 Ridge와 Lasso의 하이브리드 정규화 기법이다. 위의 수식에서 보이듯이 릿지와 라쏘는 각각 다른 λ1, λ2 규제 상수를 사용한다. 위 그림처럼 교차검증을 통하여 최적의 λ1, λ2를 찾아준다. Elastic Net의.. [정규화] 라쏘(LASSO) 회귀 이 글은 statquest의 Regularization Part 2: Lasso (L1) Regression를 정리한 것임을 밝힙니다.LASSOLASSO는 정규화 기법으로써 릿지 회귀와 매우 유사하다. 릿지 회귀를 모른다면 [정규화] 릿지 회귀 를 참고하시길!정규화 기법이란 모델의 비용함수에 파라미터의 페널티 항을 추가함으로써, 피처들의 영향을 줄이는 방법을 말한다.이를 통해 bias는 높아지지만, variance가 낮아져 일반화된 모델을 만들 수 있게 된다.이 때, 어떤 페널티 항을 주느냐에 따라 정규화 기법을 다르게 일컫는다. 파라미터의 제곱의 합을 추가하면 Ridge라고 하고, 파라미터 절댓값의 합을 추가하면 LASSO라고 한다. LASSO 와 Ridge의 차이 Ridge와 Lasso Regre.. [정규화] 릿지(Ridge) 회귀 이 글은 statquest의 Regularization Part 1: Ridge (L2) Regression 를 정리한 것임을 밝힙니다. Ridge Regrssion Ridge Regrssion은 훈련 데이터에 과적합하여 high variance를 갖는 경우를 방지하기 위한 정규화 기법이다. 기존 선형회귀는 단순히 잔차의 제곱합을 줄이는 과정이었다면, 릿지회귀는 잔차의 제곱합 + λ * 파라미터2 을 줄임으로써 파라미터에 제약을 준다. 파라미터의 제약을 둠으로써 x값의 영향을 제하는 것이다! 위 그림에서 λ를 키울수록 기울기는 작아진다. 이는, λ가 클수록 y에 대한 x의 영향력이 작아진다고 해석할 수 있다. (* λ가 매우 크다면 그냥 수직선이 되어버린다) 그렇다면 λ를 어떻게 설정해야 할까? 교차검.. [부스팅 모델] XGBoost 이 글은 Joshua Starmer의 XGBoost Part 1 (of 4): Regression 를 정리한 것임을 밝힙니다. XGBoost는 빠른 시간에 부스팅 모델로 데이터를 학습할 수 있다는 이점이 있어 현업에서도 자주 쓰인다. 캐글에서도 상위 랭크를 차지하고 있는 모델에서 XGB를 심심치 않게 볼 수 있다. 오늘은 XGBoost의 알고리즘이 어떤 식으로 구현되는지 단계 별로 알아보려고 한다.예시는 신약투여량(Drug Dosage)에 따른 약의 효능(Drug Effectiveness)의 수치를 예측하는 문제이며 Regression 문제이다.1. initial prediction임의의 값으로 initial prediction(예시에서는 0.5)로 정한 뒤, initial prediction과 데이터 .. 이전 1 다음
