꾸준히 성장하기

안녕하세요, 앙상블(Ensemble) 기법에 대해서 공부했습니다🔥 '통합은 힘이다'라는 말처럼, 여러 모델을 하나로 결합해 훨씬 강력한 예측력을 발휘하는 기법입니다. 이 기법을 깊이 파고들면서 보팅, 배깅, 부스팅, 그리고 스태킹이라는 네 가지 핵심 전략을 집중적으로 살펴보았습니다. 1. 보팅(Voting): 서로 다른 알고리즘 보팅은 서로 다른 알고리즘 기반의 여러 모델들이 예측한 결과를 통합하는 방법입니다. 하드 보팅은 가장 많은 모델이 도달한 결론을 최종 예측값으로 채택합니다. 소프트 보팅은 모든 모델의 예측 확률 평균을 내어 가장 높은 확률을 보인 값을 선택합니다. 간단히 말해, 다수결 또는 평균치를 통해 더 정교한 예측을 도모하는 것이죠. 2. 배깅(Bagging): 같은 알고리즘 배깅은 동일한..

오늘의 학습 주제는 'Random Search'와 'Grid Search'에 관한 것이었습니다. 머신러닝에서 모델의 성능을 최적화하는 데 중요한 과정 중 하나는 적절한 파라미터 값을 찾는 것입니다. 특히, KNN(K-Nearest Neighbors)알고리즘을 사용할 때 이웃의 개수를 결정하는 n_neighbors 값은 모델 성능에 영향을 미칩니다. 따라서 최적의 n_neighbors 값을 설정하는 것이 중요합니다. 1-1. 단일 파라미터 설정 # 파라미터 하나의 경우 param = {'n_neighbors': range(1, 101)} 여기서 n_neighbors 값을 1부터 100까지 변화시키며 모델의 성능을 확인합니다. Grid Search를 사용할 경우, 100번의 시도를 통해 모든 가능한 경우의 ..

오늘은 모델의 성능을 극대화하는 데 필수적인 '하이퍼파라미터 튜닝'에 대해 공부했습니다. 하이퍼파라미터는 모델링을 할 때 우리가 조절할 수 있는 매개변수인데요, 이를 통해 알고리즘의 성능을 최적화할 수 있습니다. KNN 알고리즘과 Decision Tree 알고리즘에서의 활용법을 배우보록 할게요! 1. KNN 알고리즘 KNN(K-Nearest Neighbors) 알고리즘에서는 n_neighbors의 값, 즉 k의 값이 성능에 큰 영향을 미칩니다. 보통, 데이터 건수의 제곱근을 k값으로 설정하는 경우가 종종 있는데, 이는 경험적으로 좋은 성능을 보여준다고 합니다. K값이 크면 (예: 103개) 가장 단순한 모델이 됩니다. 이 경우, 회귀 문제에서는 평균을, 분류 문제에서는 최빈값을 결과로 사용하죠. K값이 ..

머신러닝 여정의 다음 단계로, 오늘은 Decision Tree와 Logistic Regression 두 알고리즘을 깊이 있게 탐구해보려 합니다. 이 두 모델은 분류 문제에 자주 사용되며, 각각의 특성과 적용 방법을 이해하는 것이 중요합니다. 1. Decision Tree(결정 트리) 의사결정나무는 분류와 회귀 모두에 사용되며, 모델의 복잡성은 트리의 최대 깊이(max_depth)에 따라 달라집니다. 분석 과정이 매우 직관적이어서 이해하고 설명하기 쉽습니다. 특히, 데이터 전처리 과정에서 스케일링의 영향을 크게 받지 않죠. 하지만, 트리의 깊이가 너무 깊어지면 과적합(Overfitting) 문제로 이어질 수 있어요. 이를 방지하기 위해 트리의 깊이를 적절히 제한(가지치기)하는 튜닝이 필요합니다. 1) 용어..