[Day 35] Feature Importances

https://www.codestates.com/

코딩부트캠프 | 코드스테이츠 - 비전공생도 개발자가 될 수 있습니다

---

Warm-up

• Bootstrap Aggregating Bagging
• AdaBoost
• Gradient Boosting

---

Note

• 특성 중요도 계산 방법
  • Feature Importances
  • Drop - Column Importance
  • 순열 중요도 ( Permutation Importance )

import eli5
from eli5.sklearn import PermutationImportance


permuter = PermutationImportance(
    pipe.named_steps['xgb'], # model
    scoring='accuracy', # metric
    n_iter=5, # 다른 random seed를 사용하여 5번 반복
    random_state=2
)
X_test_transformed = pipe.named_steps['preprocessing'].transform(X_test)
permuter.fit(X_test_transformed, y_test)

feature_names = X_test.columns.tolist()
pd.Series(permuter.feature_importances_, feature_names).sort_values()

• Gradient Boosting
  • Scikit - Learn Gradient Tree Boosting
  • xgboost
  • LightGBM
  • catboost

---

Review

더 많은 모델에 대해서 알게되었다. 그렇게 효과가 차이가 많이 나는거 같지는 않지만 많이 써봐야될거 같다.

---

참고

https://www.youtube.com/watch?v=LsK-xG1cLYA&feature=youtu.be