◾결정트리 정의

• 정의 : 데이터에 있는 규칙을, 학습을 통해 자동으로 찾아내어 트리(Tree) 기반의 분류 규칙을 만드는 것

🔸특징

• 장점

  • 데이터의 ‘균일도’를 기반으로 한 알고리즘을 적용하기 때문에 분류 규칙이 직관적이고 쉽다.
  • 데이터의 균일도만 신경쓰기 때문에 특수한 경우가 아니라면 데이터 전처리의 영향이 적음.

• 단점

  • 예측 성능 향상을 위해선 복잡한 규칙이 필요, 복잡한 규칙은 트리의 depth를 깊게 만들고 이로 인한 과적합 발생 가능.

    트리의 크기(depth), 분할 기준(min_samples_split) 등을 ‘튜닝’하여 개선 가능

• 앙상블의 좋은 약한 학습기(상대적으로 예측 성능이 떨어지는 학습 알고리즘)가 됨.

◾결정 트리의 구조

• 규칙 노드, 결정 노드(Decision Node) : 데이터를 분류하기 위한 규칙 조건

• 루트 노드(Root Node) : 최상위 규칙 노드

• 리프 노드(Leaf Node) : 규칙에 의해 최종 결정된 클래스 값, 더 이상 자식 노드가 없는 노드

• 서브 트리(Sub Tree) : 규칙 노드마다 서브 트리가 생성

  • 부모 노드(Parent Node) : 한 서브트리 내에서 하위 노드를 갖고 있는 노드
  • 자식 노드(Child Node) : 한 서브트리 내에서 부모 노드 아래의 노드

• 깊이(Depth)와 레벨(Level)

  • 깊이 : Root Node부터 최하위 Leaf Node까지의 경로 (=화살표의 층)
  • 레벨 : Root Node로부터 최하위 Leaf Node까지의 경로에 있는 Node의 개수(=depth + 1)

  ex) 아래 그림과 같은 트리 구조에서 루트 노드가 Level 0, 제일 밑의 리프 노드가 Level 3이다. 따라서 해당 트리는 3의 depth를 갖는다.

  

  [파이썬 머신러닝 완벽 가이드 p.183]

• 결정 트리의 깊이가 깊을수록, 과적합으로 인한 예측 성능 저하의 가능성이 크다.

◾결정 노드에 의한 데이터 분할(Split)의 원리 - 분류 알고리즘

🔸데이터 분할의 기본 원칙

• 결정 노드는 정보 균일도가 높은 데이터셋을 먼저 선택할 수 있도록 규칙 조건을 만든다. >> 불순도가 낮아지는 방향도록 데이터를 분할한다.

  • 균일도 : 데이터가 같은 정도

  • 혼잡도, 불순도 (Impurity) : 데이터가 다른 정도

    

    [파이썬 머신러닝 완벽 가이드 p.184]

    균일도 : C > B > A 혼잡도 : A > B > C

• 참고 : Leaf-wise VS Level-wise