5. 의사결정나무의 분석과정
의사결정나무의 분석과정을 요약하면 다음과 같다.
1.목표변수와
관계가 있는 설명변수들의 선택 2. 분석목적과 자료의 구조에
따라 적절한 분리 기준과 정지규칙을 정하여 의사결정 나무의
구조 작성 3. 부적절한 나뭇가지는 제거 (가지치기) 4.
이익(Gain), 위험(Risk), 비용(Cost) 등을 고려하여 모형평가
5. 분류(Classification) 및 예측(Prediction)
의사결정나무의
정지규칙이란 더 이상 분리가 일어나지 않고 현재의 마디가
끝 마디가 되도록 하는 여러가지 규칙을 의미한다. 이러한
규칙에는 최대 나무의 깊이, 자식마디의 최소 관측치수,
또는 카이제곱 검정통계량, 지니지수, 엔트로피 지수 등이
될 수 있다.
의사결정나무 가지치기란 끝 마디가 너무
많으면 모형이 과대 적합된 상태로 현실문제에 적용할 수
있는 적절한 규칙이 나오지 않게 된다. 따라서 분류된 관측치의
비율 또는 MSE (Mean Squared Error) 등을 고려하여 적절한
수준의 가지치기 규칙을 제공하여야 한다.
6. 의사결정 나무분석 알고리즘
현재까지 연구된 의사결정 나무분석 알고리즘은 4가지
정도의 종류가 있다. 가장 널리 사용되는 알고리즘으로
1975년 J. A. Hartigan에 의해 개발된 CHAID 알고리즘은
명목형, 순서형, 연속형 등 모든 종류의 목표변수와 분류변수에
적용이 가능하다.
CHAID 알고리즘은 1991년 Biggs et al.
에 의해 Exhaustive CHAID 알고리즘으로 발전하게 되었다.
하나의 부모마디 밑에 2개의 자식마디만이 생기는 이지(Binary)
분리 알고리즘인 CART 알고리즘은 1984년 Leo Briemans
& Associates 에 의해 개발되었고 CHAID와 마찬가지로
목표변수나 분류변수의 척도에 관계없이 적용할 수 있다는
장점으로 인해 널리 사용되고 있다.
가장 최근에 만들어진
C5.0알고리즘은 호주의 수학자인 J. Ross Quinlan 박사에
의해 1986년 ID3 라는 이름의 알고리즘으로 만들어졌다가
1993년에 C4.5를 거쳐 1998년에 완성된 알고리즘으로 명목형
목표변수만을 지원하는 단점이 있는 반면에 가장 정확한
분류를 만들어 주는 알고리즘으로 평가 받아 최근 데이터
마이닝 분야에서도 폭넓게 사용되고 있다.
|