决策树的主要算法构建决策树的关键:按照什么样的次序来选择变量(属性/特征)作为分类依据。根据不同的目标函数,建立决策树主要有以下三种算法ID3(J.Ross Quinlan-1975) 核心:信息熵,信息增益C4.5——ID3的改进,核心:信息增益比/增益率CART(Breiman-1984),核心:基尼系数ID3算法由Ross Quinlan在1986年提出,ID3决策树可以有多个分支,但是不能处理特征值为连续的情况,根据“最大信息熵增益”选取当前最佳的特征来分割数据。开始之前我们先引入几个概念。香农熵(Shannon Entropy)熵用来表示事件的不确定性,熵越小代表事件发生的概率就越大...