用Python从零开始构造决策树

开发 后端
本章介绍如何不利用第三方库,仅用python自带的标准库来构造一个决策树。

起步

本章介绍如何不利用第三方库,仅用python自带的标准库来构造一个决策树。

熵的计算公式:

对应的 python 代码:

条件熵的计算

根据计算方法:

对应的 python 代码:

其中参数 future_list 是某一特征向量组成的列表,result_list 是 label 列表。

信息增益

根据信息增益的计算方法:

对应的python代码:

..

定义决策树的节点

作为树的节点,要有左子树和右子树是必不可少的,除此之外还需要其他信息:

树的节点会有两种状态,叶子节点中 results 属性将保持当前的分类结果。非叶子节点中, col 保存着该节点计算的特征索引,根据这个索引来创建左右子树。

has_calc_index 属性表示在到达此节点时,已经计算过的特征索引。特征索引的数据集上表现是列的形式,如数据集(不包含结果集):

有三条数据,三个特征,那么***个特征对应了***列 [1, 0, 0] ,它的索引是 0 。

递归的停止条件

本章将构造出完整的决策树,所以递归的停止条件是所有待分析的训练集都属于同一类:

从训练集中筛选***的特征

因此计算节点就是调用 best_index = choose_best_future(node.data_set, node.labels, node.has_calc_index) 来获取***的信息增益的特征索引。

构造决策树

决策树中需要一个属性来指向树的根节点,以及特征数量。不需要保存训练集和结果集,因为这部分信息是保存在树的节点中的。

创建决策树

这里需要递归来创建决策树:

根据信息增益的特征索引将训练集再划分为左右两个子树。

训练函数

也就是要有一个 fit 函数:

清理训练集

训练后,树节点中数据集和结果集等就没必要的,该模型只要 col 和 result 就可以了:

预测函数

提供一个预测函数:

测试

数据集使用前面《应用篇》中的向量化的训练集:

 

 

责任编辑:庞桂玉 来源: Python中文社区
相关推荐

2017-02-23 08:45:36

Python决策树数据集

2023-08-11 17:30:54

决策树机器学习算法

2020-11-02 13:54:41

Python可视化决策树

2018-01-16 11:00:25

2022-11-11 08:00:00

决策树机器学习监督学习

2021-03-16 11:30:33

Python遗传算法神经网络

2017-07-19 10:22:07

2017-11-21 13:00:20

机器学习决策树可视化

2016-09-30 16:12:47

GBDT算法决策树

2020-07-02 15:32:23

Kubernetes容器架构

2018-04-18 07:01:59

Docker容器虚拟机

2019-01-18 12:39:45

云计算PaaS公有云

2015-11-17 16:11:07

Code Review

2018-02-02 15:50:07

决策树Apache Spar数据

2019-05-15 09:00:00

决策树机器学习人工智能

2022-12-21 14:39:35

机器学习案发决策树

2024-03-01 19:53:37

PyBuilderPython开发

2022-10-19 11:33:07

决策树策略搜索

2010-05-26 17:35:08

配置Xcode SVN

2018-09-14 17:16:22

云计算软件计算机网络
点赞
收藏

51CTO技术栈公众号