【Python特征工程系列】使用Boruta算法进行特征重要性分析

liuian 2024-12-20 17:20 80 浏览

这是我的第258篇原创文章。

一、引言

Boruta是一种基于随机森林算法的特征筛选方法。其核心是基于两个思想：随机生成的特征（shadow features）和不断迭代（循环），它通过循环比较原始特征（real features）和随机生成的特征（shadow features）的重要性来确定哪些特征与因变量相关。它可以应用于任何需要特征选择的监督学习问题，帮助我们确定哪些特征与因变量相关，从而更好地理解数据并建立更准确的预测模型。

二、实现过程

2.1 准备数据

data = pd.read_csv(r'dataset.csv')
df = pd.DataFrame(data)

df：

2.2 数据划分

# 目标变量和特征变量
target = 'target'
features = df.columns.drop(target)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

2.3 创建Boruta对象

基于随机森林分类器创建一个Boruta的选择对象：

model = RandomForestClassifier(n_estimators=100, random_state=0)
feat_selector = BorutaPy(model, n_estimators='auto', verbose=2, random_state=1)
feat_selector.fit(np.array(X_train), np.array(y_train))

2.4 特征选择

1、输出各个特征的重要性排名：

print('\n Feature ranking:')  
print(pd.DataFrame({"feature":features, 'feature_ranking':feat_selector.ranking_}))

2、特征是否被选择：

print('\n Selected features:')
print(pd.DataFrame({"feature":features, 'Selected':feat_selector.support_}))

返回一个布尔类型的数组，代表每个特征是否被选择。如果特征被选择，对应的值为True，否则为False。

3、是否存在一些弱特征被选择：

print('\n Support for weak features:')
print(pd.DataFrame({"feature":features, 'Selected':feat_selector.support_weak_}))

返回一个布尔类型的数组，代表是否存在一些弱特征被选择。如果特征是弱特征且被选择，对应的值为True，否则为False。

作者简介：读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh：数据杂坛，获取数据和源码学习更多内容。

原文链接：

【Python特征工程系列】使用Boruta算法进行特征重要性分析（案例+源码）

dataframe筛选满足条件的行

上一篇：pandas大法好:轻松驾驭Excel，数据分析不再难!
下一篇：pandas每天一题-题目14:新增列的多种方式

【Python特征工程系列】使用Boruta算法进行特征重要性分析

一、引言

二、实现过程

2.1 准备数据

2.2 数据划分

2.3 创建Boruta对象

2.4 特征选择

相关推荐

Python实现人事自动打卡，再也不会被批评

【验证码逆向专栏】vaptcha 手势验证码逆向分析

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

系统C盘清理:微信PC端文件清理，扩大C盘可用空间步骤

飞牛OS入门安装遇到问题，如何解决?

10款高性能NAS丨双十一必看，轻松搞定虚拟机、Docker、软路由

【Python特征工程系列】使用Boruta算法进行特征重要性分析

一、引言

二、实现过程

2.1 准备数据

2.2 数据划分

2.3 创建Boruta对象

2.4 特征选择

相关推荐

Python实现人事自动打卡，再也不会被批评

【验证码逆向专栏】vaptcha 手势验证码逆向分析

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

系统C盘清理:微信PC端文件清理，扩大C盘可用空间步骤

飞牛OS入门安装遇到问题，如何解决?

10款高性能NAS丨双十一必看，轻松搞定虚拟机、Docker、软路由

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄