【Python特征工程系列】使用Boruta算法进行特征重要性分析

liuian 2024-12-20 17:20 148 浏览

这是我的第258篇原创文章。

一、引言

Boruta是一种基于随机森林算法的特征筛选方法。其核心是基于两个思想：随机生成的特征（shadow features）和不断迭代（循环），它通过循环比较原始特征（real features）和随机生成的特征（shadow features）的重要性来确定哪些特征与因变量相关。它可以应用于任何需要特征选择的监督学习问题，帮助我们确定哪些特征与因变量相关，从而更好地理解数据并建立更准确的预测模型。

二、实现过程

2.1 准备数据

data = pd.read_csv(r'dataset.csv')
df = pd.DataFrame(data)

df：

2.2 数据划分

# 目标变量和特征变量
target = 'target'
features = df.columns.drop(target)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

2.3 创建Boruta对象

基于随机森林分类器创建一个Boruta的选择对象：

model = RandomForestClassifier(n_estimators=100, random_state=0)
feat_selector = BorutaPy(model, n_estimators='auto', verbose=2, random_state=1)
feat_selector.fit(np.array(X_train), np.array(y_train))

2.4 特征选择

1、输出各个特征的重要性排名：

print('\n Feature ranking:')  
print(pd.DataFrame({"feature":features, 'feature_ranking':feat_selector.ranking_}))

2、特征是否被选择：

print('\n Selected features:')
print(pd.DataFrame({"feature":features, 'Selected':feat_selector.support_}))

返回一个布尔类型的数组，代表每个特征是否被选择。如果特征被选择，对应的值为True，否则为False。

3、是否存在一些弱特征被选择：

print('\n Support for weak features:')
print(pd.DataFrame({"feature":features, 'Selected':feat_selector.support_weak_}))

返回一个布尔类型的数组，代表是否存在一些弱特征被选择。如果特征是弱特征且被选择，对应的值为True，否则为False。

作者简介：读研期间发表6篇SCI数据算法相关论文，目前在某研究院从事数据算法相关研究工作，结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh：数据杂坛，获取数据和源码学习更多内容。

原文链接：

【Python特征工程系列】使用Boruta算法进行特征重要性分析（案例+源码）

dataframe筛选满足条件的行

上一篇：pandas大法好:轻松驾驭Excel，数据分析不再难!
下一篇：pandas每天一题-题目14:新增列的多种方式

【Python特征工程系列】使用Boruta算法进行特征重要性分析

一、引言

二、实现过程

2.1 准备数据

2.2 数据划分

2.3 创建Boruta对象

2.4 特征选择

相关推荐

飞牛OS入门安装遇到问题，如何解决?

C++ std::vector 简介

系统C盘清理:微信PC端文件清理，扩大C盘可用空间步骤

如何在 iPhone 和 Android 上恢复已删除的抖音消息

大模型手册: 保姆级用CherryStudio知识库

Boost高性能并发无锁队列指南:boost::lockfree::queue

西门子博途中如何输入读取和编辑date and time变量

我的Excel打开后是一堆乱码，如何解决?

用什么工具在Win中查看8G大的log文件?

威联通NAS安装阿里云盘WebDAV服务并添加到Infuse