目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5929.9k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(702)
赞(0)

Bagging与随机森林

image-20220522095231255

Bagging介绍

Bagging是并行式集成学习最著名的代表,它是基于自助采样法(bootstrap sampling)

自助采样法(bootstrap sampling):

给定包含m个样本的数据集,先随机取出一个样本放入采样集中并记录,再把该样本放回初始数据集,使得下次采样时该样本仍有可能被选中,这样,经过m次随机采样操作,我们得到含m个样本的采样集,初始训练集中有的样本在采样集里多次出现,有的则从未出现(平均37%没有取到)。

带外数据OOB(Out of Bag)

自助采样过程导致一部分样本可能没有取到(平均37%没有取到),这些未取到的样本称为

OOB(Out of Bag),可以使用这部分OOB的数据集作为测试集

Bagging的基本流程

基于每个采样集训练出一个基学习器,再将这些基学习器进行结合

  • 对分类任务,使用简单投票法
  • 对回归任务,使用简单平均法

随机森林

随机森林(Random Forest,简称RF)是Bagging的一个扩展变体。

RF在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择

具体来说,传统决策树在选择划分属性时是在当前结点的属性集合(假定有d个属性)

中选择一个最优属性;而在RF中,对基决策树的每个结点,先从该结点的属性集合中随机

选择一个包含k个属性的子集,然后再从这个子集中选择一个最优属性用于划分。这里的参

数k控制了随机性的引入程度:若令k=d,则基决策树的构建与传统决策树相同;若令k=1,

则是随机选择一个属性用于划分;一般情况下,推荐值k=log~2~d。

实时效果反馈

1. 关于自助采样法(bootstrap sampling),下列说法正确的是:

A 属于无放回采样

B 平均有37%的样本没有取到,被称为OOB

C 每个采样集中只包含1个样本

D 以上说法均不正确

2. 关于随机森林,下列说法正确的是:

A 随机森林与Bagging没有任何关系

B 随机森林在决策树的训练过程中引入了随机属性选择

C 随机森林是以逻辑回归为基学习器的

D 以上说法均不正确

答案

1=>B 2=>B

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2