目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5930.5k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(587)
赞(0)

模型正则化(Regularization)

image-20220514105814522

正则化( Regularization)的目的在于提高模型在未知测试数据上的泛化力,限制参数的大

小,减少泛化误差,是解决过拟合的一种重要方法。

范数、L1正则化与L2正则化

  • 范数

    假设x是一个向量,它的Lp范数定义

||x||p=(i|xi|p)1p
  • L1正则惩罚项:对应于L1范数
||w||1=i|wi|
  • L2正则惩罚项:对应于L2范数的平方
||w||22=iwi2

在目标函数后面添加一个“惩罚项”是正则化的常用方式,为了防止系数过大从而让模型变得复杂。在加了正则化项之后的目标函数为:

J(w,b)=loss(w,b)+

其中,J(w,b)是目标函数,loss(w,b)是损失函数

注意:

L1正则化能够使得损失函数中的许多参数变成0,可作为特征选择使用;

L2正则化更适用于防止模型过拟合

实时效果反馈

1. 关于模型正则化,下列说法正确的是:

A 模型正则化可以解决欠拟合问题

B 模型正则化可以使得模型参数越来越大

C 模型正则化的目的在于提高模型在未知测试数据上的泛化力

D 以上说法均不正确

2. 关于L1与L2正则化,下列说法正确的是:

A L1正则化更适用于防止模型过拟合

B L1正则化能够使得损失函数中的许多参数变成0,可作为特征选择使用

C L2正则化的惩罚项对应于L1范数

D L2正则化更适用于防止欠拟合

答案

1=>C 2=>B

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2