Home > Uncategorized > 原创:SVM与SVR支持向量机原理学习与思考(二):机器学习基础

原创:SVM与SVR支持向量机原理学习与思考(二):机器学习基础

机器学习的基础话题:风险最小化

期望风险最小化(最小化期望错误率或期望风险损失),应该是最合理的方式,但难于求取,因为样本的分布情况很有可能未知;
经验风险最小化(最小化训练样本的错误率或期望风险损失),用训练样本代替所有样本的分布。但可能造成过学习问题,而且这一转变并没有可靠的理论依据。
结构风险最小化(最小化经验风险与置信界限之和),置信界限表示为:

其中h是学习机器的VC维,l为训练样本数。VC维衡量了学习机器的复杂程度,复杂程度越高,VC维越高,置信界限最大。可以证明,结构风险是期望风险的上界,因此,最小化结构风险可以达到减小期望风险的目的。
交叉验证或留一法(LOO leave-one-out)可以作为结构风险最小的一个近似。

Advertisements
  1. No comments yet.
  1. No trackbacks yet.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: