0 机器学习 2018-03-17 支持向量机（四） 到目前为止，我们把SVM优化问题化为了更容易解决的对偶问题，并且使用核函数及正则化来改善它的特性。现在我们只需解决这个对偶问题就可以得到最优间隔分类器，可以说是“万事具备，只欠东风”了。我们先将第三章节得到的对偶问题搬运过来： \begin{eqnarray} \max_{\alpha}\ &&\theta_{\cal{D}}(\alpha)=\sum_{i=1}^m\a
0 机器学习 2018-03-16 支持向量机（三） 支持向量机的强大不止在于它能在特征空间找到合适的超平面将正负样本分开并保持最大间隔，通过引入核函数，它还能在更高维，甚至无限维空间中对样本进行分离，以此来解决非线性的问题。 核特征映射 在之前的推导中，我们使用的一直是样本的原始特征$x$，并通过线性平面$w^Tx+b$进行分割。但如果样本是线性不可分的，我们就需要先将特征映射到更高维空间，再分离正负样
0 机器学习 2018-03-15 支持向量机（二） 上一章节我们将SVM的目标转换为了一个带不等式约束条件的优化问题，现在我们的目标就是解决这个优化问题。在此我们先将SVM及最优间隔分类器放一放，来看看一般约束优化问题的求解方法。 约束优化问题等式约束优化问题 等式优化问题一般描述如下： \begin{split} \min_x\ &f(x)\\ {\rm s.t.}\ &h_i(x)=0,\ i=1
0 机器学习 2018-03-13 支持向量机（一） 支持向量机（Support Vector Machine）是一种强大的监督式学习算法。尽管目前深度学习非常流行，但这种经典的机器学习算法仍然有着非常大的研究价值，并且它在机器学习领域仍占有着一席之地。本次学习材料主要是CS229课程以及一些网上的资料。 SVM目标 为了引入SVM思想，我们来看一个二分类问题。假设我们有一组训练样本$\{(x_1,y_1