SVR,support vector regression，是SVM（支持向量机support vector machine）对回归问题的一种运用。

1. 原理

给定训练样本$x_i\in {\mathbb{R}}^p,i=1,\dots ,n$，$y\in {\mathbb{R}}^n$,
$$\begin{array}{c}{\min }_{w,b,\zeta ,{\zeta }^{\ast }}\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^n\left({\zeta }_i+{\zeta }_i^{\ast }\right)\\ \text{ subject to }{y}_i-w^T\varphi \left(x_i\right)-b\le \epsilon +{\zeta }_i\\ w^T\varphi \left(x_i\right)+b-y_i\le \epsilon +{\zeta }_i\\ {\zeta }_i,{\zeta }_i\ge 0,i=1,\dots ,n\end{array}$$

对偶形式：
$$\begin{array}{c}{\min }_{\alpha ,{\alpha }^{\ast }}\frac{1}{2}{\left(\alpha -{\alpha }^{\ast }\right)}^{T}Q\left(\alpha -{\alpha }^{\ast }\right)+\epsilon e^T\left(\alpha +{\alpha }^{\ast }\right)-y^T\left(\alpha -{\alpha }^{\ast }\right)\\ \text{ subject to }{e}^T\left(\alpha -{\alpha }^{\ast }\right)=0\\ 0\le {\alpha }_i,{\alpha }_i^{\ast }\le C,i=1,\dots ,n\end{array}$$

2. SVR实践

#-*-coding:utf-8-*-
'''
Created on 2016年5月4日

@author: Gamer Think
'''
import numpy as np
from sklearn.svm import SVR
import matplotlib.pyplot as plt

###############################################################################
# Generate sample data
X = np.sort(5 * np.random.rand(40, 1), axis=0)  #产生40组数据，每组一个数据，axis=0决定按列排列，=1表示行排列
y = np.sin(X).ravel()   #np.sin()输出的是列，和X对应，ravel表示转换成行

###############################################################################
# Add noise to targets
y[::5] += 3 * (0.5 - np.random.rand(8))

###############################################################################
# Fit regression model
svr_rbf = SVR(kernel='rbf', C=1e3, gamma=0.1)
svr_lin = SVR(kernel='linear', C=1e3)
svr_poly = SVR(kernel='poly', C=1e3, degree=2)
y_rbf = svr_rbf.fit(X, y).predict(X)
y_lin = svr_lin.fit(X, y).predict(X)
y_poly = svr_poly.fit(X, y).predict(X)

###############################################################################
# look at the results
lw = 2
plt.scatter(X, y, color='darkorange', label='data')
plt.hold('on')
plt.plot(X, y_rbf, color='navy', lw=lw, label='RBF model')
plt.plot(X, y_lin, color='c', lw=lw, label='Linear model')
plt.plot(X, y_poly, color='cornflowerblue', lw=lw, label='Polynomial model')
plt.xlabel('data')
plt.ylabel('target')
plt.title('Support Vector Regression')
plt.legend()
plt.show()

2.2 几种核

线性核:
$⟨x,x^{\prime }⟩$

多项式核:
${\left(\gamma ⟨x,x^{\prime }⟩+r\right)}^d$

rbf核:
$\exp \left(-\gamma {\Vert x-x^{\prime }\Vert }^2\right).$

sigmoid核：
$\left(\tanh \left(\gamma ⟨x,x^{\prime }⟩+r\right)\right)$

最近开通了个公众号，主要分享python原理与应用，推荐系统，风控等算法相关的内容，感兴趣的伙伴可以关注下。

公众号相关的学习资料会上传到QQ群596506387，欢迎关注。

参考：

1. SVM的分类、回归实现；
2. SVM的numpy和sklearn的实现；
3. SVR 原理介绍；
4. scikit-learn SVM