学机器学习怎么可以不知道最小二乘法

  • 时间:
  • 浏览:1
  • 来源:幸运快3_快3app下载安装_幸运快3app下载安装

起源

起源:最小二乘法源于天文学和大地测量学领域。原应三种一个多多多领域对精度的高要求而被发明。

160 1年,意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。进行了40天的跟踪观测后,但原应谷神星运行到太阳头上,抛下了具体位置信息。就让全世界的科学家利用皮亚齐的观测数据开始英文了寻找谷神星,怎么能让根据大多数人计算的结果来寻找谷神星都只有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的土最好的方法发表于160 9年他的著作《天体运动论》中,三种高斯正是著名数学家 卡尔·弗里德里希·高斯 ,没错而是大伙儿 大学些认识的那个高斯。

机器学习本质虽然而是求最优解的过程,最小二乘法是回归算法中求最优解的土最好的方法之一,还一一个多多多是梯度下降法,以还会讲~。

思考

大伙儿 在正式讲最小二乘法以前,读者大大们都时需想下下面三种大问题临近中秋,小明我我应该 个人做月饼,现在已知三种规格月饼所需的面粉重量如下:

月饼重量(g)面粉重量(g)
60 20
60 81
60 110
190 90
220 160

现在小明想做规格为140g的月饼,请问他时需几个克月饼现在读者大大们根据平时经验,都时需思考下为什么我么我求。九年义务教育我就 看见三种题目就条件反射列方程求未知数,谁能谁能告诉我读者大大们是时需也是而是~

原理

大伙儿 从而是深度来看三种大问题大伙儿 将这六个月饼用坐标系标出来,如下图 怎么能让大伙儿 先用画出根小接近这六个点的线,假设线性关系为

是时需假如大伙儿 找出根小最接近这六个点的线就都时需了,而是算出来的值是最接近真实值的。

由图都时需得出,时需这条线跟三种六个点的误差最小, 每个点跟线的误差如下所示

原应误差是长度,好多好多 好多好多 要算绝对值,计算起来不方便,用平方来替代

最后将所有误差值累加得出

最小二乘法呼之欲出,这而是最小二乘法的原理了,即让误差的平方总和尽原应小。从求根小最接近这六个点的线的大问题转化成求最小化误差的大问题。

求解

只有为什么我么我求呢,继续就让边的为例子。这是一一个多多多二次函数。总误差的平方:

根据多元微积分,当

三种以前 ϵ 取得最小值,求的a,b的解为

a,b求出后,这条最接近的线也就出来了

进一步现在假设这条线是 二次函数,结果怎么可以

大伙儿 都时需取舍不同的 f(x),根据最小二乘法得出不一样的拟合函数。不过取舍f(x)还是只有太随意,不然要么不准,要么容易过拟合。代码实现整个思路如下

目标函数:代入生成的x,生成对应的y

def real_func(x):
  return np.sin(2*np.pi*x)

随机生成10个x进行实验:

x = np.linspace(0, 1, 10)

构造多项式拟合函数:

#多项式
def fit_func(p,x):
    """
    eg:p = np.poly1d([2,3,5,7])

   print(p)==>>2x3 + 3x2 + 5x + 7
    """
    f = np.poly1d(p)
    return f(x)

计算误差:

#残差
def residuals_func(p, x, y):
    ret = fit_func(p, x) - y
    return ret

leastsq 是 scipy 库 进行最小二乘法计算的函数,也而是通过误差函数以及数据点进行大伙儿 前面讲的对参数进行求导操作,最后得出大伙儿 拟合出来的函数。

def fitting(M=0):
    """
    n 为 多项式的次数
    """    
    # 随机初始化多项式参数
    #numpy.random.rand(d0)的随机样本处于[0, 1)之间。d0表示返回几个个
    p_init = np.random.rand(M+1) #生成M+一一个多多多随机数的列表
    # 最小二乘法
    p_lsq = leastsq(residuals_func, p_init, args=(x, y)) # 一一个多多多参数:误差函数、函数参数列表、数据点
    print('Fitting Parameters:', p_lsq[0])
    
    # 可视化
    plt.plot(x_points, real_func(x_points), label='real')
    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    return p_lsq
    
    # M=0
    p_lsq = fitting(M=0)

大伙儿 从一次函数依次增加项式,找到最离米 的拟合曲线。



到9次的以前,原应全版拟合哪几个点了 。

总结

大伙儿 都时需看出,最小二乘法的原理虽然非常简单,运用起来也简洁,应用广泛。怎么能让它时需一定的局限性,比如原应拟合函数时需线性的,就无法用最小二乘法了。还有好多好多 ,本文讲的最小二乘法是最简洁的,怎么能让它对噪声的容忍度很低,容易造成过拟合,好多好多 好多好多 还时需加进去去正则化,三种有兴趣的读者都时需了解下。最小二乘法运用误差深度求最优解的思路是大伙儿 机器学习中一一个多多多很经典也很常用的思维方向之一,为学习机器学习打下一一个多多多好基础。这也是把它插进大伙儿 的机器学习系列最开始英文了的原应。

ps:时需全版代码,关注公众号,回复‘最小二乘法’获得~

本文首发微信公众号“哈尔的数据城堡”.

猜你喜欢

TechWeb.com.cn

创始人被刑拘、多名高管被带走、公司被证监会立案调查、业绩大幅下滑……恺英网络正在遭遇“多事之秋”。先是7nm产能供不应求,5nm产能也被预定了,现在就连前两代的工艺也面临缺货了

2019-10-15

M. Harriott数据,M. Harriott新闻,M. Harriott视频,M. Harriott身价

赛季俱乐部上场首发进球助攻黄牌红牌替补2014/2015海耶斯2222100002014/2015赫默尔亨普斯特德1818500002013/2014海耶斯5500000201

2019-10-14

创见 StoreJet 25M3S 抗震防护高速移动硬盘 USB3.1 Gen1 1TB好不好,优缺点,是否值得买

2018-04-2911:3000:37b***55分一直用类似 牌子,放心2018-03-1121:3000:04长***树5分很不错的啊,值得购买哦。。。。2018-03

2019-10-14

贵德玉皇阁古建筑群:“滔滔黄河经阁北,巍巍仙阁插云间”

核心提示:青海省海南藏族自治州贵德县有着一方历史悠久的古建筑群,它的名字叫做贵德玉皇阁古建筑群。整个建筑造型华美,富丽堂皇,巍峨高耸,有“滔滔黄河经阁北,巍巍仙阁插云间”之说。

2019-10-14

中国成功追索流失日本曾伯克父青铜组器

核心提示:国家文物局10日在京公布:中国成功追索流失日本曾伯克父青铜组器。经国家文物局组织专家研究鉴定,该组8件青铜器被整体认定为国家一级文物,将于近期与公众见面。国家文物局1

2019-10-14