优化算法——拟牛顿法之BFGS算法

一、BFGS算法简介

    BFGS 算法是使用较多的一种拟牛顿方法,是由 Broyden Fletcher Goldfarb Shanno 四个人分别提出的,故称为 BFGS 校正。
    同 DFP 校正的推导公式一样, DFP 校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程:



可以化简为:



,则可得:



BFGS 校正方法中,假设:



二、BFGS校正公式的推导

    令其中均为的向量。
    则对于拟牛顿方程可以化简为:



代入上式:



代入上式:





    已知:为实数,的向量。上式中,参数解的可能性有很多,我们取特殊的情况,假设。则



代入上式:





,则:





则最终的BFGS校正公式为:



三、BFGS校正的算法流程

    设对称正定,由上述的 BFGS 校正公式确定,那么对称正定的充要条件是
    在博文优化算法——牛顿法(Newton Method)”中介绍了非精确的线搜索准则:Armijo搜索准则,搜索准则的目的是为了帮助我们确定学习率,还有其他的一些准则,如Wolfe准则以及精确线搜索等。在利用Armijo搜索准则时并不是都满足上述的充要条件,此时可以对BFGS校正公式做些许改变:



BFGS拟牛顿法的算法流程:

四、求解具体优化问题

   求解无约束优化问题



其中,
python 程序实现:
  1. function.py
    #coding:UTF-8
    '''
    Created on 2015年5月19日
    
    @author: zhaozhiyong
    '''
    
    from numpy import *
    
    #fun
    def fun(x):
        return 100 * (x[0,0] ** 2 - x[1,0]) ** 2 + (x[0,0] - 1) ** 2
    
    #gfun
    def gfun(x):
        result = zeros((2, 1))
        result[0, 0] = 400 * x[0,0] * (x[0,0] ** 2 - x[1,0]) + 2 * (x[0,0] - 1)
        result[1, 0] = -200 * (x[0,0] ** 2 - x[1,0])
        return result
    

  2. bfgs.py
    #coding:UTF-8
    
    from numpy import *
    from function import *
    
    def bfgs(fun, gfun, x0):
        result = []
        maxk = 500
        rho = 0.55
        sigma = 0.4
        m = shape(x0)[0]
        Bk = eye(m)
        k = 0
        while (k < maxk):
            gk = mat(gfun(x0))#计算梯度
            dk = mat(-linalg.solve(Bk, gk))
            m = 0
            mk = 0
            while (m < 20):
                newf = fun(x0 + rho ** m * dk)
                oldf = fun(x0)
                if (newf < oldf + sigma * (rho ** m) * (gk.T * dk)[0,0]):
                    mk = m
                    break
                m = m + 1
            
            #BFGS校正
            x = x0 + rho ** mk * dk
            sk = x - x0
            yk = gfun(x) - gk
            if (yk.T * sk > 0):
                Bk = Bk - (Bk * sk * sk.T * Bk) / (sk.T * Bk * sk) + (yk * yk.T) / (yk.T * sk)
            
            k = k + 1
            x0 = x
            result.append(fun(x0))
        
        return result
    

  3. testBFGS.py
    #coding:UTF-8
    '''
    Created on 2015年5月19日
    
    @author: zhaozhiyong
    '''
    
    from bfgs import *
    
    import matplotlib.pyplot as plt  
    
    x0 = mat([[-1.2], [1]])
    result = bfgs(fun, gfun, x0)
    
    n = len(result)
    ax = plt.figure().add_subplot(111)
    x = arange(0, n, 1)
    y = result
    ax.plot(x,y)
    
    plt.show()


五、实验结果





已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页