Python中的二维梯度下降

我很难理解二维梯度下降。假设我有函数

f（x，y）=x**2-xy

，其中

df/dx=2x-y

和

df/dy=-x

对于点df（2,3），输出向量是[1，-2].T。向量[1，-2]指向的任何地方都是最陡的上升方向（即f（x，y）的输出）。 我应该选择一个固定的步长，并找到该步长最大增加f（x，y）的方向。如果我想下降，我想找到增加-f（x，y）最快的方向

如果我的直觉是正确的，你会如何编写代码？假设我从点（x=0，y=5）开始，我想执行梯度下降以找到最小值

step_size = 0.01
precision = 0.00001 #stopping point
enter code here??

---

以下是使用matplotlib可视化实现梯度下降：

import csv
import math
def loadCsv(filename):
    lines = csv.reader(open(filename, "r"))
    dataset = list(lines)
    for i in range(len(dataset)):
        dataset[i] = [float(x) for x in dataset[i]]
    return dataset

def h(o1,o2,x):
    ans=o1+o2*x
    return ans

def costf(massiv,p1,p2):
    sum1=0.0
    sum2=0.0
    for x,y in massiv:
        sum1+=(math.pow(h(o1,o2,x)-y,2))
    sum2=(1.0/(2*len(massiv)))*sum1
    return sum1,sum2

def gradient(massiv,er,alpha,o1,o2,max_loop=1000):
    i=0
    J,e=costf(massiv,o1,o2)
    conv=False
    m=len(massiv)
    while conv!=True:
        sum1=0.0
        sum2=0.0
        for x,y in massiv:
            sum1+=(o1+o2*x-y)
            sum2+=(o1+o2*x-y)*x
        grad0=1.0/m*sum1
        grad1=1.0/m*sum2

        temp0=o1-alpha*grad0
        temp1=o2-alpha*grad1
        print(temp0,temp1)
        o1=temp0
        o2=temp1
        e=0.0
        for x,y in massiv:
            e+=(math.pow(h(o1,o2,x)-y,2))
        if abs(J-e)<=ep:
            print('Successful\n')
            conv=True

        J=e

        i+=1
        if i>=max_loop:
            print('Too much\n')
            break
    return o1,o2


#data = massiv
data=loadCsv('ex1data1.txt')
o1=0.0 #temp0=0
o2=1.0 #temp1=1
alpha=0.01
ep=0.01
t0,t1=gradient(data,ep,alpha,o1,o2)
print('temp0='+str(t0)+' \ntemp1='+str(t1))

x=35000
while x<=70000:
    y=h(t0,t1,x)
    print('x='+str(x)+'\ny='+str(y)+'\n')
    x+=5000

maxx=data[0][0]
for q,w in data:
    maxx=max(maxx,q)
maxx=round(maxx)+1
line=[]
ll=0
while ll<maxx:
    line.append(h(t0,t1,ll))
    ll+=1
x=[]
y=[]
for q,w in data:
    x.append(q)
    y.append(w)

import matplotlib.pyplot as plt
plt.plot(x,y,'ro',line)
plt.ylabel('some numbers')
plt.show()

导入csv
输入数学
def loadCsv（文件名）：
lines=csv.reader（打开（文件名为“r”））
数据集=列表（行）
对于范围内的i（len（数据集））：
数据集[i]=[数据集[i]中x的浮点（x）]
返回数据集
def h（o1、o2、x）：
ans=o1+o2*x
返回ans
def成本（massiv、p1、p2）：
sum1=0.0
sum2=0.0
对于体量中的x、y：
sum1+=（数学功率（h（o1，o2，x）-y，2））
sum2=（1.0/（2*len（massiv）））*sum1
返回sum1，sum2
def梯度（massiv、er、alpha、o1、o2、max_loop=1000）：
i=0
J、 e=成本（massiv，o1，o2）
conv=False
m=len（massiv）
而康弗=正确：
sum1=0.0
sum2=0.0
对于体量中的x、y：
sum1+=（o1+o2*x-y）
sum2+=（o1+o2*x-y）*x
梯度0=1.0/m*sum1
梯度1=1.0/m*sum2
temp0=o1 alpha*grad0
温度1=氧气α*梯度1
打印（temp0、temp1）
o1=temp0
o2=温度1
e=0.0
对于体量中的x、y：
e+=（数学功率（h（o1，o2，x）-y，2））
如果abs（J-e）=最大环路：
打印（'太多\n'）
打破
返回o1，o2
#数据=massiv
data=loadCsv（'ex1data.txt'）
o1=0.0#temp0=0
o2=1.0#temp1=1
α=0.01
ep=0.01
t0，t1=梯度（数据，ep，α，o1，o2）
打印（'temp0='+str（t0）+'\ntemp1='+str（t1））
x=35000
x以下是梯度下降与matplotlib可视化的实现：

import csv
import math
def loadCsv(filename):
    lines = csv.reader(open(filename, "r"))
    dataset = list(lines)
    for i in range(len(dataset)):
        dataset[i] = [float(x) for x in dataset[i]]
    return dataset

def h(o1,o2,x):
    ans=o1+o2*x
    return ans

def costf(massiv,p1,p2):
    sum1=0.0
    sum2=0.0
    for x,y in massiv:
        sum1+=(math.pow(h(o1,o2,x)-y,2))
    sum2=(1.0/(2*len(massiv)))*sum1
    return sum1,sum2

def gradient(massiv,er,alpha,o1,o2,max_loop=1000):
    i=0
    J,e=costf(massiv,o1,o2)
    conv=False
    m=len(massiv)
    while conv!=True:
        sum1=0.0
        sum2=0.0
        for x,y in massiv:
            sum1+=(o1+o2*x-y)
            sum2+=(o1+o2*x-y)*x
        grad0=1.0/m*sum1
        grad1=1.0/m*sum2

        temp0=o1-alpha*grad0
        temp1=o2-alpha*grad1
        print(temp0,temp1)
        o1=temp0
        o2=temp1
        e=0.0
        for x,y in massiv:
            e+=(math.pow(h(o1,o2,x)-y,2))
        if abs(J-e)<=ep:
            print('Successful\n')
            conv=True

        J=e

        i+=1
        if i>=max_loop:
            print('Too much\n')
            break
    return o1,o2


#data = massiv
data=loadCsv('ex1data1.txt')
o1=0.0 #temp0=0
o2=1.0 #temp1=1
alpha=0.01
ep=0.01
t0,t1=gradient(data,ep,alpha,o1,o2)
print('temp0='+str(t0)+' \ntemp1='+str(t1))

x=35000
while x<=70000:
    y=h(t0,t1,x)
    print('x='+str(x)+'\ny='+str(y)+'\n')
    x+=5000

maxx=data[0][0]
for q,w in data:
    maxx=max(maxx,q)
maxx=round(maxx)+1
line=[]
ll=0
while ll<maxx:
    line.append(h(t0,t1,ll))
    ll+=1
x=[]
y=[]
for q,w in data:
    x.append(q)
    y.append(w)

import matplotlib.pyplot as plt
plt.plot(x,y,'ro',line)
plt.ylabel('some numbers')
plt.show()

导入csv
输入数学
def loadCsv（文件名）：
lines=csv.reader（打开（文件名为“r”））
数据集=列表（行）
对于范围内的i（len（数据集））：
数据集[i]=[数据集[i]中x的浮点（x）]
返回数据集
def h（o1、o2、x）：
ans=o1+o2*x
返回ans
def成本（massiv、p1、p2）：
sum1=0.0
sum2=0.0
对于体量中的x、y：
sum1+=（数学功率（h（o1，o2，x）-y，2））
sum2=（1.0/（2*len（massiv）））*sum1
返回sum1，sum2
def梯度（massiv、er、alpha、o1、o2、max_loop=1000）：
i=0
J、 e=成本（massiv，o1，o2）
conv=False
m=len（massiv）
而康弗=正确：
sum1=0.0
sum2=0.0
对于体量中的x、y：
sum1+=（o1+o2*x-y）
sum2+=（o1+o2*x-y）*x
梯度0=1.0/m*sum1
梯度1=1.0/m*sum2
temp0=o1 alpha*grad0
温度1=氧气α*梯度1
打印（temp0、temp1）
o1=temp0
o2=温度1
e=0.0
对于体量中的x、y：
e+=（数学功率（h（o1，o2，x）-y，2））
如果abs（J-e）=最大环路：
打印（'太多\n'）
打破
返回o1，o2
#数据=massiv
data=loadCsv（'ex1data.txt'）
o1=0.0#temp0=0
o2=1.0#temp1=1
α=0.01
ep=0.01
t0，t1=梯度（数据，ep，α，o1，o2）
打印（'temp0='+str（t0）+'\ntemp1='+str（t1））
x=35000
而x