1700536667
1700536668
根据梯度的定义，目标函数的梯度为
1700536669
1700536670
1700536671
，
1700536672
1700536673
（7.27）
1700536674
1700536675
其中对任意的i=1,2,…,n。梯度的第i个元素的定义为
1700536676
1700536677
1700536678
，
1700536679
1700536680
（7.28）
1700536681
1700536682
其中ei是单位向量，维度与θ相同，仅在第i个位置取值为1，其余位置取值为0。因此，可以取h为一个比较小的数（例如10−7），则有
1700536683
1700536684
1700536685
1700536686
1700536687
（7.29）
1700536688
1700536689
式（7.29）的左边为目标函数梯度的第i个分量，右边仅和目标函数值有关，二者应近似相等。
1700536690
1700536691
下面利用泰勒展开来计算该近似误差。令单变量函数
1700536692
1700536693
1700536694
．
1700536695
1700536696
（7.30）
1700536697
1700536698
根据泰勒展开及拉格朗日余项公式，式（7.30）可写为
1700536699
1700536700
1700536701
，
1700536702
1700536703
（7.31）
1700536704
1700536705
其中pi∈(0,h)。类似地，
1700536706
1700536707
1700536708
，
1700536709
1700536710
（7.32）
1700536711
1700536712
其中qi∈(−h,0)。两个式子相减，等号两边同时除以2h，并由于
1700536713
1700536714
1700536715
，
1700536716