常见的优化算法有哪些？他们各自的优缺点是什么？ - 知乎

时间：2024-03-11 12:19:44 浏览：次

什么是优化?题外话就是，优化本身就是数学的一个分支，所以其本身就是数学基础，而且用到的其他数学基础的知识不多。优化一般需要高数和线性代数的知识，尤其是线代的知识。我先介绍一下重点需要了解的知识。但是其实用到的地方不多。高数主要是利用导数和微分求解梯度，利用泰勒展开 (多维) 对目标函数进行估计，利用极限计算收敛速度。线性代数更重要一点，因为优化的研究对象一般是多变量函数，多变量及关系式可以用向量和矩阵表示。所以要熟悉向量和矩阵的计算。其中最重要的是向量和矩阵导数的计算 (矩阵乘法，向量和矩阵求导)，特别需要关注的是梯度（向量的一阶导）和Hessian矩阵（向量的二阶导）的计算。这个要特别熟悉，因为大多数优化算法通过计算梯度获取一个搜索方向，然后沿着搜索方向不断迭代找到最优解。