一、概述
最优化问题主要分为
1.无约束优化问题
2.等式优化问题
3.含不等式优化问题
对于无约束问题常常使用的方法就是Fermat定理，即求取f(x)的倒数然后另其为0，可求得候选最优质，如果函数为凸函数则直接为最优值。
在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法。二者各有其使用范围：
拉格朗日乘子法：等式约束的最优化问题
KTT条件：不等式约束下的最优化问题
对于一般的任意问题而言，这两种方法求得的解是使一组解成为最优解的必要条件，只有当原问题是凸问题的时候，求是求得的解是最优解的充分条件。
二、有约束最优化问题的求解
1.拉格朗日乘子法
对于等式约束，我们可以通过一个拉格朗日系数a 把等式约束和目标函数组合成为一个式子L(a, x) = f(x) + a*h(x), 这里把a和h(x)视为向量形式，a是横向量，h(x)为列向量，然后求取最优值，可以通过对L(a,x)对各个参数求导取零，联立等式进行求取。
2.KTT条件
对于含有不等式的约束条件最优化问题，我们可以把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + ag(x)+bh(x)，KKT条件是说最优值必须满足以下条件：
L(a, b, x)对x求导为零；
h(x) =0;
a*g(x) = 0;（g(x)为不等式约束）
求取这三个等式之后就能得到候选最优值。