凸優(yōu)化

數(shù)值優(yōu)化算法面臨兩個方面的問題：局部極值，鞍點。前者是梯度為0的點，也是極值點，但不是全局極小值；后者連局部極值都不是，在鞍點處Hessian矩陣不定，即既非正定，也非負定。

凸優(yōu)化通過對目標函數(shù)，優(yōu)化變量的可行域進行限定，可以保證不會遇到上面兩個問題。

凸優(yōu)化是一類特殊的優(yōu)化問題，它要求：

• 優(yōu)化變量的可行域是一個凸集
• 目標函數(shù)是一個凸函數(shù)

凸優(yōu)化最好的一個性質(zhì)是：所有局部最優(yōu)解一定是全局最優(yōu)解。

機器學(xué)習(xí)中典型的凸優(yōu)化問題有：

線性回歸

嶺回歸

LASSO回歸

Logistic回歸

支持向量機

Softamx回歸