1.3　基本優(yōu)化問(wèn)題

基本的優(yōu)化問(wèn)題是：

在這里，x是一個(gè)設(shè)計(jì)點(diǎn)。該點(diǎn)可以表示為一個(gè)向量，該向量對(duì)應(yīng)于不同設(shè)計(jì)變量的值。下面是一個(gè)n維的設(shè)計(jì)點(diǎn)[1]：

在這里xi表示第i個(gè)設(shè)計(jì)變量。可以調(diào)整該向量中的元素以最小化目標(biāo)函數(shù)f。在最小化目標(biāo)函數(shù)的可行集X的所有點(diǎn)中，x的任何值都稱為解或極小元。特解寫作x*。圖1.3展示了一個(gè)一維優(yōu)化問(wèn)題的例子。

這個(gè)公式是通用的，這意味著任何優(yōu)化問(wèn)題都可以根據(jù)方程（1.1）重寫。特別需要注意的是，問(wèn)題

可以寫作

這是相同問(wèn)題的不同表現(xiàn)形式，因?yàn)樗鼈兊慕庀嗤?/p>

運(yùn)用這種數(shù)學(xué)公式對(duì)工程問(wèn)題建模可能具有挑戰(zhàn)性。確切表達(dá)優(yōu)化問(wèn)題的方式往往決定了問(wèn)題解決過(guò)程的難易[2]。在問(wèn)題大致確定之后，我們將重點(diǎn)關(guān)注優(yōu)化的算法方面[3]。

由于本書(shū)討論各種不同的優(yōu)化算法，人們可能會(huì)想知道哪種算法最好。正如Wolpert和Macready的沒(méi)有免費(fèi)午餐定理所闡述的那樣，除非我們對(duì)可能的目標(biāo)函數(shù)空間的概率分布做出假設(shè)，否則沒(méi)有理由偏好某種算法。如果一種算法在一類問(wèn)題上比另一種算法表現(xiàn)更好，那么它可能會(huì)在另一類問(wèn)題上表現(xiàn)稍差[4]。為了使許多優(yōu)化算法有效工作，在目標(biāo)函數(shù)中需要有一些規(guī)律性，例如Lipschitz（利普希茨）連續(xù)條件或凸性，我們將在后面介紹這兩個(gè)主題。在討論不同的算法時(shí)，我們將概述它們的假設(shè)、原理的設(shè)計(jì)動(dòng)機(jī)，以及它們的優(yōu)缺點(diǎn)。

[1] 例如在Julia中，帶有逗號(hào)分隔項(xiàng)的方括號(hào)用于表示列向量。設(shè)計(jì)點(diǎn)是列向量。

[2] S. Boyd and L. Vandenberghe，Convex Optimization. Cambridge University Press，2004.

[3] 許多文獻(xiàn)提供了如何將現(xiàn)實(shí)世界中的優(yōu)化問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題的示例。例如：

R. K. Arora，Optimization：Algorithms and Applications. Chapman and Hall/CRC，2015.

A. D. Belegundu and T. R. Chandrupatla，Optimization Concepts and Applications in Engineering，2nd ed. Cambridge University Press，2011.

A. Keane and P.Nair，Computational Approaches for Aerospace Design. Wiley，2005.

P.Y. Papalambros and D. J. Wilde，Principles of Optimal Design. Cambridge University Press，2017.

[4] D. H. Wolpert and W. G. Macready，“No Free Lunch Theorems for Optimization，”IEEE Transactions on Evolutionary Computation，vol.1，no.1，pp. 67-82，1997.