1.8　概述

本節概述本書各章的內容。圖1.9給出了各章之間概念的依賴關系。

第2章首先討論導數及其多維推廣。導數在許多算法中被用于選擇搜索的最佳方向。通常導數很難通過分析得到，因此我們討論如何從數值上求導（得出一個估算值）并使用自動微分技術。

第3章討論包圍，它涉及確定一元函數的局部極小值區間。不同的包圍算法根據不同的函數使用不同的方案進行計算，以連續縮小間隔。我們討論的方法之一，是使用函數中Lipschitz常數的知識來指導包圍過程。這些包圍算法通常作為本書稍后討論的優化算法的子程序使用。

第4章介紹優化多元函數的一般方法——局部下降法。局部下降法就是迭代選擇下降方向，然后沿該方向前進一步，重復該過程直到收斂或滿足某終止條件。步長的選擇有多種不同的方案。我們還將討論將步長自適應地限制到對局部模型有利的區域內的方法。

第5章在前幾章的基礎上，講述在通過梯度估計得到一階信息后，如何使用其作為局部模型來獲得下降方向。簡單地沿著最陡的方向下降往往不是尋找極小值的最佳策略。本章將討論多種策略，它們通過使用先前的梯度估算序列為搜索提供了更多的參考。

第6章介紹如何使用基于二階近似的局部模型來獲得局部下降。這些模型基于目標函數的黑塞矩陣估值。二階近似的優點是通過它可以得到下降的方向和步長。

第7章提出一系列直接尋找最優解的方法，避免了使用梯度信息來獲得搜索方向。我們首先討論沿著一組方向迭代執行線搜索的方法。之后討論模式搜索方法，這些方法不執行線搜索，而是沿著一組方向執行距離當前點一定步長的計算。隨著搜索的進行，步長會逐漸調整。另一種是單純形法，當它沿著明顯的改進方向遍歷設計空間時，單純形會自適應地展開和收縮。最后討論了一種基于利普希茨連續條件的方法，以提高可能包含全局極小值的區域的分辨能力。

第8章介紹隨機方法，這是一種將隨機性納入優化過程的方法。我們將展示隨機性如何改進前面章節中討論的一些算法，如最速下降和模式搜索。一些方法涉及遞增地遍歷搜索空間，而其他方法則涉及在設計空間上學習概率分布，將更大的權重分配給更有可能包含最優解的區域。

第9章討論使用點集合來探索設計空間的種群方法。通過大量在空間中分布的點可以幫助降低陷入局部極小值的風險。種群方法通常依靠隨機性來提升群體的多樣性，并可以與局部下降法相結合。

第10章介紹優化問題中約束的概念。我們首先討論與約束優化問題相關的數學知識。之后介紹如何使用懲罰函數將約束條件引入之前提到的優化算法中。我們還將討論從可行點開始，確保搜索仍然可行的方法。

第11章假設目標函數和約束都是線性的。線性似乎是一個強有力的假設，許多工程問題都可以被視為線性約束優化問題。已經開發出多種利用這種線性結構的方法。本章重點介紹單純形法，該算法可以確保得到全局極小值。

第12章展示如何解決多目標優化問題，該問題中我們需要嘗試同時對多個目標進行優化。工程通常涉及多個目標之間的權衡，并且通常不清楚如何確定不同目標的優先級。我們將討論如何將多目標問題轉換為標量目標函數，以使用前面章節中提到的算法。我們還將討論用于尋找一組代表目標之間最佳權衡的設計要點的算法。

第13章討論如何創建抽樣計劃，使其包含設計空間中的各點。設計空間中的隨機抽樣通常不能提供足夠的覆蓋范圍。我們將討論確保在每個設計維度上均勻覆蓋的方法以及測量和優化空間覆蓋的方法。此外，我們將討論準隨機序列，這種序列也可以用于生成抽樣計劃。

第14章介紹如何建立目標函數的代理模型。在一些問題中，評估目標函數的代價高昂，代理模型通常被用于解決這類問題。優化算法可以使用代理模型的評估值代替實際目標函數來改進設計。評估可以來自歷史數據，也可以通過上一章介紹的抽樣計劃獲得。我們將討論不同類型的代理模型、如何將它們擬合到數據以及如何確定合適的代理模型。

第15章介紹概率代理模型，它可以對模型預測中的置信度進行量化。本章重點介紹一種特殊的替代模型——高斯過程，并展示如何使用高斯過程進行預測，如何將梯度測量和噪聲相結合，以及如何利用數據計算高斯過程的一些控制參數。

第16章介紹如何使用上一章中的概率模型來進行代理優化。本章將概述幾種用于選擇設計點進行下一步評估的方法，還將討論如何以安全的方式使用代理模型優化目標測量。

第17章放寬對前面章節中目標函數是設計變量的確定性函數的假設，解釋如何在不確定性下進行優化。我們將討論多種不同的方法來表示不確定性，包括基于集合和概率的方法，并解釋如何轉換問題以保證不確定性的穩健性。

第18章概述不確定性傳播的方法，其中用已知的輸入分布估計與輸出分布相關的統計量。了解目標函數的輸出分布對于不確定性下的優化非常重要。我們將討論多種方法，一些基于數學概念，如蒙特卡羅、泰勒級數近似、正交多項式和高斯過程。它們的前提假設和估計效果各不相同。

第19章介紹如何解決空間中的設計變量被約束為離散型的問題。一種常見的方法是放寬變量是離散的假設，但這可能會導致設計不可行。另一種方法涉及逐漸添加線性約束，直到最佳點離散為止。本章還將討論分支限界和動態規劃方法，這兩種方法均能確保最優性。本章還提到一種蟻群方法，該方法通常可以擴展出較大的設計空間，但不能保證最優性。

第20章討論如何搜索由語法定義的表達式構成的設計空間。對于許多問題，變量的數量是未知的，例如對圖形結構或計算機程序的優化。本章將著重概述一些算法，這些算法考慮了設計空間的語法結構，以使搜索更有效。

第21章介紹多學科設計優化。許多工程問題涉及多個學科之間的復雜交叉，并且獨立地優化每個學科可能不會得到最佳解決方案。本章將討論多種技術，利用多學科問題的結構來減少尋找良好設計所需的精力。

附錄包含補充材料。附錄A簡要介紹Julia編程語言，并重點介紹本書所列出算法的概念。附錄B介紹用于評估不同算法性能的各種測試函數。附錄C包含本書優化方法推導和分析過程中使用的數學概念。