Abstract
大多数优化方法都需要利用目标函数或约束的一阶信息 (梯度或次梯度等). 然而, 实际应用
中, 大量优化问题的一阶信息是无法有效计算的. 在很多典型的例子里, 目标函数是没有显式表
达式的黑箱 (black box)，其函数值由复杂的计算机模拟或者物理实验给出, 而函数的一阶信息
几乎不可能得到. 这样的问题被称为无导数 (direvative-free) 优化问题, 也有作者称为黑箱优化
问题. 它们广泛出现在芯片设计, 航空器设计, 舰船设计, 计算核物理等对国家发
展极具战略意义的领域, 在数据科学和机器学习中也有应用. 求解这类问题需要仅仅使用
函数值而不依赖一阶信息的方法, 也就是无导数优化方法 (derivative-free optimization methods), 亦称为直接方法 (direct methods). 由于此类问题的目标函数计算往往代价较大并且含
有噪音, 一个有效的无导数优化方法应当用尽量少的目标函数值计算获得合理精度的解, 并且对
非精确的目标函数值有很强的鲁棒性. 由于一阶信息的缺失, 满足上述要求并不平凡, 尤其当问
题规模变大时难度骤增. 随着计算机模拟成为越来越重要的科研手段, 无导数优化问题出现得越
来越多, 规模越来越大, 无导数方法的研究也面临越来越大的挑战和机遇.
本文将简要总结无导数优化方法的历史和现状, 介绍有代表性的思想、方法和理论, 并初步
探讨该领域中值得注意的几个课题.
中, 大量优化问题的一阶信息是无法有效计算的. 在很多典型的例子里, 目标函数是没有显式表
达式的黑箱 (black box)，其函数值由复杂的计算机模拟或者物理实验给出, 而函数的一阶信息
几乎不可能得到. 这样的问题被称为无导数 (direvative-free) 优化问题, 也有作者称为黑箱优化
问题. 它们广泛出现在芯片设计, 航空器设计, 舰船设计, 计算核物理等对国家发
展极具战略意义的领域, 在数据科学和机器学习中也有应用. 求解这类问题需要仅仅使用
函数值而不依赖一阶信息的方法, 也就是无导数优化方法 (derivative-free optimization methods), 亦称为直接方法 (direct methods). 由于此类问题的目标函数计算往往代价较大并且含
有噪音, 一个有效的无导数优化方法应当用尽量少的目标函数值计算获得合理精度的解, 并且对
非精确的目标函数值有很强的鲁棒性. 由于一阶信息的缺失, 满足上述要求并不平凡, 尤其当问
题规模变大时难度骤增. 随着计算机模拟成为越来越重要的科研手段, 无导数优化问题出现得越
来越多, 规模越来越大, 无导数方法的研究也面临越来越大的挑战和机遇.
本文将简要总结无导数优化方法的历史和现状, 介绍有代表性的思想、方法和理论, 并初步
探讨该领域中值得注意的几个课题.
| Translated title of the contribution | Derivative-Free Optimization |
|---|---|
| Original language | Chinese (Simplified) |
| Title of host publication | 中国学科发展战略：数学优化 |
| Editors | Ya-xiang Yuan |
| Place of Publication | Beijing |
| Publisher | 科学出版社 |
| Chapter | 7 |
| Pages | 84-92 |
| Number of pages | 9 |
| ISBN (Print) | 9787030658661 |
| Publication status | Published - Jan 2021 |