1. 模拟退火算法

1.1 特点:

(1)借助物理学中退火的思想,从某一高温出发,随着温度参数不断下降,
在解空间中寻找目标函数的全局最优解,温度影响着当新解不优于当前解时,
接受新解的概率,温度越高,接受新解的概率越高。
(2)基于概率的算法
(3)需要设置如何产生新解

1.2 跳出局部最优的机制

当产生的新解不如当前解时,采用Metropolis准则判断是否接受新解,而
不是一味的采用更优的解,这样避免了解陷入局部最优之中。
同时我们还可以进行在升温过程,进行多次退火。

2. 遗传算法

2.1 特点:

(1)遗传算法对问题参数编码成“染色体”后进行进化操作,而不是针对参数本身
(2)遗传算法的搜索过程是从问题解的一个集合开始的,而不是从单独的个体开始,具有隐含的并行搜索特性
(3)遗传算法的遗传操作是随机的

2.2 跳出局部最优的机制

借鉴生物种群遗传的方式,设置适配值大的个体有更高的概率进行复制,各个个体之间进行交叉变异得到新解,
交叉使得新解继承了前代的优良品质,变异通过随机改变个体的某些基因而产生新个体,有助于增加种群的
多样性。
这种复制,交叉,变异的操作增大了解的搜索空间、避免了陷入局部最优。

3. 禁忌搜索算法

3.1 特点:

禁忌搜索是人工智能的体现,禁忌搜索算法最重要的思想是对已经搜索到的局部最优的一些解进行标记,
在接下来的搜索中尽量避免这些解,从而保证对不同的有效搜索途径的探索。

3.2 跳出局部最优的机制

禁忌长度设置,通过对禁忌长度的合适设置,禁忌对象经过一定的迭代次数后会解禁。从而避免了后续解过
小造成的早熟收敛。
藐视准则也是跳出局部最优的一种机制,当候选解全被禁忌时,存在优于best so far 的解时,将依然采用这个
个解作为新解。

Logo

分享最新、最前沿的AI大模型技术,吸纳国内前几批AI大模型开发者

更多推荐