其他2024nature.com
复杂动力系统中的反脆弱性
Antifragility in complex dynamical systems
进阶 · 约 60 分钟读完前置知识:动力系统基础、概率与随机过程、Taleb 反脆弱性概念
导读
这篇论文研究复杂动力系统中的“反脆弱性”(antifragility),即系统如何从环境扰动的变异性、波动和随机性中获益而非受损。文章试图为这一源自 Taleb 的概念提供更形式化的动力学系统视角。
HN 关注点:反脆弱性是 HN 读者长期感兴趣的话题,讨论焦点在于如何把这一偏哲学的概念落到可操作的系统与工程实践中。
HN 评论精选
这几条评论里:质疑 1 补充 2 亲历 1
亲历亲历:在进化神经网络训练中人为施加周期性“灾难性”扰动,能让系统更稳健且恢复更快,是反脆弱性的工程实例。
我在进化脉冲神经网络模拟中发现,故意在每代之间对超参数施加突然而合理的变化,能得到更稳健的模拟,更不容易陷入局部停滞,也更容易满足适应度标准。代价是模拟时间更长,但可以降低训练中途资源需求失控的风险。我目前的扰动方法是对每个候选网络的全局激活次数设上限:当全局最佳适应度至少提升 3 次后,就把激活上限砍半——这对当前种群是相当灾难性的。如果没有改进,每代可把上限提高 1%。这形成了对更高效网络的强烈选择压力,相当于用一半资源强制部分重启训练。这通常确实能优化网络,而且重启后恢复速度越来越快:最初一次重启需要 10-20 代恢复,到第 1000 代时只需 1-2 代。
bob1029查看英文原文
I've found that intentionally causing abrupt (but reasonable) changes to hyperparameters in evolutionary spiking neural network simulations (I.e between each generation) results in far more robust simulations that will meet fitness criteria with less likelihood of getting stuck somewhere. The tradeoff being that simulating will take longer, but this may be worth things like reducing the chances of your resource requirements going asymptotic half way through. My current method of perturbation is to cap the total # of activations per candidate globally. When at least 3 improvements in the best global fitness score have been achieved, I cut the global activation limit in half. Obviously, this is fairly catastrophic for the current population. Each generation can increase the limit by 1% if no improvements made. This provides aggressive selection pressure for more efficient networks and forces a different kind of partial restart of the training process (I.e. do what you just did with 50% resources now). Very often this does result in optimization of the network. It also seems to make the networks rebound faster after restarts. At first, a restart can take 10-20 generations to recover. By generation 1000, this is closer to 1-2.
补充半哲思式补充:按定义,死亡本身也符合反脆弱性,视角颇为黑色幽默。
如果系统或生物体能从系统性变化、波动、随机或无序中获益,就可定义为反脆弱性。如果这算个谜语的话,死亡符合——瘟疫、饥荒、战争等滋养死亡的东西正具有这些特征,死亡周围的衰败复杂而动态,而且死亡比任何生命系统都更可持续。
delichon查看英文原文
Systems or organisms can be defined as antifragile if they derive benefit from systemic variability, volatility, randomness, or disorder. If that's a riddle, death fits. Those things are characteristic of the pestilence, famine, war, etc. that feed death. The decay surrounding death is complex and dynamical. And death is more sustainable than any living system.
质疑批评:学术论文语言故弄玄虚,其实一句话就能说清。
希望人们写得更平实一些。“反脆弱性刻画动力系统从环境扰动的变异性中获得的益处。”装腔作势。
AgentOrange1234查看英文原文
I wish folks would write more plainly. “Antifragility characterizes the benefit of a dynamical system derived from the variability in environmental perturbations.” Geish.
补充补充资料:反脆弱性在生物学中早有对应概念 hormesis。
随机一提:反脆弱性在生物体中叫“毒物兴奋效应”(hormesis),这个概念自 1950 年代就存在——当时发现除草剂剂量过低反而让植物变得更强。
fasteo查看英文原文
Random note: Antifragility is called hormesis in living organisms, a concept that existed since the 1950s when the wrong dose - too low - of herbicides made the plants stronger.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖173 分 · 113 评
同领域还值得读
每个好的系统调节器都必须是该系统的一个模型 (1970)
Every Good Regulator of a System Must Be a Model of That System (1970)
这是控制论经典论文(Conant 与 Ashby,1970):它试图论证,任何“好的”调节器都必须是其所调节系统的模型——即调节器与被控系统之间必须存在同构或模型关系。
其他2018 · 202 分 · 59 评进阶 · 约 45 分钟编辑精选复杂系统如何失效
How complex systems fail (2002)
总结了复杂系统如何失败的若干条经验法则:系统总是在多重故障的边缘运行,事故是多重因素叠加的结果,操作者实际上同时承担着维持生产与防范故障的双重角色,而事后归因往往把事故简化为某个…
其他2017 · 154 分 · 19 评入门 · 约 30 分钟编辑精选如何阅读论文
How to Read a Paper (2016)
介绍如何高效阅读学术论文,提出“三遍阅读法”:先快速浏览摘要、结论和图表把握概览,再理解主要内容,最后深入细节。
其他2017 · 715 分 · 80 评入门 · 约 10 分钟公元 1021 年欧洲人已在美洲存在的证据
Evidence for European presence in the Americas in AD 1021
这篇 Nature 论文用树木年轮定年,并结合公元 993 年宇宙射线事件标记,把纽芬兰 L'Anse aux Meadows 的 Norse 活动精确到公元 1021 年,为欧…
其他2021 · 655 分 · 391 评进阶 · 约 45 分钟一次通古斯级空爆摧毁了约旦河谷青铜时代城市 Tall el-Hammam
A Tunguska size burst destroyed Tall el-Hammam, Bronze Age city in Jordan Valley
研究约旦河谷青铜时代城市 Tall el-Hammam 被毁的原因。
其他2021 · 653 分 · 342 评入门 · 约 45 分钟