可微分逻辑细胞自动机
Hacker News 摘要原标题：Differentiable Logic Cellular Automata
这篇文章介绍了一个新的概念——可微分逻辑细胞自动机（Differentiable Logic CA），旨在从经典的康威生命游戏（Game of Life）出发，实现模式生成，并利用学习到的递归电路进行研究。
文章的第一部分引入了细胞自动机的背景，尤其是如何从简单的局部规则中反向工程出复杂的、往往意外的模式和行为。传统的细胞自动机通常从下到上构建，通过选择局部规则来研究产生的涌现模式。不过，作者提出了一个新思路，试图在保持细胞自动机固有离散状态的同时，以完全可微的方式学习产生复杂模式的局部规则。
接着，文章提出了一种新颖的、完全端到端可微的方式，将神经细胞自动机（Neural Cellular Automata, NCA）与可微分逻辑门网络（Differentiable Logic Gates Networks）相结合。NCA能够学习任意模式和行为，但在离散状态空间中运行时十分困难。而可微分逻辑门网络则可以发现组合逻辑电路，结合了离散状态与可微训练信号，但未在递归设置中进行过探索。
在实验方面，文章首先针对康威的生命游戏进行测试，该游戏是一个经典的细胞自动机示例。文章展示了该模型在学习生命游戏的基本规则时的基本学习能力，随后进一步探讨了递归电路的学习能力，探索是否能够生成与传统NCA相似的复杂模式。
系统的核心是一个二维智能细胞网格，每个细胞含有一个n维的信息向量，称为“状态”。在具体实现中，细胞状态包含RGB颜色通道、生命值通道及隐藏通道，能够使细胞更丰富地与环境进行交互。细胞的更新遵循一个双阶段过程，包括感知和更新阶段。在感知阶段，细胞通过数学工具（如Sobel滤波器）感知其周围环境，得到感知向量；在更新阶段，细胞利用神经网络根据感知向量更新状态。
文章进一步探讨了该系统的可微性，使其能够通过梯度下降进行优化。作者认为，这一方案不仅推动了细胞自动机的研究边界，也为基于局部交互的学习、增长和模式形成开辟了新天地。
此外，文章对深度可微逻辑门网络进行了总结。该网络的基本构建块是逻辑门，而非传统的神经网络神经元。每个节点是逻辑门，负责执行简单的逻辑操作（如与、或、异或等）。在训练过程中，网络通过连续松弛的逻辑操作进行梯度学习，并在推理时转向纯二进制操作，从而实现高效的计算。
文中最后的实验包括生成图案的任务。DiffLogic CA系统训练模型以从随机初始状态发展到目标图像，显示出能够学习有意义的长期动态和处理状态的递归特性。作者还展示了该模型的健壮性，通过故障模拟和自我修复的实验，显示了它在面对硬件故障时的韧性。此外，文章还探索了异步更新机制，展示了系统在随机选择部分细胞更新时的有效性。
总体来说，DiffLogic CA展示了将可微分逻辑门与神经细胞自动机结合的潜力，并成功地学习了康威生命游戏的规则和通过学习到的离散动力学生成模式。虽然当前模型在模式学习方面展现出了一些潜力，但生成更复杂形状和结构仍然面临挑战。文章提出了未来模型架构优化的可能方向，包括采用层级NCA结构和设计专门的门以促进状态遗忘。
最后，作者对参与支持此研究的团队表示感谢，并指出了未来研究可能带来的更广泛应用和创新。
原文：https://google-research.github.io/self-organising-systems/difflogic-ca/?hn