Software formalization folks, I just realized we are, again, not retardmaxxing enough.
Neural networks are already clean
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。
Peut-être le truc le plus important que vous lirez aujourd'hui
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。
Predicting possible consequences of good interpretability research:
- LLM API will have concept suppression and boosting controls instead of fine tuning.
- LLM will ship and be priced by subdomains/ cognitive subsets.
- inference acceleration and iq focus by lobotomy instead of quantization/distillation.
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。
3
63
Good news for the alignment
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。
2
27
こうなってくると、ヴォイニッチ手稿って単なる落書きではない気がしてくるな。
わたしたちはなぜ、植物とにている枝分かれによって構成されてるのか？これももしかして、ひょっとすると、無関係ではないかもしれない？！（ワクワク）
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。
1
5
158
数学家就该来做ai的可解释性嘛！
有点震撼。。。我们可能真的快要搞清楚大模型内部到底是怎么运作的了。
OpenAI早期机械可解释性研究的参与者，昨天突然提出了一个很大胆的结论：
我们可能一直误解了神经网络。
昨天， @nickcammarata 发了一篇很有意思的文章，叫《Neural Networks Are Already Clean》。
这哥们早年就在OpenAI做机械可解释性研究，2023 年还牵头启动了@OpenAI 第一个大规模自动化神经元解释项目。
当时他们发现，现有工具只能解释大约 2% 的神经元。
Nick因此得出了一个很悲观的判断：神经网络内部存在大量纠缠，想搞清楚它们到底在干什么，可能非常困难。
结果三年后，他带着更先进的工具和Agent重新研究，发现情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。
甚至在Qwen3-32B这样的语言模型中，初步研究也发现，约90%的神经元都有一个可以识别的主要功能。
最有意思的是，他还重新研究了过去的一些经典案例。
比如曾经有一个神经元，既会对猫脸产生反应，也会对汽车前脸产生反应。
以前大家觉得，这是典型的Superposition，多个不相关的概念纠缠在了同一个神经元里。
结果重新研究后发现，这个神经元可能只是在识别一种共同的V形视觉结构。
猫脸和汽车前脸恰好都有这种特征。
全世界的家人们折腾了这么多年，可能连最基础的观察方式都有问题。
而且我觉得这篇文章最值得关注的，其实是他们使用 Agent的方式。
他们让Agent自动观察神经元、提出功能假设、设计实验、分析电路，再通过新的输入验证假设，甚至自动审查了10 万张神经元归因图。
这其实也是我最近一直关注的一个方向：让 AI 自己去做科学研究，把大量观察、假设、验证的工作自动化。
过去需要研究员花大量时间逐个分析的神经元，现在已经可以让Agent成规模地开展研究了。
当然，目前这些结果还处于早期阶段，距离完整解释大模型的内部机制，还有很多工作要做。
但我觉得Nick提出的这个观点非常有意思：
神经网络内部可能一直都很有规律，只是过去我们的工具太原始，根本看不清楚。
如果这个方向最终被验证，机械可解释性领域过去很多基础假设，恐怕都需要重新审视了。