劳动节之际，一个即将百岁的复古大模型也投入了工作。有人将这个只有1930年知识的大模型微调成了一名软件工程师，过程比预期轻松得多，仅用250个训练样本就解决了它的第一个编程问题——为xarray库打了一个补丁。
这个从未见过电视机的AI现在开始涉足编程领域，与Claude等现代模型竞争程序员的工作。这个被称为“老头”的AI全名叫talkie-1930-13b，由AI研究员Nick Levine、多伦多大学副教授David Duvenaud和GPT系列之父Alec Radford共同开发。其训练数据严格限制在1931年1月1日之前，因此它对电视机、互联网乃至二战结局一无所知，世界永远停留在1930年的最后一天。
然而，当面对Python编程题时，这个老古董竟然写出了第一行代码，让许多人感到震惊。最近，团队再次对这个1930年代的模型进行了微调，让它解决SWE-bench上的真实软件工程问题。令人惊讶的是，经过250个训练样本后，它成功修复了xarray库的一个小问题。
尽管整个过程看起来有些笨拙，用了49轮才解决问题，但这种试错、反思和自我修正的能力展示了强大的推理能力。当训练数据扩展到约75K条轨迹（10亿token）时，模型在SWE-bench-Verified上达到了4.5%的通过率，相比原来在HumanEval上的4%通过率有了显著提升。
团队还同时训练了一个名为talkie-web的兄弟模型，使用互联网数据预训练。同样条件下，talkie-web在SWE-bench-Verified上的成绩为5.5%，仅比老头高1个百分点。
这些结果表明，即使只拥有1930年前的知识，通过适当的后训练也能实现现代意义上的推理。这引发了对智能本质的重新思考：或许智能的关键不在于预训练数据量的多少，而在于基本语言理解能力。GitHub项目链接已公开，感兴趣的朋友可以自行尝试。
配资正规网上炒股配资
银河配资提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
