上海AI Lab最新发布的8B模型MCTSr，以其超强的数学能力引起了广泛关注。这款模型以Llama 3为基础，参数量仅为8B，却在奥赛级别的题目上取得了与GPT-4相媲美的准确率。MCTSr的出现让人们惊叹，小模型也能在数学上达到与著名模型相同的水平。
MCTSr是将AlphaGo中的蒙特卡洛算法与Llama 3相结合而成的。蒙特卡洛树是一种使用重复随机采样生成合成模拟数据的近似方法，谷歌的围棋机器人AlphaGo就使用了这种方法。MCTSr在大模型中引入了蒙特卡洛树，并结合自我修正和自我评估的迭代过程。在解答数学问题时，MCTSr首先生成初步答案，然后通过评估和反馈进行自我修正，产生新的答案。这个新版本会纳入搜索树中，成为一个新的子节点。系统会对多个子节点进行评分和奖励采样，计算出节点的“Q值”，综合考虑了节点在最坏情况和平均情况下的表现。通过不断重复这个过程，MCTSr最终生成了数学问题的最优解。
MCTSr的实际效果也得到了验证。在测试中，研究团队使用了四种模型配置，包括零样本思维链和1/4/8轮自我优化的MCTSr。测试数据集包括MATH的5个难度等级，GSM-8K和GSM-Hard，以及一系列奥赛级别的数据集。结果显示，随着自我优化轮数的增加，MCTSr的准确率也在增加。在GSM-8K上，经过8轮优化后，MCTSr的准确率已经达到了96.66%，与Gemini、Claude-3和GPT-4相比不相上下。在MATH上，MCTSr在最困难的Level-5上的成绩甚至接近了对照组的5倍。在更加困难的奥赛级别题目上，MCTSr的能力增强也十分显著，甚至超过了Gemini、Claude-3和GPT-4。
MCTSr的发布引起了广泛关注，其代码已经开源，让更多人可以了解和使用。这一研究成果的出现，不仅让人们对小模型在数学上的能力有了新的认识，也引发了对当前AI发展的思考。是否规模化并不是唯一的关键，架构的优化也是当前AI发展的重要方向。
参考资料：
- 论文地址：https://arxiv.org/abs/2406.07394
- GitHub：https://github.com/trotsky1997/MathBlackBox
