大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率

关键词：大语言模型，深度学习，计算复杂度

大语言模型（LLMs）在人工智能领域取得显著进展，但同时也带来了推理成本方面的挑战。而随着模型变得更加先进，所需的计算资源显著增加，如GPT-4的计算量是GPT-3.5的十倍左右。通常用户会倾向于使用最强大的模型来处理所有任务，而不考虑任务的复杂性。该研究提出一种系统化的方法，微调小型语言模型来评估任务复杂性来自动选择最合适的模型，以减少计算资源的浪费。

https://arxiv.org/pdf/2312.11511

表一：不同模型的成本

这项研究中，首先根据编程问题数据库，给出对应的prompt，之后分别使用Lamma7B，GPT3.5和GPT4 尝试回答问题，每个模型运行五次，计算每个模型的给出正常答案的成功率，之后根据不同模型成功率的差异，定义问题的计算复杂性。具体分级方式如图2所示。

图1：研究所用的问题复杂度如何计算

图2：对问题复杂度分级的决策树，例如Lamma五次都答对或Lamma及GPT3.5答对次数超过7次的是一级。

之后研究者基于GPT3.5微调了一个大模型，用于根据prompt预测问题的复杂度，微调后的模型在测试集上达到了79%的准确率，相比未微调的34%有显著提升。

图3：微调后的GPT3.5模型能够预测问题的复杂性

如果对比将所有180道编程题目交给GPT-4进行运算的成本，以及先使用微调后的模型进行复杂度判别，将复杂度1的问题交给Lamma，复杂度2和3的问题交给GPT3.5，而将其余问题使用GPT4回答，先估计复杂度的方法能实现了90%的推理成本降低，同时保持了86.7%的准确率。

总结

这篇论文提出了一个名为 “ComplexityNet” 的框架，旨在通过评估任务复杂性并将其分配给不同能力的LLMs来提高推理效率。与传统的将所有任务分配给最复杂模型的方法相比，该框架通过微调小型模型来预测任务复杂性，并根据预测结果选择最合适的模型，从而在保持高准确率的同时显著降低了计算资源的使用。这项研究为优化LLM应用提供了一个有希望的方向，尤其是在资源受限的环境中。

该研究专注于提高LLMs的使用效率和成本效益，而不是单纯追求模型的规模和能力。它的特点在于提出了一种系统化的方法来评估任务复杂性，并根据评估结果智能选择最合适的模型，这对于资源优化和可持续的AI发展具有重要意义。

类似的方案，不止针对编程类任务。例如针对使用大模型进行翻译的应用场景，可根据输入prompt的复杂度（如信息熵，文本中的结构，单词频率等）来对任务进行分类，并根据复杂度调整推理时采用的模型，从而减少成本。在其它推理类任务中，也可以采取类似该文的方式，根据不同参数大小模型的准确性差异，来定义问题的复杂度，再通过微调小模型来先预测问题的复杂度。而这样简单有效的工具，则说明了计算复杂度这一认知概念，在大模型时代，仍然能够有实用的新应用场景。

郭瑞东 | 作者

AI By Complexity读书会招募中

大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。

集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！

详情请见：

AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统

【AI by Complexity第一期预告】

6月17日18:50-22:00进行（说明：根据本期预计分享时间，将单期分享时间提前了），具体流程如下：

1. 18:50-19:00 集智俱乐部与读书会介绍

2. 19:00-19:30 张章：机器学习系统中的复杂网络 & 作为复杂系统的大模型

3. 19:30-19:55 于玉国：从能量约束角度理解大脑结构和功能的优化设计规则

4. 19:55-20:20 田洋：当动力系统理论遇见神经网络参数化

5. 20:20-20:45 牟牧云：自由能原理与强化学习

6. 20:45-21:10 刘宇：“压缩即智能”与算法信息论

7. 21:10-21:40 杨明哲：因果涌现 for AI、复杂系统临界性 for AI

8. 21:40-22:00 互动交流