今日应用
今日话题
TinyAgent：边缘端的功能调用
文章摘要
摘要：
LLMs通过纯文本语言执行命令的能力使得能够完成用户查询的代理系统得以实现。然而，这些模型的庞大尺寸和计算需求通常需要在云端进行推理，这可能会带来隐私问题、连接限制和延迟问题。为了解决这些挑战，研究者们提出了将LLM模型部署到边缘的想法，但目前的LLMs对于本地部署来说过于庞大。
一个关键的研究方向是，一个参数内存显著较少的小型语言模型能否模拟这些较大语言模型的这种出现能力？ 这将显著减少代理系统的计算占用，并实现高效和隐私保护的边缘部署。研究表明，通过对专门化、高质量数据进行训练，这对于小型语言模型是可行的。
为了实现这一目标，研究者们提出了LLMCompiler，这是一个框架，它通过指示LLM输出一个包含它需要调用的函数集合以及输入参数和它们的依赖关系的函数调用计划来实现这一点。然后，生成了这个函数调用计划后，可以解析它并根据依赖关系调用每个函数。
为了生成高质量的函数调用数据，研究者们使用了像GPT-4-Turbo这样的LLM来策划合成数据。他们还探索了是否可以在专门为函数调用和规划而策划的高质量数据上对这些模型进行微调，从而提高小型语言模型对目标任务的准确性。
为了优化提示大小并提高性能，研究者们提出了ToolRAG，这是一种根据用户查询仅检索必要的工具的方法。他们还使用了量化技术来减少模型大小和推理延迟，使得模型可以有效地部署在边缘设备上。
最终，研究者们成功地训练了一个小型语言模型，并用它来驱动处理用户查询的语义系统。在Macbook Pro M3上部署的TinyAgent-1.1B模型不仅在本地运行所有的模型推理，而且还允许用户通过音频提供命令。该模型在本地设备上的准确性和速度都超过了GPT-4-Turbo。
关键组件：
– LLMCompiler：教授现成的SLM执行函数调用的框架。
– 高质量函数调用数据：通过策划合成数据生成。
– 微调：在生成的数据上微调现成的模型。
– ToolRAG：根据用户查询仅检索必要的工具的方法。
– 量化模型部署：减少推理资源消耗的技术。
通过这些步骤，最终模型在此任务上实现了80.06%和84.95%的成功率，超过了GPT-4-Turbo的79.08%。这证明了小型语言模型在本地部署和边缘执行方面的潜力，同时保持了高效率和隐私保护。
文章来源
原文地址: 点我阅读全文
原文作者: AIGC最前线
相关文章
