站长之家2月17日消息:类似于 ChatGPT 这样的语言模型已经在自然语言处理领域带来了彻底的改变，但是在一些简单任务，比如算术和事实核查方面，它们仍然存在明显的缺陷。

打开凤凰新闻，查看更多高清图片

据arsTechnica报道，最近，Meta 公司的研究人员揭示了 Toolformer，一种人工智能语言模型，可以通过使用外部工具（如搜索引擎、计算器和日历）教自己，而不会损失其核心语言建模能力。

Toolformer 的关键在于它能够使用应用程序接口（API），这是一组允许不同应用程序相互通信的协议，通常以无缝和自动化的方式运行。在训练过程中，研究人员为 Toolformer 提供了一小组人类编写的示例，演示了每个 API 的使用方法，然后让它使用潜在的 API 调用来注释大型语言建模数据集。它以一种"自我监督"的方式学习，这意味着它可以在不需要人类明确指导的情况下学习。

该模型学会了预测每个基于文本的 API 调用，可以在需要时插入调用。它还可以基于上下文自主决定使用哪个工具以及如何使用。例如，Toolformer 可以使用计算器来解决大型语言模型在算术上的局限性。Toolformer 基于预训练的 GPT-J 模型，该模型有67亿个参数。测试显示它的表现优于具有1750亿个参数的 GPT-3模型。

拥有像 Toolformer 中的这些技术，我们可以看到一个潜在的未来，在这个未来中，增强了使用外部应用程序的能力的语言建模模型将成为更多功能和可靠的助手。然而，这种执行 API 调用的能力也可能会增加模型对用户数据造成伤害（在应用程序中），或者在外部世界中造成麻烦(通过网络浏览器或通信工具)，因为它们可能会在提供答案时意外地调用这些能力。