导读：各位，2024年将是LLM之年，所有的应用程序都要加入AI与LLM。有激情的你准备好了吗？

各位开发者，各位朋友，可以预见的是——在应用程序开发中使用大型语言模型（LLM）将是2024年技术的最大趋势之一。

从2023年开始，很多公司通过其 API 连接使用 OpenAI 的专有AI模型。但是，到 2023 年底，有大量不同的 LLM 已经可供人们选择，其中有的开源LLM，开发者可以直接访问，而不再依赖于专有 API 。

随着大语言模型的不断增加，可用于将它们集成到应用程序中的开发工具也同时在不断扩展。

本篇文章将和各位探讨2024年人工智能工程的五个主要趋势，我相信你还可以讨论和思考更多有意思的内容。

1 AI 工程师的出现

第一个往往是最重要的。现在开发者在职业生涯中可以考虑一个全新角色：“人工智能工程师”。

AI 工程师 是“即时工程师”的下一步，它的主要宣传者是Shawn Wang （“@swyx”）。前一段时间，他就画了一个很漂亮的图表，显示人工智能工程师在更广泛的人工智能和开发生态系统中的“重要”位置：

图源：swyx博客

人工智能工程师是一个非常新的角色。

截至 2023 年底，有许多企业已经开始招聘使用大语言模型和相关工具（例如 LangChain 框架和矢量数据库）的开发人员。

在 10 月份某技术媒体对 Shawn Wang 进行采访，这是由他共同主办的旧金山人工智能工程师峰会，他本人将人工智能工程师的角色定义为之前的移动互联网技术专家。

“那么，我们将人工智能视为一个平台，就像移动工程一样，对吗？就像那时的你只是专注于移动技术堆栈。我当时根本不想碰它，因为移动设备很粗糙。你参加所有的移动互联网会议，你了解所有的移动技术，你也知道和大家辩论。但当我需要在移动设备上完成任何事情时，我就会来找你，你知道如何完成它。”

他补充说，所有开发者至少应该熟悉人工智能工程是什么——就像十到十五年前移动开发非常流行时，他们至少应该了解移动软件工程的范围一样。

2. LLM技术堆栈的演变

今年人工智能工程的一个相关趋势，是针对这一新角色的技术堆栈的出现。

对于堆栈包含的内容有不同的看法，以下来自风险投资公司 Andreessen-Horowitz (a16z) 制作的图表。如下图：

图源：a16z的图表

编排层对于人工智能工程师来说可能是最重要的，因为这是应用程序连接到大语言模型的地方。

这就是所谓“即时工程”的用武之地，它基本上是一种查询大语言模式以使这些系统为应用程序提供有用信息的方法。

从2023 年开始，LangChain 和 LlamaIndex 等工具的出现，可以有效帮助开发者及时发现问题工程，并与其他大语言模型集成。

值得注意的是，LangChain名称中的“链”一词，这表明它可以与其他工具互操作——不仅是各种LLM，还可以与其他开发框架互操作。

2023 年5 月份，Cloudflare 宣布 LangChain 已经支持其“ Workers ”框架。

3. 开源大语言模型

可以说，今年人工智能工程领域最具影响力的发展，便是开源大模型的兴起。

哦，对了，还有一次未遂的董事会“宫廷政变”。

OpenAI 在 11 月份几乎崩溃，因此需要一个替代性的非专有大语言模型可供我们选择，变得愈发重要。

目前，与我交谈过的大多数人工智能工程师都表示 OpenAI 的大模型现在仍然优于所有其他大模型。

诚然，开源大模型正在迅速迎头赶上。Meta 的 LLama 2 已经于 7 月发布，目前在斯坦福大学 HELM（语言模型的整体评估）基准测试排行榜上也已经名列前茅。

有图有真相，请看如下图表：

Llama 2 的参数规格；图源：Meta

当 Meta 在二月份首次推出 Llama ，它以非商业许可向研究机构和开源社区发布了模型权重。

而此时，其他功能强大的大模型（例如 GPT常只能通过有限制的 API 访问它。

Sebastian Raschka 在 5 月份公开场合，这样谈到OpenAI：

“因此，你必须通过 OpenAI 并访问它的 API，但实际上无法下载模型或在计算机上运行它，基本上，你不能做任何定制化的事情。”

换句话说，Llama 对开发者来说适应性更强。当我们进入 2024 年时，这对目前 LLM 领域的领导者（例如 OpenAI 与 Google）来说可能具有很大的破坏性。

4.向量数据库

到目前为止，2023年对 LLM 发展的数据方面，影响最大的是向量数据库的使用。

微软将向量数据库定义为“一种将数据存储为高维向量的数据库，这些向量是特征或特征的数学属性表示“，也就是说数据通过一种称为“嵌入”的技术存储为向量。

我们使用仓库的类比来解释矢量数据库的用例。

将矢量数据库想象成一个巨大的仓库，将人工智能想象成熟练的仓库管理员，在这个仓库中，每个项目（数据）都存储在一个盒子（向量）中，在多维空间的货架上整齐地组织起来。然后，人工智能可以根据项目的相似性来检索或者比较项目。

矢量数据库非常适合“个性化推荐系统”、异常检测和自然语言处理等应用。

目前，较新的数据库解决方案（例如 Pinecone）或开源项目（例如 Chroma）今年在矢量数据库领域正开辟广阔的利基市场。

现在市场上，也存着一些矢量数据库供选择，包括来自正在附加此功能的现有数据库公司。例如，Redis 在其 Redis Enterprise 产品中提供矢量数据库功能。

5.人工智能代理

也许人工智能工程中最具争议的趋势是人工智能代理软件，例如在 3 月底向全世界发布的 AutoGPT。

人工智能代理是使用大语言模型来完成各种任务的自动化软件。

在 10 月份的人工智能工程师峰会上，我们感到一些演讲者对这些自动化代理的能力过于自信——也许这是狂妄自大，因为代理的总体想法似乎是将人类排除在外。但是，如果你曾经与银行或电商等公司的自动聊天机器人打过交道，那么你很可能希望聊天的另一端是个真人。

Voxel51 的机器学习工程师、会议参会者之一雅各布·马克斯 (Jacob Marks) 在 LinkedIn 文章中这样说道：

“AI特工们还远未充分发挥其潜力。在某种程度上，这是由于难以为所述代理创建可靠的评估。AutoGPT 正在发生着重大变化。”

也许到了 2024 年，Auto-GPT 和其他人工智能代理软件就会大显身手。

结论

今年是人工智能工程最具创新的一年。尽管也存在明显的问题——技术（比如人工智能代理）和业务（比如 OpenAI 董事会），但是我们可以完全期待在明年在生成人工智能方面取得更多地进展。

OpenAI 正在受到 Meta 和 Google 等巨头的积极挑战，所有迹象都表明底层技术将继续突飞猛进。

本周Google 发布了 Gemini，该模型声称在大多数测试中都优于 ChatGPT。由此我们相信，LLM 霸主之争将继续持续到 2024 年。

此外，随着LangChain和Pinecone等年轻团队的不断扩张，LLM应用程序生态系统可能会趋于成熟。

明年，我们可能还会看到政府的强力介入监管，这些一定不会让人工智能一帆风顺。

无论 2024 年会发生什么，202 年对于人工智能工程来说都是疯狂伟大的一年，而且它可能会作为互联网历史上的关键一年，被人们深深铭记。

大家怎么看？欢迎留言～

作者：场长

相关链接：

https://www.latent.space/p/ai-engineer