Thread by @FinanceYF5

AI创业大潮下，如何快速高效的使用LLM构建应用程序？

@a16z 在6月21日发布万字长文《对LLM应用程序堆栈的当前观点》，由其合伙人@BornsteinMatt和@rajko_rad写作。

里面理顺了4种不同场景下的，整体流程，提到了16类，64个提高开发者效率的工具，值得开发者阅读

Thread：

原文：
逐段GPT4 翻译：https://t.co/AN1IqjTdfka16z.com/2023/06/20/eme…
mp.weixin.qq.com/s/nIuw16xkC3Tj…

常用工具：
有很多不同的方式可以利用LLM进行构建，包括从头开始训练模型，微调开源模型，或使用托管的API。我们在这里展示的堆栈是基于情境学习，这是我们看到的大多数开发者开始使用的设计模式（只有在有基础模型的情况下才可能）。

LLM应用的上下文数据包括文本、PDF和结构化格式如CSV或SQL表。开发者对数据加载和转换解决方案的选择差异大，包括传统的ETL工具和编排框架。大多数开发者使用OpenAI API进行嵌入，但也有开发者探索Cohere或使用开源库如Hugging Face的Sentence Transformers。向量数据库在预处理管道中至关重要。

LLM的提示策略和上下文数据整合正变得复杂且重要。大多数开发者通过实验简单的提示开始新项目，但这并不足以满足生产部署的准确性要求。

更高级的提示策略涉及到让模型的响应基于某种真实源，提供模型未经过训练的外部上下文。此外，编排框架如LangChain和LlamaIndex提供了帮助。

OpenAI API是开发LLM应用的首选，但进入生产阶段时会有更多选项，包括切换到更经济的模型，尝试其他供应商的模型，或使用开源模型。
一些新的供应商开始研发替代基础模型，以期缩小开源模型与专有产品之间的性能差距。在运行LLM的工具方面，缓存、记录和跟踪工具已被广泛使用。

AI代理框架

是当前参考架构中重要的缺失部分，这种框架有潜力为AI应用赋予新的能力，如解决复杂问题、对外采取行动、及从经验中学习。

尽管现有的如LangChain这样的框架已经引入了一些代理概念，但目前大多数代理框架仍处于概念验证阶段，尚未实现可靠、可重复的任务执行。

预训练的AI模型改变了软件架构，使得开发者能快速构建高级AI应用。

我们列出的工具和模式只是使用LLM的起点，随着模型训练等新发展，我们会更新内容，并在合适时发布新的参考架构。欢迎提供反馈和建议。

希望这对你有所帮助！

如果你喜欢这个主题，那么请：

1.关注我（@Financeyf5）以获取更多内容。
2.喜欢并转发下面的第一条推文：