AI ENGINEERING NOTES
关注大模型落地中的架构、产品与基础设施
这里记录 AI 工程实践中的常见问题：检索增强、Agent 工具边界、多模态交互和推理成本优化。
RAG 系统如何让大模型回答更可靠
检索增强生成不是把搜索框接到模型前面那么简单。真正可用的 RAG 系统需要处理文档切分、召回质量、上下文压缩和答案校验。
AI Agent 调工具时，边界比能力更重要
让模型调用工具可以扩展能力，但也会放大误操作风险。清晰的工具边界、参数校验和审计记录，是 Agent 从演示走向生产的关键。
多模态 AI 产品的交互设计重点
多模态模型可以理解文字、图片、语音和视频，但产品体验不应只是堆输入框。关键是让用户知道模型看到了什么、理解了什么、下一步能做什么。
LLM 推理优化：延迟、吞吐和成本的取舍
推理优化不是单纯追求更快。不同业务场景对首 token 延迟、整体完成时间、并发吞吐和单位成本有不同优先级。