AI AGENT

这是一篇关于AI AGENT的思维导图，图中详细阐述了LLM的本质及作用，提示词工程的重要性与优化方向；深入讲解了上下文工程的概念、实现步骤以及不同策略；介绍了AI AGENT的四层能力，包括记忆层、规则文件、执行层等；还提及了AI AGENT的落地方式，如SDD（Spec-Driven Development）等相关内容，涵盖了AI AGENT从基础理论到实践应用的多个关键方面。对于AI技术研究者，它能梳理LLM与AI AGENT相关的重要概念与技术要点，助力深入理解模型原理与应用策略；开发者可从中获取关于提示词工程、上下文工程等实际开发中关键技术的详细信息，为开发AI AGENT产品提供技术参考；学习爱好者能通过此模板快速把握AI AGENT领域的核心知识框架，提升学习效率；企业人员则可借此了解如何将AI AGENT落地应用，探索提升业务效率的新途径。此模板适用于AI技术研究、产品开发、学习交流、业务探索等多种场景。

AI AGENT

• LLM
  • 大模型本质就是磁盘上超大的参数文件
  • 从磁盘加载到显卡内存里面，配上API接口，就成了大模型API服务
  • 作用：根据当前输入，预测下一个字词大概率是什么
• Harness Engineering（驾驭工程）
  • 四层能力
    • 记忆层
      • 提示词工程
        • LLM本质上是根据你的输入来预测你下一个词是什么，如果你给的比较宽泛，那它预测的就非常发散。你需要给他补充更多的细节，来让它的预测更加精准。这就是要优化你的提示词，来让结果更加符合预期的工作就是提示词工程。
        • 解决的是大模型，无引导，乱说话的问题。
      • 上下文工程
        • 上下文是发给大模型的提示词 和 相关资料的总和。但大模型一次性处理的上下文的数量是有限的，这个就是上下文窗口。这就需要压缩或者丢弃部分信息，压缩和丢弃的过程中，可能会导致一些关键信息丢失，导致大模型会忘记一些关键信息，这个就是上下文腐化。
        • 上下文过程就是动态管理上下文的技术，让在合适的时候给大模型合适的内容。
        • 上下文工程策略实现总结为三个步骤
          • 召回
            • 找什么信息，可能来自外部新闻，聊天记录、当前代码环境、程序运行报错。
            • 涉及RAG、Memory技术
          • 压缩
            • 上下文窗口有限，需要将信息进行压缩，让信息变小，比如将信息分开发给大模型做总结。
          • 组装
            • 信息放置的位置和顺序，会影响到大模型的理解和输出，所以需要按一定的结构重新组装内容，这样进入模型的上下文更精简更相关。
        • 不同AGENT的上下文工程的策略不同，所以即使连接着同一个大模型，不同AGENT的执行效果也是不一样的。
      • 规则文件
        • AI AGNET本质是一个for循环，它把执行层执行的结果，通过上下文工程给到LLM，LLM思考后，执行层开始执行，接着又把执行结果通过上下文工程给到LLM思考，如此循环往复。
        • 随着循环的次数越来越多，上下文就会膨胀，就会产生腐化问题。随着给LLM的文件和信息越来越多，前面定好的目标、约束，后面就被冲淡了，LLM的理解就会偏离。
        • 为了应对多次循环导致的上下文膨胀问题，可以在每次给LLM的上下文中，都包含一些可复用的核心信息：项目目标、技术栈、需求背景、代码风格、禁止事项等，这样LLM就会减少理解偏差。这些核心信息可以单独写成文件，比如CLUAUDE的claude.md文件.
        • 规则文件写多了也会变长,那就需要拆,把大的规则文件拆成多个,并配置路由:在不同的场景下调用不同规则文件.
    • 执行层
      • LLM加上上下文工程，只能聊天。要让AI AGNET真正能执行任务，需要加上Bash沙箱、文件系统、MCP，让AGENT能操作外部工具、读写代码文件、执行命令。这些功能构成了执行层。
    • 反馈层
      • AI AGNET本质是一个for循环, 执行的结果会加到上下文中给到LLM, LLM会根据执行结果自动修复问题. 这种通过校验执行结果, 回传错误 来自动修复问题的能力形成了反馈层.
    • 编排层
      • 如果AGENT的循环缺乏全局规划和清晰的结束目标, 依然很容易跑偏, 甚至会陷入死循环, 我们可以将大任务拆解成多个有明确目标的小任务, 按规划驱动AGENT分步执行. 这种以全局规划为核心, 对任务做拆解与全流程管控的能力, 形成了编排层.
  • 如何落地
    • SDD(Spec-Driven Development)
      • 以claude code为例, 软件本身已经原生支持Harness Enginering的四层能力, 轻量的做法就是在CLAUDE.md里面写清楚项目背景\需要做什么\不能做什么\做完后要跑哪些lint,单测和执行哪些skill.
      • 借助插件spec-kit
        • 生成约束
        • 明确需求
        • 定制计划
        • 拆解任务
        • 开始实现