智构学堂人工智能应用工程

学习路线详情

大语言模型运维(LLMOps)、评测与上线运维

建立人工智能应用上线后的质量、成本、版本和运行保障体系,覆盖评测平台、追踪、实验、监控和发布回滚。

章节4
公开1
版本v1

章节树

章节顺序

  • 章节 · L0

    提示词、模型与数据集版本管理

    - 理解人工智能应用的行为由提示词、模型、数据和代码共同决定。

    35 分钟阅读章节
  • 章节 · L0

    自动评测、人工评审与回归测试

    - 能为人工智能功能设计最小评测集。

    40 分钟阅读章节
  • 章节 · L0

    执行追踪(Tracing)、日志、成本与延迟监控

    - 能设计一次人工智能请求的执行轨迹字段。

    40 分钟阅读章节
  • 章节 · L0

    发布、实验、回滚与运行手册

    - 能定义人工智能功能发布门禁。

    40 分钟阅读章节

项目实战

实战项目关卡

查看全部项目
挑战18 小时5

大语言模型运维(LLMOps)发布与评测看板

构建一个管理提示词和模型版本、评测结果、成本延迟指标和发布决策的大语言模型运维看板。

FastAPIReactPostgreSQLLLM EvaluationObservability