LLM

LLM相关技术文章

6
篇文章
37
阅读量
生产级 LLM 平台:安全、可观测性、成本控制与故障演练
AI人工智能

生产级 LLM 平台:安全、可观测性、成本控制与故障演练

构建生产级 LLM 服务的指标、追踪、容量、缓存、成本、安全、灰度、降级和故障演练体系,让质量与运行风险...

TY
2026-09-23 · 18 分钟
LoRA/QLoRA 微调实战:数据构建、PEFT/TRL 训练与效果验收
AI人工智能

LoRA/QLoRA 微调实战:数据构建、PEFT/TRL 训练与效果验收

从是否该微调、数据清洗与隔离、LoRA/QLoRA 配置、TRL 训练,到过拟合诊断、适配器保存合并和独立验收的完...

TY
2026-09-23 · 26 分钟
降低大模型幻觉:检索证据、引用校验、拒答与系统化评测
AI人工智能

降低大模型幻觉:检索证据、引用校验、拒答与系统化评测

把“幻觉”拆成可诊断的知识、检索、生成和工具错误,通过证据门禁、引用校验、拒答策略与分层评测降低风险。

TY
2026-09-23 · 17 分钟
大模型推理参数调优:Temperature、Top-p、Token 与可复现评测
AI人工智能

大模型推理参数调优:Temperature、Top-p、Token 与可复现评测

解释常用解码参数的作用与交互关系,并用固定评测集、参数网格和结构化记录完成可复现调优,避免凭感觉改参...

TY
2026-09-23 · 19 分钟
vLLM 大模型部署实战:OpenAI 兼容 API、GPU 容量与性能调优
AI人工智能

vLLM 大模型部署实战:OpenAI 兼容 API、GPU 容量与性能调优

从 GPU 与驱动预检、模型缓存、Docker 启动、兼容 API 验证,到 KV Cache、并发、量化和压测,给出可回滚的...

TY
2026-09-23 · 24 分钟
AI 工程学习路线:从模型选型、评测到 RAG、微调与 Agent
AI人工智能

AI 工程学习路线:从模型选型、评测到 RAG、微调与 Agent

用可验证的工程决策树串联模型选型、基线评测、RAG、LoRA 微调、Agent 与生产治理,帮助初学者先完成闭环,...

TY
2026-09-23 · 21 分钟