别先追最新models，先算账
我见过最常见的坑：团队一上来就选最贵的大模型，跑了两周发现，80%的请求只是改写标题、提取字段、归类标签。用顶配去干杂活，像开跑车送外卖，爽是爽，账单也很爽。
实操里我会先把任务分成三档：轻任务用小模型，比如分类、摘要、格式转换；中任务用通用模型，比如客服问答、文案初稿；重任务才交给推理能力强的models，比如复杂代码审查、法律条款比对、多步规划。这样拆完，成本通常能降30%到70%。别问我怎么知道的，账单教过我做人。
models怎么选才不踩坑
models不是越新越强，很多项目翻车，问题出在选型顺序错了。老手一般不先看榜单，而是先拆任务：要速度、要便宜、要稳定，还是要推理深度。把这几件事捋清，后面少烧一半预算。
选models看这5个硬指标
别只看宣传页上的“强大”“领先”。我会盯5个数：输入价格、输出价格、上下文长度、平均响应时间、失败率。尤其是输出价格，很多人只看输入便宜，结果模型话多，输出token哗哗涨，一个月多花几千块很正常。
举个简单例子：客服机器人每天1万次对话，每次平均输入800 tokens、输出300 tokens。只要单价差一点，月账单就能差出一台新手机。选models时，别拿一句prompt试效果，要拿真实业务里的50条脏数据测：错别字、半句话、用户骂人、表格粘贴、超长输入，全塞进去。干净样本测不出真本事。
我的三层模型路由法
别把所有请求都扔给同一个模型。靠谱做法是做“路由”：简单请求走便宜模型，拿不准的请求升级，关键请求再走强模型复核。这个办法不高级，但特别管用。
我常用的规则很土：输入少于300字、只要求分类或抽取，走轻量模型；涉及金额、合同、医疗、代码部署，强制走高等级models；如果回答置信度低，或者出现“无法判断”“可能”这类词，就触发二次校验。别迷信单模型全能，生产环境讲的是稳。
prompt比models更容易被低估
很多人换了三四个模型，效果还是飘，根子其实在prompt。一个糊成一团的指令，再强的模型也只能猜。我的习惯是把prompt写成工单：角色、输入格式、输出格式、禁止事项、例子、兜底策略，一个都别省。
比如做商品标题清洗，不要写“优化这个标题”。要写清楚：保留品牌、型号、容量；删除夸张词；中文输出；不超过28字；缺失字段不要编。再给2个正例、1个反例。你会发现，换models之前，先把指令写硬，效果经常已经够用了。
上线前别忘了这张避坑清单
上线前我会做一张很笨的表：20条正常输入、20条边界输入、10条恶意输入、10条空输入或乱码。每条都记录模型回答、耗时、token数、是否可接受。别嫌麻烦，这60条样本能提前抓出一堆线上事故。
还有个小窍门：把失败案例单独建库。每次模型答错，不要只改当前prompt，要把这条加入回归测试。后面换models、调参数、改路由，都跑一遍。没有失败样本库，团队会反复踩同一个坑，还以为是模型“突然变笨”。
什么时候该换models
别因为一次回答差就换。真正该换的信号有三个：同类错误连续出现，成本超过预算20%以上，延迟影响用户操作。比如用户点按钮后等8秒，哪怕答案再好，体验也崩了。
换之前先做AB测试：同一批100条真实请求，旧模型和新模型同时跑，人工只看输出，不看名字。评分维度别太多，准确、可用、废话少、格式稳，四项够了。新models如果只在演示样本里赢，别急着迁移。生产环境不吃PPT。
常见问题
models怎么选最适合自己的项目？
先列任务类型，不要先看排行榜。分类、提取、改写用轻量模型；客服、内容生成用通用模型；合同、代码、复杂推理用高等级模型。拿50到100条真实数据测试成本、速度和错误率，再决定。
小模型真的能替代大模型吗？
能替代一部分。像标签分类、固定格式抽取、标题清洗，小模型常常够用。涉及多步推理、强逻辑、专业判断时别硬省，错误成本可能比调用费贵得多。
为什么同一个prompt换模型后效果变差？
不同模型对指令的理解习惯不一样。有的更听格式，有的更容易自由发挥。换模型时要重新测输出格式、边界输入和拒答策略，不要直接搬旧prompt上线。
models上线后要监控哪些数据？
至少看5个：平均延迟、P95延迟、单次成本、格式错误率、人工投诉率。只看调用成功率没用，模型成功返回一段废话，系统也会显示成功。
预算有限该怎么用models更省钱？
做路由和缓存。重复问题直接走缓存，简单任务走便宜模型，关键结果再用强模型复核。很多业务里，20%的复杂请求吃掉80%的成本，把这部分管住最有效。