POC很容易，生产很难
做一个Function Calling的POC（概念验证），通常只需要一个下午。但把POC变成一个可靠的生产系统，可能需要几个月。
我们访谈了5家已将Function Calling落地到生产环境的企业（包括电商、金融、物流、SaaS和教育），总结了他们在从POC到生产的过程中遇到的10个关键决策。
决策一：模型选择——专用还是通用？
决策：是选择Function Calling能力最强的模型，还是选择性价比最高的模型？
实践：大多数企业选择了"混合策略"——用强模型（Claude 4/GPT-4o）做函数调用决策，用弱模型（DeepSeek-V3/Qwen3）做结果整理和回复生成。这种策略在保证准确率的同时，将成本降低了40-60%。
决策二：函数数量——多还是少？
决策：一个系统应该有几个函数？10个？50个？200个？
实践：函数数量过多，模型选择函数的准确率会下降。实践表明，10-20个函数是甜点区。如果确实需要更多函数，使用"函数分组"——将函数按场景分组，根据用户意图动态加载对应的函数组。
决策三：函数调用的粒度——粗还是细？
决策：是设计一个"万能"的查询函数（query_data），还是设计多个细粒度的函数（get_order、get_user、get_product）？
实践：细粒度函数优于粗粒度函数。模型更容易理解"get_order"而不是"query_data"。但粒度也不宜过细——20个函数 vs 50个函数，模型的准确率差异不大，但维护成本差异巨大。
决策四：安全边界——在哪里划线？
决策：哪些操作可以自动执行？哪些需要人工审批？
实践：大多数企业将操作分为四类：只读操作（自动执行）、低风险写入（自动执行，但需要审计日志）、高风险写入（需要用户确认）、敏感操作（需要管理员审批）。
决策五：对话管理——无状态还是有状态？
决策：是否在服务端维护对话状态？
实践：有状态设计（服务端维护对话历史和上下文）比无状态设计更可靠，但成本更高。大多数企业选择了"轻量级有状态"——服务端只维护关键信息（用户ID、最近5轮对话摘要），其他信息通过prompt传递。
决策六：监控——哪些指标最重要？
决策：应该监控哪些指标？
实践：核心监控指标包括：函数调用准确率（通过抽样人工评估）、函数调用延迟（P50/P95/P99）、函数调用失败率（按错误类型分类）、用户满意度（通过NPS或用户反馈）。
决策七：灰度发布——如何安全上线？
决策：如何保证新版本不会造成灾难性影响？
实践：严格执行灰度发布——5%→20%→50%→100%，每个阶段观察至少24小时。如果关键指标下降超过阈值，自动回滚。
决策八：成本控制——如何避免"天价账单"？
决策：如何控制Function Calling的成本？
实践：设置maximum function calls per conversation（通常为5-10次）；使用缓存减少重复查询；对非关键任务使用更便宜的模型；设置每日成本上限。
决策九：多租户——隔离还是共享？
决策：不同客户的数据和函数是否隔离？
实践：大多数企业选择了逻辑隔离（同一个系统，但通过权限控制实现数据隔离），而不是物理隔离（每个客户独立部署）。只有金融和医疗行业因为合规要求选择了物理隔离。
决策十：持续优化——模型、函数、Prompt的迭代节奏？
决策：多久优化一次？如何评估优化效果？
实践：每周审查函数调用日志，分析失败案例；每月更新一次函数描述和prompt；每季度评估是否需要更换模型。建立A/B测试框架，确保每次优化都有数据支撑。
总结
Function Calling的落地，技术只是起点。模型选择、安全设计、成本控制、监控告警、持续迭代——这些工程决策才是决定成败的关键。如果你正在做从POC到生产的过渡，希望这10个决策能给你一个参考框架。