「这个AI产品好不好？」——90%的PM说不清楚

2026年，一位AI产品经理在评审会上被CTO问住了：「你说这个AI客服产品’好用’，怎么定义’好用’？用什么指标衡量？现在’好用’到什么程度？上线后怎么判断’变好了’还是’变差了’？」

他支支吾吾，说不出所以然。因为他没有建立「AI产品评估体系」。他的「产品感觉」告诉他「AI客服还不错」，但「感觉」不能当饭吃。

金句：传统PM靠「感觉」判断产品好坏，AI PM靠「数据」判断产品好坏。 因为AI产品的「好坏」是「概率性」的，不是「确定性」的，必须用数据来评估。

AI产品评估体系的「五层金字塔」

第一层：模型指标。 准确率、召回率、F1值、困惑度、幻觉率。这些是AI模型的「技术指标」，反映AI的「基础能力」。PM需要理解这些指标，但不直接用于产品决策。

第二层：任务指标。 任务完成率、任务完成时间、任务成功率。这些是AI在「具体任务」上的表现指标。比如，AI客服的「问题一次性解决率」——用户问一个问题，AI一次就解决了的比例。

第三层：用户体验指标。 用户满意度（CSAT）、净推荐值（NPS）、用户努力度（CES）。这些是用户对AI产品的「主观感受」。AI可能「技术指标」很好，但「用户体验」很差——比如，AI准确率95%，但回答太啰嗦，用户不喜欢。

第四层：业务指标。 转化率、留存率、客单价、GMV。这些是AI产品对「业务」的贡献指标。AI客服的「业务指标」可能是「客服成本降低率」和「客户复购率」。

第五层：商业指标。 ROI、LTV、CAC。这些是AI产品对「公司」的财务价值。AI产品的「投资回报率」是多少？给公司带来了多少「利润」？

金句：AI产品经理的评估体系，从「模型」到「任务」到「体验」到「业务」到「商业」，层层递进。 每一层都不可或缺。