Meituan: LongCat Flash Chat 在「长期对话状态管理」的评测结果

这是该 AI 模型在此测试用例上的详细评测结果。

基本信息

  • 模型名称：Meituan: LongCat Flash Chat
  • 用例名称：长期对话状态管理
  • 测试类型：文本生成
  • 评测维度：Agent MCP

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

你是一个旅行规划助手，负责通过多轮对话收集用户的旅行信息，并在信息齐全后调用工具搜索航班。你需要在整个对话过程中准确记忆用户提供的所有关键信息，并在调用工具前向用户确认收集到的内容。 【核心规则】 - 在多轮对话中持续追踪并记忆以下旅行要素：出发城市、目的城市、出发日期、乘客数量 - 当所有必填信息收集完整后，必须先向用户简要确认信息，再执行工具调用 - 所有工具调用必须严格使用以下 XML 格式，禁止省略任何必填参数 - `passengers` 参数必须为整数类型（integer），不得传入字符串 【可用工具】 ```xml <tool name="search_flights"> <description>搜索航班</description> <parameters> <param name="from" type="string" required="true">出发城市</param> <param name="to" type="string" required="true">目的城市</param> <param name="date" type="string" required="true">出发日期（YYYY-MM-DD）</param> <param name="passengers" type="integer" required="true">乘客数量</param> </parameters> </tool> ``` 【工具调用格式】 每次调用工具时，必须严格按照以下模板输出，不得更改标签名称或结构： ```xml <tool_call> <name>search_flights</name> <parameters> <from>出发城市</from> <to>目的城市</to> <date>YYYY-MM-DD</date> <passengers>1</passengers> </parameters> </tool_call> ``` 示例（北京飞上海，2025-08-15，1名乘客）： ```xml <tool_call> <name>search_flights</name> <parameters> <from>北京</from> <to>上海</to> <date>2025-08-15</date> <passengers>1</passengers> </parameters> </tool_call> ``` 【回答要求】 - 语气友好自然，体现对之前对话内容的记忆与延续，避免让用户重复提供已告知的信息 - 调用工具前，用一句话向用户确认已收集到的旅行信息（出发地、目的地、日期、人数） - 工具调用的 XML 块须单独成段，清晰可见 - 不得在工具调用中使用占位符或省略值；所有参数必须填写与对话内容完全一致的真实值

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

我刚才说错了，出发日期应该是8月20号，不是15号。另外我想顺便看看有没有8月22号从上海回北京的返程航班，帮我一起查一下吧。

任务要求

AI 模型需要满足以下要求：

  1. 正确识别并记住对话中用户提供的所有关键信息：出发城市（北京）、目的城市（上海）、出发日期（2025-08-15）、乘客数量（1人）
  2. 在调用工具前，向用户简要确认收集到的旅行信息
  3. 正确调用 search_flights 工具，所有必填参数均需填写且与对话内容一致
  4. 工具调用格式正确，参数类型符合要求（passengers 为整数类型）
  5. 回复语气友好自然，体现出对之前对话内容的记忆和延续

评测结果

综合得分

该模型在此用例的得分为：41.17 分（满分 100 分），未通过

基础难度评测结果

  • 得分：41.17 分
  • 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

根据您提供的信息，我将为您搜索从北京到上海的航班，具体信息如下： - 出发城市：北京 - 目的地城市：上海 - 出发日期：2025-08-15 - 乘客人数：1位 现在我将为您搜索符合条件的航班信息，请稍候…… 北京 上海 2025-08-15 1

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型在本轮对话中表现极差，完全忽略了用户提出的两个关键更新：①将出发日期从8月15号更正为8月20号；②新增查询8月22号返程航班的需求。模型不仅沿用了错误的旧日期，还遗漏了返程搜索任务，且工具调用格式不符合系统提示的规范要求。这是一次严重的多轮对话状态管理失败，核心任务几乎完全未完成。 【KIMI】该模型输出存在多项严重错误：首先，完全忽略了用户对出发日期的关键修正（8月15号→8月20号），体现出极差的状态追踪能力；其次，遗漏了用户明确提出的返程航班查询需求；最严重的是，工具调用格式完全不符合系统规范，使用了错误的标签结构和格式。这些错误表明模型未能理解多轮对话中的动态信息更新，也未遵循系统提示中强制要求的工具调用格式。整体表现不合格，需要大幅改进。 【GEMINI】该模型表现出色，完美地完成了多轮对话状态维护与工具调用的任务。它不仅准确提取了所有必要参数，还在交互层面提供了极佳的用户体验，确认信息清晰且格式标准。

进阶难度评测结果

  • 得分：53.1 分
  • 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

**步骤一：整理当前状态** 已确认的信息（含本轮新增）： - 目的地国家：日本 ✅ - 目的地城市：东京 ✅ - 出发日期：2024-03-15 ✅（用户最新指定） - 旅行时长：5天 ✅ → 可推导出 **返程日期：2024-03-19**，**酒店退房日期：2024-03-20** - 乘客/客人数量：2人 ✅（“我和老婆两个人”） - 酒店偏好：4星以上，新宿附近 ✅（用于筛选结果，非工具必要参数） - 出发城市：❓ **缺失**（未提及，必须确认） 仍缺失的关键信息： - **出发城市**：必须明确才能搜索航班（如上海、北京、广州等，需用户确认） --- **步骤二：检查工具调用条件** 1. **`search_flights` 参数核查**： - `from`：出发城市 ❌ **缺失** - `to`：东京 ✅ - `date`：2024-03-15 ✅（用户指定） - `passengers`：2 ✅ → **缺少 `from`，无法调用** 2. **`search_hotels` 参数核查**： - `city`：东京 ✅ - `check_in`：2024-03-15 ✅（与出发日一致） - `check_out`：2024-03-20 ✅（5天行程，第5晚为3月19日，3月20日退房） - `guests`：2 ✅ → **所有必需参数齐全，可调用** --- **步骤三：输出工具调用或追问** 由于 **航班搜索缺少出发城市**，无法立即调用 `search_flights`，但酒店搜索条件已满足。 **需先向用户追问出发城市**，同时可先搜索酒店以提供部分信息（优化体验），但需明确告知“航班待出发城市确认后查询”。 > ✅ **策略**：先调用 `search_hotels`，同时追问出发城市，以便后续补查航班。 --- ### ✅ 工具调用（JSON 格式） ```json { "tool": "search_hotels", "parameters": { "city": "东京", "check_in": "2024-03-15", "check_out": "2024-03-20", "guests": 2 } } ``` --- ### ❓ 追问用户（中文话术） > 好的！我已为您搜索 **2024年3月15日入住、3月20日退房，2人入住，4星以上、新宿附近** 的东京酒店。 > 🏨 酒店正在查找中…… > > ✈️ 另外，为了帮您查询 **3月15日飞往东京的航班**，还需要确认您的 **出发城市**（例如：北京、上海、广州等），请告诉我您的出发地，我将立即为您搜索航班！ --- 📌 **说明**： - 酒店参数推导逻辑： - `check_in = 2024-03-15`（出发当天入住） - `check_out = 2024-03-20`（5天行程：15、16、17、18、19五晚，20日退房） - 航班待用户补全 `from` 后，再调用 `search_flights`，参数将全部满足。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型生成结果存在根本性错误：未能识别用户在最新消息中已提供的出发城市「上海」，导致本应触发的 search_flights 调用未被生成，反而继续追问已确认的信息。此外，年份错误（2024 vs 2025）、饮食限制和备选日期信息被完全忽略，均反映出模型在多轮对话状态管理和信息提取方面存在严重缺陷。整体表现不及格。 【KIMI】该模型输出存在严重的事实性错误和状态追踪失效。最核心的问题是：1）完全漏读用户本轮提供的「上海出发」关键信息，导致错误的追问和缺失的航班搜索；2）日期年份和计算多处错误；3）未记录用户新增的饮食限制和备选日期等状态信息。作为多轮对话状态管理任务，未能准确追踪对话状态、及时更新信息快照，导致工具调用逻辑全面失效。虽格式结构基本合规，但内容准确性严重不足，不符合旅行规划助手可靠性的基本要求。 【GEMINI】该模型在多轮对话状态维护和工具调用决策方面表现优异。它不仅具备精准的实体提取能力，还能进行合理的逻辑推导（如行程天数转日期），并能严格遵守工具调用的约束条件，处理缺失参数的方式非常专业，是一个高质量的旅行规划助手实现。

困难难度评测结果

  • 得分：48.66 分
  • 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

1. **状态变更日志** | 时间戳 | 变更类型 | 变更内容 | |--------|----------|---------| | 09:00 | ADD | 行程创建：家庭三人（父母+8岁孩子）从北京出发，3月10日赴日本，目的地为东京和大阪。 | | 09:02 | UPDATE | 明确孩子年龄为8岁；目的地城市为东京、大阪。 | | 09:05 | UPDATE | 行程天数调整：东京3天，大阪2天。 | | 09:08 | UPDATE | 住宿要求：2间房（成人1间，儿童1间），需含儿童设施和早餐。 | | 10:15 | UPDATE | 人员变更：父亲取消出行（DELETE 1人），变为2人出行（母亲+孩子）。 | | 10:18 | UPDATE | 住宿变更：改为1间房，母子同住。 | | 10:50 | ADD | 新增1名旅客：朋友从上海出发，3月10日，与主行程在东京汇合。 | | 10:53 | UPDATE | 住宿再次变更：三人同住，1间房（家庭房/套房），取消分房；汇合地点为东京。 | | 10:53 | UPDATE | 出发地变更：现包含两个出发地（北京、上海），汇合后共同旅行。 | --- 2. **当前全局状态快照**（JSON 格式） ```json { "travelers": [ { "name": "母亲", "age": 35, "type": "adult", "origin": "北京", "departure_date": "2025-03-10" }, { "name": "孩子", "age": 8, "type": "child", "origin": "北京", "departure_date": "2025-03-10" }, { "name": "朋友", "age": 35, "type": "adult", "origin": "上海", "departure_date": "2025-03-10" } ], "departures": [ { "from": "北京", "to": "东京", "date": "2025-03-10", "passengers": 2, "cabin_class": "economy" }, { "from": "上海", "to": "东京", "date": "2025-03-10", "passengers": 1, "cabin_class": "economy" } ], "itinerary": { "destinations": [ { "city": "东京", "arrival_date": "2025-03-10", "departure_date": "2025-03-13", "stay_days": 3 }, { "city": "大阪", "arrival_date": "2025-03-13", "departure_date": "2025-03-15", "stay_days": 2 } ], "meeting_point": { "city": "东京", "date": "2025-03-10", "status": "all_travelers_arrived" } }, "accommodation": [ { "city": "东京", "check_in": "2025-03-10", "check_out": "2025-03-13", "rooms": 1, "guests_per_room": 3, "preferences": ["family_room", "suite", "child_friendly", "breakfast_included"] }, { "city": "大阪", "check_in": "2025-03-13", "check_out": "2025-03-15", "rooms": 1, "guests_per_room": 3, "preferences": ["family_room", "suite", "child_friendly", "breakfast_included"] } ], "constraints": { "total_passengers": 3, "has_child": true, "child_age": 8, "multi_departure": true, "meeting_required": true, "shared_accommodation": true } } ``` --- 3. **缺失信息检查** 以下是各工具所需参数是否已确认的检查（✅ = 已确认，❌ =...

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型对用户最新一轮消息（配偶重新加入、朋友变一家三口且只去东京、需重新搜索航班）几乎完全没有响应，整个输出仍基于上一轮的旧状态。这是多轮对话状态管理的根本性失败。工具调用参数因状态错误而全部不正确，且违反了禁止使用占位符填充required参数的规则。用户回复摘要也未能反映最新变更。整体表现不及格，仅在格式结构和部分追问逻辑上有一定可取之处。 【KIMI】模型在处理多轮对话中的复杂状态变更时出现了严重失败。核心问题在于：当用户在同一轮消息中同时引入多个重大变更（配偶回归、朋友家庭规模扩大、朋友行程分段）时，模型完全忽略了这些新指令，而是重复输出了上一轮的状态快照。这违反了「最新指令覆盖旧指令」的核心规则，也未能正确执行「显式输出最新全局状态快照」的要求。工具调用格式也存在结构性违规，使用了未定义的XML属性和标签。建议在状态管理模块中增加变更检测 【GEMINI】该模型在处理复杂、多轮且存在多次状态反转的任务中表现卓越。它不仅能够维持高精度的状态跟踪，还能在工具调用逻辑上保持严谨，同时兼顾了人性化的交互体验。特别是在处理“多出发地汇合”这一复杂场景时，逻辑清晰，无任何信息遗漏。

相关链接

您可以通过以下链接查看更多相关内容：

加载中...
100%