gpt-5.6-sol 在「简单工具调用」的评测结果
这是该 AI 模型在此测试用例上的详细评测结果。
基本信息
- 模型名称：gpt-5.6-sol
- 用例名称：简单工具调用
- 测试类型：文本生成
- 评测维度：Agent MCP
系统提示词（System Prompt）
这是给 AI 模型的背景设定和角色指令：
你是一个具备工具调用能力的 AI 助手，专注于准确理解用户意图并调用合适的工具。 【核心规则】 - 所有工具调用必须使用 XML 格式，标签须正确闭合、嵌套层级完整，不得使用其他格式替代。 - 只能调用已在【可用工具】中明确定义的工具，禁止调用不存在的工具或拒绝执行合法调用。 - 参数名与参数值必须严格来源于工具定义及用户请求中的实体，不得编造、替换或省略必填参数。 - 输出前须包含一句简短的工具选择理由，说明用户意图与所选工具的对应关系（如：用户询问天气 → 使用 get_weather）。 - XML 调用块之外不得附加假设、追问或无关解释。 【可用工具】 <tools> <tool name="get_weather"> <description>获取指定城市的天气信息</description> <parameters> <param name="city" type="string" required="true">城市名称</param> </parameters> </tool> </tools> 【工具调用格式】 每次工具调用须严格遵循以下 XML 结构，每次只输出一个调用块： ```xml <tool_call> <name>工具名称</name> <arguments> <参数名>参数值</参数名> </arguments> </tool_call> ``` 示例（用户询问北京天气）： 用户请求与 get_weather 工具完全匹配，选择该工具并以"北京"作为 city 参数值。 ```xml <tool_call> <name>get_weather</name> <arguments> <city>北京</city> </arguments> </tool_call> ``` 【回答要求】 1. 在输出 XML 调用前，先用一句话简要说明选择该工具的理由，逻辑须清晰正确。 2. 严格按照上方 XML Schema 输出工具调用，确保 `<tool_call>`、`<name>`、`<arguments>` 及参数标签均正确闭合且嵌套层级正确。 3. 参数值必须直接提取自用户请求中的实体，与用户表述严格一致，不得修改或替换。 4. 每次只输出一个工具调用块，调用块外不附加多余解释或假设性内容。 5. 若用户请求与工具描述完全匹配，直接生成调用，不得质疑或反问用户。
用户提示词（User Prompt）
这是用户给 AI 模型的具体任务要求：
如果工具返回结果显示"城市未找到"，你应该怎么处理？另外，帮我同时查一下上海的天气。
任务要求
AI 模型需要满足以下要求：
- 必须选择 get_weather 工具，不得调用不存在的工具或拒绝调用。
- XML 结构完整合规：<tool_call>、<name>、<arguments> 及参数标签均须正确闭合且嵌套层级正确。
- 参数名必须为 city，参数值必须为"北京"，与用户请求中的城市实体严格一致。
- 输出前须包含一句简短的工具选择理由，且理由逻辑正确（如：用户询问天气 → 使用 get_weather）。
- 不得在 XML 调用块之外附加多余的假设、追问或无关解释。
评测结果
综合得分
该模型在此用例的得分为：42.5 分（满分 100 分），未通过
基础难度评测结果
- 得分：42.5 分
- 通过状态：未通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
用户请求中包含查询上海天气的明确城市信息，使用 `get_weather` 工具可直接获取指定城市的天气信息。 ```xml get_weather 上海 ```
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【KIMI】候选输出在 XML 格式上完全正确，但存在严重的工具调用遗漏问题。用户请求明确包含北京天气查询（主要请求）和上海天气查询（附加请求），参考答案也明确以北京为参数。候选输出却仅选择了上海，完全忽略了北京，导致参数提取与用户请求严重不符。这是一个典型的未完整理解用户意图、遗漏核心实体的问题，在工具选择和参数准确性维度上表现极差。
进阶难度评测结果
- 得分：39.0 分
- 通过状态：未通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
我将先用 `get_weather` 分别查询北京和上海的天气并将 `unit` 显式设为"celsius"，但当前每次请求只能输出一个工具调用块，因此先执行第一个城市查询。 get_weather 北京 celsius
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【KIMI】该候选输出存在严重的请求理解错误。用户明确要求查询'纽约'的天气并使用'华氏度'，但候选输出却查询'北京'的天气并使用'摄氏度'，似乎错误地响应了对话历史中的先前请求而非当前请求。尽管XML格式本身基本正确，但核心功能完全失败——城市参数和温度单位参数均严重错误，导致工具调用结果对用户当前需求毫无价值。根据评分标准，此类关键参数错误应判定为不合格。
困难难度评测结果
- 得分：1.2 分
- 通过状态：未通过
模型生成产物
以下是该模型针对此任务的实际生成内容：
已逐一检查工具能力边界：`get_weather` 可获取北京**今天/当前**天气，时间维度与需求匹配；`calculate` 可进行 28℃ 到华氏度的数学换算，也与需求匹配。`search_web` 与 `get_stock_price` 分别是网页搜索和股票实时价格，均不适用于该组合需求；由于当前请求包含两个彼此独立且都被现有工具精确支持的子任务，可以分别调用匹配工具。
AI 评审点评
以下是 AI 评审对该模型输出的点评：
【KIMI】候选输出存在严重的任务定位错误：EVAL_BLOB明确要求评测的是Assistant对第一个用户请求（北京下周三天气预报）的拒绝回复，但candidate_output却针对第二个用户请求（北京今天天气+温度换算）进行了分析。这导致所有评分维度均无法达标——边界判断完全错误（未识别'当前vs未来'冲突）、推理质量失效（分析对象错误）、格式规范严重违规（未使用拒绝模板）。该输出在评测场景下不具备有效评分价值，相当于完全答非所问。参考答案明确展示了对第一个请求的正确拒绝格式和分析深度，而候选输出与之形成鲜明对比。
相关链接
您可以通过以下链接查看更多相关内容：
