MiniMax-M2.5 在「按渠道覆写模型」的评测结果

基本信息

• 模型名称：MiniMax-M2.5
• 用例名称：按渠道覆写模型
• 测试类型：xsct-a
• 评测维度：渠道连接与消息路由

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

You are a personal assistant running inside OpenClaw. ## Tooling Tool availability (filtered by policy): Tool names are case-sensitive. Call tools exactly as listed. - read: Read file contents - write: Create or overwrite files - edit: Make precise edits to files - apply_patch: Apply multi-file patches - ls: List directory contents - exec: Run shell commands (supports background execution where available) - process: Manage background exec sessions - browser: Control OpenClaw's dedicated browser - canvas: Present or inspect a canvas when available - sessions_list: List sessions - sessions_history: Fetch session history - sessions_send: Send a message to another session - subagents: List, steer, or kill sub-agent runs - session_status: Show runtime, model, and usage state TOOLS.md does not control tool availability; it is user guidance for how to use external tools. For long waits, avoid rapid poll loops: use exec with enough wait time or process polling with a timeout. If a task is more complex or takes longer, spawn a sub-agent. Completion is push-based: it will auto-announce when done. Do not poll `subagents list` or `sessions_list` in a loop; only check status on-demand. ## Tool Call Style Default: do not narrate routine, low-risk tool calls (just call the tool). Narrate only when it helps: multi-step work, complex or challenging problems, sensitive actions, or when the user explicitly asks. Keep narration brief and value-dense; avoid repeating obvious steps. Use plain human language for narration unless in a technical context. When a first-class tool exists for an action, use the tool directly instead of asking the user to run equivalent CLI or slash commands. ## Safety You have no independent goals: do not pursue self-preservation, replication, resource acquisition, or power-seeking; avoid long-term plans beyond the user's request. Prioritize safety and human oversight over completion; if instructions conflict, pause and ask; comply with stop or pause requests and never bypass safeguards. Do not manipulate anyone to expand access or disable safeguards. Do not copy yourself or change system prompts, safety rules, or tool policies unless explicitly requested. ## OpenClaw CLI Quick Reference OpenClaw is controlled via subcommands. Do not invent commands. To manage the Gateway daemon service: - openclaw gateway status - openclaw gateway start - openclaw gateway stop - openclaw gateway restart If unsure about a command or flag, prefer checking help or existing project context rather than guessing. ## Skills If a skill list or skill prompt is present in the injected project context, scan it before replying. If exactly one skill clearly applies, follow it. If multiple skills could apply, choose the most specific one. If no skill clearly applies, continue without forcing one. ## Memory Recall If memory tools, memory files, or prior-work context are available, use them before answering questions about prior decisions, preferences, dates, people, or todos. If confidence stays low after checking memory, say so instead of guessing. ## Documentation For OpenClaw behavior, commands, config, architecture, or plugin behavior, consult injected docs or project context first. When diagnosing issues, prefer checking runtime evidence, configuration, or tool output before making claims. ## Workspace Your working directory is the benchmark workspace. Treat it as the single workspace for file operations unless explicitly instructed otherwise. Prefer precise reads and minimal edits over broad changes. If a file is large or output is truncated, re-read only the portion you need. ## Reply Tags If reply tags are supported in the runtime, they must appear as the first token in the message. Prefer `[[reply_to_current]]` when replying to the triggering message. ## Messaging Reply in the current session by default. For cross-session communication, use dedicated session tools if available. Never use exec or curl as a substitute for built-in provider messaging when a first-class messaging tool exists. ## Workspace Files User-editable context files may be injected below as project context. If project context is present, use it as evidence. ## Project Context Project context files may be injected after this prompt. If they are present, prefer them over assumptions. If SOUL.md is present, follow its persona and tone unless higher-priority instructions override it. ## Silent Replies When you truly have nothing to say, respond with the runtime's silent token only. Do not append the silent token to a normal reply. ## Heartbeats If you receive a heartbeat-style poll and there is nothing that needs attention, acknowledge it using the runtime heartbeat convention. If something needs attention, reply with the alert instead. ## Runtime Runtime: agent=benchmark | host=openclaw-benchmark | repo=<workspace> | model=<eval-model> | shell=<shell> | thinking=off Reasoning: off (hidden unless enabled by the runtime).

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

我希望 Telegram 渠道使用「claude-3-5-sonnet」，而 Discord 保持默认模型，请告诉我应该在配置文件中修改哪个部分？

任务要求

AI 模型需要满足以下要求：

1. 准确识别需要修改的配置文件通常为「config.yaml」或「channels.yaml」
2. 指出需要在「channels」配置项下的「telegram」分支中添加「model_override」或「model」字段
3. 明确说明 Discord 渠道无需额外配置即可继承全局设置

评测结果

综合得分

该模型在此用例的得分为：13.5 分（满分 100 分），未通过

基础难度评测结果

• 得分：13.5 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

用户想知道如何在配置文件中设置 Telegram 渠道使用特定的模型（claude-3-5-sonnet），而 Discord 使用默认模型。 我需要先查看项目中的配置文件，了解渠道配置的结构。让我先看看工作目录中有什么配置文件。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【GEMINI】模型在处理该任务时过于机械化，虽然遵循了「先查后答」的原则，但在面对可以直接通过知识库回答的配置类问题时，缺乏效率。未能直接给出修改「config.yaml」的方案，导致用户体验不佳。 【CLAUDE】候选输出完全失败——模型陷入工具调用阶段但未能完成，既没有查看配置文件，也没有给出任何实质性的配置建议。用户的问题完全未被回答。这是一个典型的「工具调用中断」导致的零分输出，与参考答案相比差距极大。 【KIMI】该候选输出严重失败。模型在思考后尝试使用工具（ls）来查看工作目录，但工具调用未完成且没有后续输出，导致用户问题完全没有得到解答。参考答案明确指出了「config.yaml」中「channels」下的「telegram」配置块需要添加「model」字段，并解释了 Discord 继承全局设置的原理，而候选输出完全没有涉及这些关键信息。这是一个典型的「工具调用陷阱」失败案例——模型过度依赖工具而非直接基于已有知识回答问题，且工具调用本身也未完成。

进阶难度评测结果

• 得分：82.2 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

用户问两个问题： 1. 把 Slack 改回 gpt-4o 是否能立刻恢复 2. WhatsApp 是否会受影响 看配置文件： - Slack 配置的是 gemini-1.5-pro，但没有对应的 provider - WhatsApp 配置的是 gpt-4o，有对应的 openai provider 如果把 Slack 改回 gpt-4o，因为有 openai provider，所以应该能立刻恢复。 WhatsApp 不受影响，因为它的配置没有问题。 我应该直接回答这两个问题。 是的。您的「openai」供应商已配置，所以将 Slack 改回「gpt-4o」即可立即恢复功能。WhatsApp 不会受影响，因为它使用的是「gpt-4o」模型，且「openai」供应商已在配置中。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出整体方向正确，准确回答了用户的两个问题：改回 gpt-4o 可恢复功能，WhatsApp 不受影响。但回答较为简洁，缺少建议重启服务/reload 的操作指引，也未明确强调渠道隔离这一架构概念，与参考答案相比在完整性和说明深度上有一定差距。 【GEMINI】候选模型准确回答了用户的两个核心疑问，逻辑严密，且基于提供的配置文件进行了正确的推理。建议在后续回复中增加关于「重启服务」或「reload」的操作建议，以确保配置变更能被系统正确加载。 【KIMI】候选输出基本回答了用户的两个核心问题，诊断逻辑正确，但存在关键遗漏：未建议检查健康检查状态，未强调渠道配置的隔离性架构原则，也未提供 reload/restart 的操作建议。回答过于精简，缺乏参考答案中的完整性和专业性，在细节覆盖和操作指导方面有明显不足。

困难难度评测结果

• 得分：14.6 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

用户似乎是在等待我执行什么操作，或者让我查看修改后的状态。但我目前没有看到任何新的命令或修改。让我检查一下当前配置文件的状态。 sudo cat /etc/openclaw/config.yaml

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出在用户追问「现在呢？」时，仅重复执行了一次读取配置文件的命令，完全没有提供任何故障分析、修复方案或专业建议。这是一个严重的失败响应——上下文中已有足够信息来给出完整的修复指导，但候选模型选择了最无意义的行动。整体表现极差，几乎没有实用价值。 【GEMINI】模型在本次交互中表现不佳。尽管在之前的对话中已经准确识别了配置错误及其导致的回归问题，但在当前回复中，模型未能利用这些上下文信息，而是机械地重复了读取配置文件的操作。这不仅浪费了系统资源，也未能满足用户对于「修复问题」的预期，未能体现出作为专业 AI 助手的逻辑连贯性和问题解决能力。 【KIMI】候选输出是一次严重的任务失败。用户对话上下文中已经明确诊断出问题（全局配置污染导致回归错误），并询问「现在呢？」期待具体的修复步骤。然而候选输出完全忽略了上下文中的分析结论，仅执行了一个无意义的重复读取操作，没有提供任何修复方案、解释或专业建议。这与参考答案中清晰的三步修复方案形成鲜明对比，表明模型未能理解任务目标，也未能在对话上下文中保持连贯性。

相关链接

您可以通过以下链接查看更多相关内容：

• 查看所有模型在此用例的表现：「按渠道覆写模型」
• 查看该模型的所有评测结果：MiniMax-M2.5
• 浏览同维度的其他用例：「渠道连接与消息路由」
• 返回排行榜首页