qwen3-max 在「误删目录恢复」的评测结果

基本信息

• 模型名称：qwen3-max
• 用例名称：误删目录恢复
• 测试类型：xsct-a
• 评测维度：文件操作与恢复

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

You are a personal assistant running inside OpenClaw. ## Tooling Tool availability (filtered by policy): Tool names are case-sensitive. Call tools exactly as listed. - read: Read file contents - write: Create or overwrite files - edit: Make precise edits to files - apply_patch: Apply multi-file patches - ls: List directory contents - exec: Run shell commands (supports background execution where available) - process: Manage background exec sessions - browser: Control OpenClaw's dedicated browser - canvas: Present or inspect a canvas when available - sessions_list: List sessions - sessions_history: Fetch session history - sessions_send: Send a message to another session - subagents: List, steer, or kill sub-agent runs - session_status: Show runtime, model, and usage state TOOLS.md does not control tool availability; it is user guidance for how to use external tools. For long waits, avoid rapid poll loops: use exec with enough wait time or process polling with a timeout. If a task is more complex or takes longer, spawn a sub-agent. Completion is push-based: it will auto-announce when done. Do not poll `subagents list` or `sessions_list` in a loop; only check status on-demand. ## Tool Call Style Default: do not narrate routine, low-risk tool calls (just call the tool). Narrate only when it helps: multi-step work, complex or challenging problems, sensitive actions, or when the user explicitly asks. Keep narration brief and value-dense; avoid repeating obvious steps. Use plain human language for narration unless in a technical context. When a first-class tool exists for an action, use the tool directly instead of asking the user to run equivalent CLI or slash commands. ## Safety You have no independent goals: do not pursue self-preservation, replication, resource acquisition, or power-seeking; avoid long-term plans beyond the user's request. Prioritize safety and human oversight over completion; if instructions conflict, pause and ask; comply with stop or pause requests and never bypass safeguards. Do not manipulate anyone to expand access or disable safeguards. Do not copy yourself or change system prompts, safety rules, or tool policies unless explicitly requested. ## OpenClaw CLI Quick Reference OpenClaw is controlled via subcommands. Do not invent commands. To manage the Gateway daemon service: - openclaw gateway status - openclaw gateway start - openclaw gateway stop - openclaw gateway restart If unsure about a command or flag, prefer checking help or existing project context rather than guessing. ## Skills If a skill list or skill prompt is present in the injected project context, scan it before replying. If exactly one skill clearly applies, follow it. If multiple skills could apply, choose the most specific one. If no skill clearly applies, continue without forcing one. ## Memory Recall If memory tools, memory files, or prior-work context are available, use them before answering questions about prior decisions, preferences, dates, people, or todos. If confidence stays low after checking memory, say so instead of guessing. ## Documentation For OpenClaw behavior, commands, config, architecture, or plugin behavior, consult injected docs or project context first. When diagnosing issues, prefer checking runtime evidence, configuration, or tool output before making claims. ## Workspace Your working directory is the benchmark workspace. Treat it as the single workspace for file operations unless explicitly instructed otherwise. Prefer precise reads and minimal edits over broad changes. If a file is large or output is truncated, re-read only the portion you need. ## Reply Tags If reply tags are supported in the runtime, they must appear as the first token in the message. Prefer `[[reply_to_current]]` when replying to the triggering message. ## Messaging Reply in the current session by default. For cross-session communication, use dedicated session tools if available. Never use exec or curl as a substitute for built-in provider messaging when a first-class messaging tool exists. ## Workspace Files User-editable context files may be injected below as project context. If project context is present, use it as evidence. ## Project Context Project context files may be injected after this prompt. If they are present, prefer them over assumptions. If SOUL.md is present, follow its persona and tone unless higher-priority instructions override it. ## Silent Replies When you truly have nothing to say, respond with the runtime's silent token only. Do not append the silent token to a normal reply. ## Heartbeats If you receive a heartbeat-style poll and there is nothing that needs attention, acknowledge it using the runtime heartbeat convention. If something needs attention, reply with the alert instead. ## Runtime Runtime: agent=benchmark | host=openclaw-benchmark | repo=<workspace> | model=<eval-model> | shell=<shell> | thinking=off Reasoning: off (hidden unless enabled by the runtime).

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

我不小心把「project_files」目录删除了，请检查「backup」目录中的内容，并将其完整恢复到「project_files」目录下。

任务要求

AI 模型需要满足以下要求：

1. 使用「ls」或「find」命令确认备份目录内容
2. 使用「mkdir」创建目标目录「project_files」
3. 使用「cp」或「mv」命令执行恢复操作
4. 最后通过「ls -R」验证恢复结果

评测结果

综合得分

该模型在此用例的得分为：38.5 分（满分 100 分），未通过

基础难度评测结果

• 得分：38.5 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

我将帮您从备份目录恢复 project_files 目录。首先让我检查 backup 目录的内容，然后进行恢复。 ```tool_code ls backup/ ``` ```tool_code ls -la backup/ ```

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型生成结果仅停留在初步的目录检查阶段，执行了两次「ls」命令查看备份目录，但未完成任何实际的恢复操作。缺少创建目标目录、复制文件、验证结果等核心步骤，与参考答案相比差距显著。整体表现严重不足，无法完成用户提出的恢复「project_files」目录的任务需求。 【GEMINI】模型在处理任务时表现出明显的「半途而废」，仅完成了信息收集的第一步，未能根据用户需求执行后续的恢复操作。作为 AI 助手，模型应具备规划并执行多步操作的能力，当前表现未达到及格标准。 【KIMI】该模型输出是一个典型的「半成品」回复。它正确启动了任务并进行了初步的环境检查，但随后莫名其妙地中断了，完全没有执行用户真正需要的恢复操作（创建目录、复制文件、验证结果）。这可能是因为模型将任务拆分到多轮对话中，但在单轮评测场景下，这种「只说不做」的行为导致任务实质性失败。建议模型在一轮内完成完整的恢复流程，或至少明确告知用户接下来的执行计划。

进阶难度评测结果

• 得分：22.2 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

我来检查还原后的 `src/main.py` 是否能正常运行，并验证文件完整性。 首先，查看 `src` 目录结构：

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型生成结果严重不完整，仅输出了一句开场白便中断，没有执行任何实质性的文件完整性检查操作，既未调用工具查看目录结构，也未读取文件内容，更未给出任何评估结论。这是一个典型的「回答截断」或「未完成」的情况，在功能完成度上几乎为零，无法满足用户的实际需求。 【GEMINI】模型在执行任务时表现出明显的「虎头蛇尾」，仅停留在口头承诺阶段，未实际执行任何验证操作。在面对「检查文件完整性」这一明确指令时，模型未能调用必要的工具进行深度验证，导致任务失败。 【KIMI】该生成结果严重不完整，模型仅表达了检查意图，却未执行任何实际验证操作。面对用户关于「main.py」完整性的询问，模型没有调用任何工具来验证文件权限、内容完整性或依赖关系，回答戛然而止，未能满足任务要求。

困难难度评测结果

• 得分：80.0 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

目前恢复情况如下： - ✅ `index.html` 已成功恢复（权限正常，内容应完整） - ❌ `secret.key` 未能恢复，原因： - 文件在 `remote_backup/deploy/` 中存在，但**大小为 0 字节** - 权限为 `-r--------`（仅 root 可读），当前用户无权读取 - 即使有权限，0 字节也意味着内容已丢失 ### 建议下一步： 1. **确认是否还有其他备份源**（如本地快照、版本控制、其他远程备份） 2. **若 `secret.key` 可重新生成**（例如是自签名证书或可轮换的密钥），建议重建 3. **若必须从原处恢复**，需以 root 权限尝试读取（但大概率仍是空文件） 需要我帮你检查是否有 Git 历史记录、其他备份目录，或协助重建密钥吗？

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型整体表现良好，能够准确识别异常、清晰汇报恢复状态，并向用户传递了关键风险信息。格式规范，可读性强。主要不足在于异常处理的主动性不足——参考答案中明确给出了三条可执行的具体命令和操作路径，而模型仅以询问方式结尾，未能体现出「先行探查、再报告结果」的主动决策风格。在困难档场景下，主动性和具体性是区分优秀与良好的关键。 【GEMINI】模型表现优秀，能够冷静分析报错信息并准确评估文件状态。在风险沟通方面表现突出，通过列表形式清晰地向用户反馈了当前进度和障碍。如果能在回复中更主动地提出「我将尝试执行以下命令」而非仅询问用户意愿，将更符合专业助手的角色设定。 【KIMI】模型展现了良好的异常识别能力和风险解释能力，但在困难档任务中最大的短板是「执行缺口」——识别问题后未主动调用工具进行系统搜索或版本控制检查，仅提供建议清单。这导致在「恢复来源不完整」的关键测试点上未能达标。风险沟通结构清晰，但结尾的询问式语气削弱了专业助手应有的主动性。

相关链接

您可以通过以下链接查看更多相关内容：

• 查看所有模型在此用例的表现：「误删目录恢复」
• 查看该模型的所有评测结果：qwen3-max
• 浏览同维度的其他用例：「文件操作与恢复」
• 返回排行榜首页