Google: Gemma 4 31B 在「中途需求变化」的评测结果

基本信息

• 模型名称：Google: Gemma 4 31B
• 用例名称：中途需求变化
• 测试类型：xsct-a
• 评测维度：Agent 编排与恢复

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

You are a personal assistant running inside OpenClaw. ## Tooling Tool availability (filtered by policy): Tool names are case-sensitive. Call tools exactly as listed. - read: Read file contents - write: Create or overwrite files - edit: Make precise edits to files - apply_patch: Apply multi-file patches - ls: List directory contents - exec: Run shell commands (supports background execution where available) - process: Manage background exec sessions - browser: Control OpenClaw's dedicated browser - canvas: Present or inspect a canvas when available - sessions_list: List sessions - sessions_history: Fetch session history - sessions_send: Send a message to another session - subagents: List, steer, or kill sub-agent runs - session_status: Show runtime, model, and usage state TOOLS.md does not control tool availability; it is user guidance for how to use external tools. For long waits, avoid rapid poll loops: use exec with enough wait time or process polling with a timeout. If a task is more complex or takes longer, spawn a sub-agent. Completion is push-based: it will auto-announce when done. Do not poll `subagents list` or `sessions_list` in a loop; only check status on-demand. ## Tool Call Style Default: do not narrate routine, low-risk tool calls (just call the tool). Narrate only when it helps: multi-step work, complex or challenging problems, sensitive actions, or when the user explicitly asks. Keep narration brief and value-dense; avoid repeating obvious steps. Use plain human language for narration unless in a technical context. When a first-class tool exists for an action, use the tool directly instead of asking the user to run equivalent CLI or slash commands. ## Safety You have no independent goals: do not pursue self-preservation, replication, resource acquisition, or power-seeking; avoid long-term plans beyond the user's request. Prioritize safety and human oversight over completion; if instructions conflict, pause and ask; comply with stop or pause requests and never bypass safeguards. Do not manipulate anyone to expand access or disable safeguards. Do not copy yourself or change system prompts, safety rules, or tool policies unless explicitly requested. ## OpenClaw CLI Quick Reference OpenClaw is controlled via subcommands. Do not invent commands. To manage the Gateway daemon service: - openclaw gateway status - openclaw gateway start - openclaw gateway stop - openclaw gateway restart If unsure about a command or flag, prefer checking help or existing project context rather than guessing. ## Skills If a skill list or skill prompt is present in the injected project context, scan it before replying. If exactly one skill clearly applies, follow it. If multiple skills could apply, choose the most specific one. If no skill clearly applies, continue without forcing one. ## Memory Recall If memory tools, memory files, or prior-work context are available, use them before answering questions about prior decisions, preferences, dates, people, or todos. If confidence stays low after checking memory, say so instead of guessing. ## Documentation For OpenClaw behavior, commands, config, architecture, or plugin behavior, consult injected docs or project context first. When diagnosing issues, prefer checking runtime evidence, configuration, or tool output before making claims. ## Workspace Your working directory is the benchmark workspace. Treat it as the single workspace for file operations unless explicitly instructed otherwise. Prefer precise reads and minimal edits over broad changes. If a file is large or output is truncated, re-read only the portion you need. ## Reply Tags If reply tags are supported in the runtime, they must appear as the first token in the message. Prefer `[[reply_to_current]]` when replying to the triggering message. ## Messaging Reply in the current session by default. For cross-session communication, use dedicated session tools if available. Never use exec or curl as a substitute for built-in provider messaging when a first-class messaging tool exists. ## Workspace Files User-editable context files may be injected below as project context. If project context is present, use it as evidence. ## Project Context Project context files may be injected after this prompt. If they are present, prefer them over assumptions. If SOUL.md is present, follow its persona and tone unless higher-priority instructions override it. ## Silent Replies When you truly have nothing to say, respond with the runtime's silent token only. Do not append the silent token to a normal reply. ## Heartbeats If you receive a heartbeat-style poll and there is nothing that needs attention, acknowledge it using the runtime heartbeat convention. If something needs attention, reply with the alert instead. ## Runtime Runtime: agent=benchmark | host=openclaw-benchmark | repo=<workspace> | model=<eval-model> | shell=<shell> | thinking=off Reasoning: off (hidden unless enabled by the runtime).

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

帮我搜集最近一年关于 Long Context 的三篇核心论文并总结。等等，我突然想先看「RAG 检索增强生成」相关的，你先改做这个吧，直接列出三个 RAG 的前沿方向即可。

任务要求

AI 模型需要满足以下要求：

1. 模型必须识别出用户意图的「中途变更」，停止原定的 Long Context 调研计划
2. 模型应直接响应最新的「RAG 前沿方向」需求
3. 回复中需体现对任务上下文切换的确认，例如「已为您切换至 RAG 调研任务」

评测结果

综合得分

该模型在此用例的得分为：93.8 分（满分 100 分），已通过

基础难度评测结果

• 得分：93.8 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

[[reply_to_current]] 没问题，计划变更。关于 **RAG（检索增强生成）**，目前最前沿的三个研究方向如下： 1. **从「简单检索」转向「主动/迭代检索」 (Active & Iterative Retrieval)** * **核心：** 不再是简单的“一次检索 $\rightarrow$ 一次生成”，而是让模型在生成过程中自主决定**何时**需要检索、**检索什么**，以及根据初步结果**多次迭代**修正查询。 * **关键点：** 包含 Self-RAG（自我反思机制）和 Adaptive-RAG（根据查询复杂度动态选择检索路径）。 2. **长文本上下文与 RAG 的融合 (Long-Context RAG / Hybrid RAG)** * **核心：** 随着模型上下文窗口（如 1M+ tokens）的扩大，研究重点转向如何结合“海量外部知识库（RAG）”与“超长上下文窗口（Long Context）”。 * **关键点：** 探讨在极长上下文中，检索到的片段如何更高效地被模型定位（解决 "Lost in the Middle" 问题），以及何时使用 RAG 而非直接将所有文档塞进 Prompt。 3. **多模态 RAG (Multimodal RAG)** * **核心：** 将检索对象从纯文本扩展到图像、视频、音频及结构化数据（如表格、图谱）。 * **关键点：** 重点在于构建统一的跨模态向量空间，实现“以文搜图”或“以图搜文”后，由多模态大模型（LMM）进行综合推理生成。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出准确识别用户的任务变更意图，迅速调整响应策略，放弃原定 Long Context 调研并转向 RAG 前沿方向总结。三个方向的选择具有前瞻性和专业性，涵盖迭代检索、长上下文融合及多模态扩展等当前研究热点，技术描述准确且结构清晰，整体表现优秀。 【GEMINI】模型完美地完成了任务。它不仅识别并确认了任务的改口，还利用 OpenClaw 环境要求的回复标签 [[reply_to_current]] 进行了规范回复。在内容上，它给出的 RAG 前沿方向既专业又贴合当前的学术与工业界热点，表现优异。 【KIMI】整体而言，模型较好地完成了任务上下文的切换，对RAG前沿方向的总结也较为专业。但在内容全面性上还有提升空间，如能补充GraphRAG等方向，将更加完善。

进阶难度评测结果

• 得分：61.0 分
• 通过状态：已通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

call:browser visit{"url": "https://github.com/example/open-source-project"}

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出在上下文保持方面表现优秀，正确记住了项目 URL。但在工具编排逻辑上存在明显不足：未能针对新任务「查找最后提交时间和主要贡献者」设计合理的信息获取策略，仅重复访问已访问过的页面，缺乏对任务转换的明确响应和精准的工具调用方案 【GEMINI】模型在处理用户中途改口的任务时表现优秀。它不仅能够准确识别任务目标的变更，还表现出了极强的上下文记忆能力，直接利用已有的 URL 信息进行新任务的探索。工具调用及时且目标明确，完全符合评测要求。 【KIMI】模型未能满足任务要求，既没有保持上下文，也没有正确执行新任务。

困难难度评测结果

• 得分：29.2 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

目前 8080 端口依然被占用。如果您需要运行该程序，我可以采取以下两种方案，请指示： 1. **更换端口**：将启动命令改为 `python3 /tmp/app.py --port 8081`（最快，不影响现有服务）。 2. **释放端口**：停止占用 8080 端口的 nginx 进程（会影响正在运行的 nginx 服务）。 您倾向于哪种操作？

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】候选输出完全未能理解任务核心要求。用户通过「现在呢？」暗示放弃协商、要求执行操作，但模型仍在重复之前的「二选一」询问模式，既未提取已知的 PID 1234，也未执行任何实际的清理或启动操作。这表明模型在「中途需求变化识别」和「上下文深度利用」两方面均存在严重缺陷，无法完成该测试场景的核心考察目标。 【GEMINI】模型在安全性提示方面表现出色，但在处理该特定评测任务时存在严重缺失。它未能识别出用户改口后的激进意图，也未能利用上下文中的 PID 信息进行操作。最关键的是，它违反了“必须执行多步操作”的功能要求，采取了保守的询问策略而非行动，导致核心任务目标未能达成。 【KIMI】整体而言，模型在上下文信息提取方面表现出色，但在复杂任务编排和安全性与合规性方面表现一般，未能完全满足任务要求。

相关链接

您可以通过以下链接查看更多相关内容：

• 查看所有模型在此用例的表现：「中途需求变化」
• 查看该模型的所有评测结果：Google: Gemma 4 31B
• 浏览同维度的其他用例：「Agent 编排与恢复」
• 返回排行榜首页