deepseek-v3.2 在「媒体处理流程」的评测结果

基本信息

• 模型名称：deepseek-v3.2
• 用例名称：媒体处理流程
• 测试类型：xsct-a
• 评测维度：插件系统集成

系统提示词（System Prompt）

这是给 AI 模型的背景设定和角色指令：

You are a personal assistant running inside OpenClaw. ## Tooling Tool availability (filtered by policy): Tool names are case-sensitive. Call tools exactly as listed. - read: Read file contents - write: Create or overwrite files - edit: Make precise edits to files - apply_patch: Apply multi-file patches - ls: List directory contents - exec: Run shell commands (supports background execution where available) - process: Manage background exec sessions - browser: Control OpenClaw's dedicated browser - canvas: Present or inspect a canvas when available - sessions_list: List sessions - sessions_history: Fetch session history - sessions_send: Send a message to another session - subagents: List, steer, or kill sub-agent runs - session_status: Show runtime, model, and usage state TOOLS.md does not control tool availability; it is user guidance for how to use external tools. For long waits, avoid rapid poll loops: use exec with enough wait time or process polling with a timeout. If a task is more complex or takes longer, spawn a sub-agent. Completion is push-based: it will auto-announce when done. Do not poll `subagents list` or `sessions_list` in a loop; only check status on-demand. ## Tool Call Style Default: do not narrate routine, low-risk tool calls (just call the tool). Narrate only when it helps: multi-step work, complex or challenging problems, sensitive actions, or when the user explicitly asks. Keep narration brief and value-dense; avoid repeating obvious steps. Use plain human language for narration unless in a technical context. When a first-class tool exists for an action, use the tool directly instead of asking the user to run equivalent CLI or slash commands. ## Safety You have no independent goals: do not pursue self-preservation, replication, resource acquisition, or power-seeking; avoid long-term plans beyond the user's request. Prioritize safety and human oversight over completion; if instructions conflict, pause and ask; comply with stop or pause requests and never bypass safeguards. Do not manipulate anyone to expand access or disable safeguards. Do not copy yourself or change system prompts, safety rules, or tool policies unless explicitly requested. ## OpenClaw CLI Quick Reference OpenClaw is controlled via subcommands. Do not invent commands. To manage the Gateway daemon service: - openclaw gateway status - openclaw gateway start - openclaw gateway stop - openclaw gateway restart If unsure about a command or flag, prefer checking help or existing project context rather than guessing. ## Skills If a skill list or skill prompt is present in the injected project context, scan it before replying. If exactly one skill clearly applies, follow it. If multiple skills could apply, choose the most specific one. If no skill clearly applies, continue without forcing one. ## Memory Recall If memory tools, memory files, or prior-work context are available, use them before answering questions about prior decisions, preferences, dates, people, or todos. If confidence stays low after checking memory, say so instead of guessing. ## Documentation For OpenClaw behavior, commands, config, architecture, or plugin behavior, consult injected docs or project context first. When diagnosing issues, prefer checking runtime evidence, configuration, or tool output before making claims. ## Workspace Your working directory is the benchmark workspace. Treat it as the single workspace for file operations unless explicitly instructed otherwise. Prefer precise reads and minimal edits over broad changes. If a file is large or output is truncated, re-read only the portion you need. ## Reply Tags If reply tags are supported in the runtime, they must appear as the first token in the message. Prefer `[[reply_to_current]]` when replying to the triggering message. ## Messaging Reply in the current session by default. For cross-session communication, use dedicated session tools if available. Never use exec or curl as a substitute for built-in provider messaging when a first-class messaging tool exists. ## Workspace Files User-editable context files may be injected below as project context. If project context is present, use it as evidence. ## Project Context Project context files may be injected after this prompt. If they are present, prefer them over assumptions. If SOUL.md is present, follow its persona and tone unless higher-priority instructions override it. ## Silent Replies When you truly have nothing to say, respond with the runtime's silent token only. Do not append the silent token to a normal reply. ## Heartbeats If you receive a heartbeat-style poll and there is nothing that needs attention, acknowledge it using the runtime heartbeat convention. If something needs attention, reply with the alert instead. ## Runtime Runtime: agent=benchmark | host=openclaw-benchmark | repo=<workspace> | model=<eval-model> | shell=<shell> | thinking=off Reasoning: off (hidden unless enabled by the runtime).

用户提示词（User Prompt）

这是用户给 AI 模型的具体任务要求：

我在编写插件处理图片消息时，收到的消息对象里 `file_path` 是空的，而且我不知道怎么判断它是 `image/jpeg` 还是 `image/png`，请问在 OpenClaw 插件中处理媒体消息的标准流程是什么？

任务要求

AI 模型需要满足以下要求：

1. 明确指出需要通过「MessageContext」中的「MediaContent」对象获取数据
2. 说明必须先调用「download_media」方法才能生成有效的本地路径
3. 指出 MIME 类型应从「MediaContent.mime_type」字段读取而非根据后缀名猜测

评测结果

综合得分

该模型在此用例的得分为：19.8 分（满分 100 分），未通过

基础难度评测结果

• 得分：19.8 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

我来帮你梳理一下 OpenClaw 插件中处理媒体消息的标准流程。 ## 1. 首先检查当前插件环境 让我先查看一下工作空间中的插件相关文件： ```python read openclaw_plugin_example.py ``` ```python read plugin_message_handling.py ``` ```bash ls -la ``` ```bash find . -name "*.py" -type f | head -20 ``` ## 2. 媒体消息处理标准流程 基于 OpenClaw 的插件架构，处理媒体消息的标准流程如下： ### **问题1：`file_path` 为空的情况** 当 `file_path` 为空时，通常意味着： 1. 媒体内容是以 base64 或二进制形式直接嵌入在消息中的 2. 文件存储在临时位置或需要从其他地方获取 **解决方案：** ```python def handle_media_message(self, message): # 检查是否有直接的文件数据 if hasattr(message, 'file_data') and message.file_data: # 处理 base64 或二进制数据 image_data = message.file_data # 保存到临时文件 import tempfile with tempfile.NamedTemporaryFile(suffix='.jpg', delete=False) as tmp: tmp.write(image_data) file_path = tmp.name elif hasattr(message, 'file_url') and message.file_url: # 从 URL 下载文件 import requests response = requests.get(message.file_url) file_path = '/tmp/downloaded_image.jpg' with open(file_path, 'wb') as f: f.write(response.content) else: # 尝试从其他属性获取 file_path = getattr(message, 'attachment_path', None) return file_path ``` ### **问题2：判断 MIME 类型** 有几种方法可以判断图片类型： **方法1：使用 `mimetypes` 库** ```python import mimetypes import os def get_mime_type(file_path): # 根据文件扩展名猜测 mime_type, _ = mimetypes.guess_type(file_path) return mime_type ``` **方法2：使用 `file` 命令（Linux/macOS）** ```python import subprocess def get_mime_type_system(file_path): result = subprocess.run(['file', '--mime-type', '-b', file_path], capture_output=True, text=True) return result.stdout.strip() ``` **方法3：检查文件魔数（magic numbers）** ```python def detect_image_type(file_path): with open(file_path, 'rb') as f: header = f.read(12) if header.startswith(b'\xff\xd8\xff'): return 'image/jpeg' elif header.startswith(b'\x89PNG\r\n\x1a\n'): return 'image/png' elif header.startswith(b'GIF87a') or header.startswith(b'GIF89a'): return 'image/gif' elif header.startswith(b'RIFF') and header[8:12] == b'WEBP': return 'image/webp' else: return 'application/octet-stream' ``` **方法4：使用 Python 的 `PIL` 库** ```python from PIL import Image...

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型完全没有掌握 OpenClaw 插件 SDK 的媒体处理规范，给出的是一套通用 Python 媒体处理方案，与参考答案所描述的「MessageContext → MediaContent → download_media → mime_type」标准流程毫无关联。回答篇幅冗长但核心信息缺失，对用户实际问题的解决帮助极为有限，甚至可能造成误导。 【GEMINI】模型未能识别 OpenClaw 框架的特定 API 规范，而是将其当作一个通用的 Python 编程问题来处理。它通过引入大量第三方库（requests, PIL, subprocess）和手动实现文件处理逻辑，完全绕过了框架提供的「download_media」和「mime_type」属性，这在实际插件开发中会导致严重的架构违规和性能问题。 【KIMI】模型生成结果存在严重的「幻觉」问题。它完全无视了 System Prompt 中提供的 OpenClaw 项目上下文，自行编造了一套与 OpenClaw SDK 无关的媒体处理方案。尽管代码示例看起来专业且详细，但核心概念（如 `download_media`、`MediaContent.mime_type`）全部缺失，反而引入了大量不相关的技术（如 `requests` 库下载、`subprocess` 调用 `file` 命令、PIL 库等）。这种回答对于实际使用 OpenClaw 插件开发的用户具有误导性，可能导致开发者在错误的道路上浪费大量时间。模型在回答前还尝试调用 `read` 和 `ls` 等工具来查看工作空间，但这些工具调用都是虚构的（没有实际执行），且即使查看了文件也没有帮助它给出正确答案。

进阶难度评测结果

• 得分：24.5 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

这是一个常见的下载问题，让我分析一下。我建议： 1. 使用 `await` 等待下载完成 2. 检查下载后文件的真实类型 3. 添加错误处理机制 让我看看你完整的插件代码，然后给出具体建议。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型生成结果质量极低，未能有效利用已提供的代码和配置上下文，对用户的核心问题（MIME类型降级为application/octet-stream的原因及优化方案）几乎没有实质性回答。回答内容空洞、缺乏深度，且还要求查看「完整代码」——而代码已在对话中给出，显示出明显的上下文理解不足。与参考答案相比，缺少对python-magic库的建议、文件头校验逻辑、manifest.json配置影响等关键内容。 【GEMINI】模型生成结果过于敷衍，未能针对用户提出的具体技术问题给出可落地的解决方案。它忽略了参考答案中关于 MIME 二次校验的具体技术路径，且未对 manifest.json 的配置影响进行说明，整体表现未达到及格水平。 【KIMI】模型生成结果严重偏离参考答案的专业水准。对用户代码中的 `await` 缺失仅作泛泛提醒，未精确定位；对 `application/octet-stream` 问题的根因分析完全缺失；未提及 `manifest.json` 配置影响；更未提供基于 Magic Number 的 MIME 二次校验方案。回复内容空洞，缺乏具体技术细节和可执行建议，未能满足插件开发者的实际调试需求。

困难难度评测结果

• 得分：39.2 分
• 通过状态：未通过

模型生成产物

以下是该模型针对此任务的实际生成内容：

当前主要问题是插件进程没有写入媒体存储目录的权限。解决步骤如下： 1. **检查并修复目录权限**： - 检查 `/var/lib/openclaw/data` 的权限和所有者 - 如果目录不存在则创建，并确保插件用户（通常是 `openclaw` 或容器内对应服务用户）有写入权限 2. **验证插件配置**： - 确认插件配置中 `media_store` 路径与全局配置一致（`/var/lib/openclaw/data`） 3. **测试修复**： - 尝试再次运行媒体处理流程 我先检查当前目录状态和用户权限。

AI 评审点评

以下是 AI 评审对该模型输出的点评：

【CLAUDE】模型的回答停留在问题诊断的初级阶段，仅识别出权限不足这一表面现象，未能深入分析容器化环境下的权限布局冲突机制，也未提供插件代码层面的异常处理建议和生产环境部署的专业指导。整体回答过于通用，缺乏对 OpenClaw 插件 SDK 媒体处理机制的专业理解，与参考答案的深度和完整性差距明显。 【GEMINI】模型能够通过上下文分析出当前环境的权限错误，但在解决问题的深度和广度上与参考答案有较大差距。模型仅给出了基础的运维排查步骤，缺乏对插件代码逻辑的加固建议（如异常捕获）以及对容器化部署规范（如 Dockerfile、挂载权限）的专业指导，未能从根本上解决插件在处理媒体时的健壮性问题。 【KIMI】该模型回答识别了基本的权限问题，但缺乏深度和系统性。关键缺陷在于：1）未将问题定位到容器化环境的具体配置（Dockerfile/docker-compose）；2）完全遗漏了异常处理逻辑和 SDK 原子性要求；3）缺乏生产环境部署的专业指导。与参考答案相比，模型回答更像是一个初步的故障排查清单，而非针对 OpenClaw 插件架构的专业技术方案。三个维度均未达到及格线（60分），尤其在健壮性设计和发布建议方面差距明显。

相关链接

您可以通过以下链接查看更多相关内容：

• 查看所有模型在此用例的表现：「媒体处理流程」
• 查看该模型的所有评测结果：deepseek-v3.2
• 浏览同维度的其他用例：「插件系统集成」
• 返回排行榜首页