Merge pull request #2 from KOKO-cyco/my_avatar

fix: Fix the issue where LLM calling MCP tool does not respond

Author: KOKO-cyco

README.md

@@ -1,167 +1,184 @@
 # VirtuaMate
 
-VirtuaMate (DuckyClaw) is a hardware-oriented AI agent built on the [TuyaOpen](https://github.com/tuya/TuyaOpen) C SDK. It runs on edge devices — Raspberry Pi, Tuya T5AI, ESP32-S3, or any Linux desktop — and lets users chat with the device through IM channels (Telegram, Discord, Feishu). The on-device agent loop receives natural language instructions, invokes MCP-style tools to perform real actions, and replies through the same channel.
+不是“会动的模型”，是能陪你、能办事、能进化的 3D AI 生命体。  
+一个把 **OpenClaw 式 Agent 灵魂**、**DuckyClaw 硬件路线** 和 **实时 VRM 数字人** 真正融合在一起的开源项目。
 
-## Features
+> [!WARNING]
+> 项目仍在持续迭代中，接口和行为可能变化。欢迎提 Issue 或 PR 一起完善。
 
-- **Multi-channel IM** — Telegram, Discord, Feishu, WebSocket, and serial CLI all feed into a single agent loop.
-- **Tool loop** — Each user message can trigger up to 10 LLM ↔ tool iterations before a final reply is produced.
-- **MCP Tools** — File operations, cron scheduling, remote command execution (Linux), and OpenClaw gateway control.
-- **Persistent memory** — Long-term memory (`MEMORY.md`), daily notes, personality (`SOUL.md`), and user profile (`USER.md`) stored on flash/SD.
-- **3D avatar** — Real-time VRM/PMX/GLB model rendering with emotion-driven facial expressions, spring-bone physics, lip sync, and skybox scenes (Raspberry Pi / Linux with OpenGL).
-- **Cross-platform** — One codebase compiles for Raspberry Pi, Tuya T5AI, ESP32-S3, and Linux via Kconfig conditional compilation.
+---
 
-## Architecture
+## 为什么是 VirtuaMate
 
-```
-IM Channels (Telegram / Discord / Feishu / WS / CLI)
-                    │
-              Message Bus
-                    │
-               Agent Loop  ←→  Cloud AI (streaming)
-                    │
-              MCP Tools Layer
-         ┌────┬────┬─────┬──────────┐
-       files  cron  exec  openclaw  avatar
-         │                            │
-    Memory / Session            VRM 3D Renderer
-```
+过去最火的是 OpenClaw 这类“能执行任务”的 AI Agent，  
+但大多数项目缺少“可感知、可表达、可陪伴”的实体化体验。
 
-## Prerequisites
+VirtuaMate 的目标很直接：  
+**把最强执行力的 Claw 思路，变成你桌面上会呼吸、会回应、会记住你的数字伴侣。**
 
-| Item | Notes |
-|------|-------|
-| **TuyaOpen SDK** | Cloned as a git submodule under `TuyaOpen/` |
-| **Python 3** | Required by `tos.py` build system |
-| **CMake ≥ 3.16** | Build generator |
-| **Tuya cloud credentials** | Product ID, UUID, AuthKey from [Tuya IoT Platform](https://platform.tuya.com) |
-| **IM bot token** | At least one of: Telegram bot token, Discord bot token, or Feishu app credentials |
-| **(Linux/RPi only)** SDL2, GLEW, Assimp | For the VRM 3D avatar renderer: `sudo apt install libsdl2-dev libglew-dev libassimp-dev` |
+很多“数字人”只停留在展示层：会动但不会做事；很多“Agent”只停留在终端层：会做事但没有存在感。  
+VirtuaMate 直接把 **3D Avatar** 和 **可执行 Agent** 合在一起，做到“有灵魂，也有手脚”：
 
-## Getting Started
+- **她是 3D 的**：VRM 模型 + VRMA 动画 + 天空盒场景，运行在本地设备。
+- **她是有情绪的**：对话流式输出过程中，实时文本情绪分析驱动表情变化。
+- **她是能行动的**：通过 MCP 工具完成提醒、文件操作、PC 协作等任务。
+- **她是有记忆的**：长期记忆和日记存本地，不是一次性聊天窗口。
 
-### 1. Clone the repository
+---
 
-```bash
-git clone --recurse-submodules https://github.com/<your-org>/VirtuaMate.git
-cd VirtuaMate
-```
+## VirtuaMate × DuckyClaw × OpenClaw
 
-If you already cloned without submodules:
+如果说 OpenClaw 打开了“个人 AI Agent 能直接行动”的认知，  
+DuckyClaw 把它推进到了“硬件设备可落地”的现实世界，  
+那 VirtuaMate 就是在这条线上继续往前一步：
 
-```bash
-git submodule update --init --recursive
-```
+- **继承 Claw 系执行范式**：保留多轮 tool loop、MCP 工具调用、任务闭环。
+- **复用 DuckyClaw 的设备与消息架构**：统一消息总线、多通道接入、本地工具侧执行。
+- **补齐 3D 伴侣层**：VRM 形象、实时情绪、动作编排、口型同步、场景沉浸感。
+- **从“会做事”升级为“有陪伴感地做事”**：不仅完成任务，还用表情、动作、语气把反馈“演”给你看。
 
-### 2. Initialize the TuyaOpen environment
+一句话：  
+**OpenClaw 让 Agent 能干活，DuckyClaw 让 Agent 上硬件，VirtuaMate 让 Agent 有了“人”的存在感。**
 
-```bash
-cd TuyaOpen
-source ./export.sh
-cd ..
-```
+---
 
-This creates a Python virtual environment and exports `OPEN_SDK_ROOT`.
+## 功能亮点
 
-### 3. Configure secrets
+### 1) 3D Avatar 渲染与表现
 
-```bash
-cp include/tuya_app_config_secrets.h.example include/tuya_app_config_secrets.h
-```
+- **VRM 实时渲染**：`SDL2 + OpenGL + Assimp` 渲染链路，支持骨骼动画与材质。
+- **动作系统**：支持 `resources/animations` 中的 `.vrma` 动画，支持 idle/one-shot 切换。
+- **表情系统**：内置多种 Emotion（如 happy/sad/thinking/loving 等）。
+- **口型同步**：TTS 播放音频时驱动嘴型变化，提升“说话感”。
+- **天空盒场景**：支持运行时加载场景目录，6 面贴图即可切换世界观。
+
+### 2) AI Agent 与多轮工具循环
+
+- **Claw-style Agent Loop**：单轮消息内支持多次 “LLM -> tool -> LLM” 迭代，不是一问一答玩具。
+- **流式响应联动**：AI 流式文本回调中实时刷新字幕、情绪和对话历史。
+- **消息通道统一接入**：Telegram / Discord / Feishu / 本地 CLI 统一走 message bus，一套核心跑多入口。
+
+### 3) MCP 工具能力（设备侧）
+
+- **文件工具**：`read_file` / `write_file` / `edit_file` / `list_dir` / `find_path`
+- **时间与提醒**：`get_current_time` / `cron_add` / `cron_list` / `cron_remove`
+- **Linux 执行工具**：`tool_exec`（Linux 平台可用）
+- **PC 协作工具**：`openclaw_ctrl` / `pc_ctrl` / `openclaw.ctrl`
+- **3D Avatar 工具**：`avatar_play_animation` / `avatar_set_emotion` / `avatar_composite_action`
 
-Edit `include/tuya_app_config_secrets.h` and fill in your credentials:
+### 4) 本地记忆与可塑人格
 
-| Define | Description |
-|--------|-------------|
-| `TUYA_PRODUCT_ID` | Tuya product ID |
-| `TUYA_OPENSDK_UUID` | Tuya OpenSDK UUID |
-| `TUYA_OPENSDK_AUTHKEY` | Tuya OpenSDK AuthKey |
-| `IM_SECRET_CHANNEL_MODE` | `"feishu"`, `"telegram"`, or `"discord"` |
-| `IM_SECRET_TG_TOKEN` | Telegram bot token (if using Telegram) |
-| `IM_SECRET_DC_TOKEN` / `IM_SECRET_DC_CHANNEL_ID` | Discord bot token and channel ID (if using Discord) |
-| `IM_SECRET_FS_APP_ID` / `IM_SECRET_FS_APP_SECRET` | Feishu app credentials (if using Feishu) |
-| `CLAW_WS_AUTH_TOKEN` | WebSocket auth token (optional) |
-| `OPENCLAW_GATEWAY_*` | OpenClaw gateway host, port, token (optional) |
+- 长期记忆：`/memory/MEMORY.md`
+- 每日笔记：`/memory/daily/YYYY-MM-DD.md`
+- 人设和用户画像：通过 `SOUL.md`、`USER.md` 与上下文构建模块注入系统提示词
+- 技能系统：`skills/*.md` 自动汇总并注入 prompt
 
-> **Note:** `tuya_app_config_secrets.h` is gitignored — never commit real credentials.
+---
 
-### 4. Select a board configuration
+## 部署平台
 
-Copy one of the pre-built configs from `config/` to the project root:
+| 类别 | 当前状态 |
+|---|---|
+| Raspberry Pi / Linux ARM | 推荐，仓库内已提供 `config/RaspberryPi.config` |
+| Linux x64 | 可运行（同样走 Linux 构建链路） |
+| 其他 TuyaOpen 板卡 | 可按 TuyaOpen 方式迁移配置（当前仓库未内置对应 config 快照） |
+
+---
+
+## 快速开始
+
+### 1) 拉取项目与子模块
 
 ```bash
-# Raspberry Pi
-cp config/RaspberryPi.config app_default.config
+git clone <your-fork-or-repo-url> VirtuaMate
+cd VirtuaMate
+git submodule update --init --recursive
 ```
 
-Or create your own via `menuconfig`:
+### 2) 安装 Linux 渲染依赖（Raspberry Pi / Ubuntu）
+
+`CMakeLists.txt` 中 Linux 平台依赖为 `sdl2 glew assimp`：
 
 ```bash
-cd TuyaOpen
-python3 tos.py menuconfig
-cd ..
+sudo apt update
+sudo apt install -y libsdl2-dev libglew-dev libassimp-dev
 ```
 
-### 5. Build
+### 3) 选择板级配置
 
 ```bash
-# Skip interactive platform prompts (optional, one-time)
-mkdir -p .cache && touch .cache/.dont_prompt_update_platform
+cp config/RaspberryPi.config app_default.config
+或
+tos.py config choice
+```
+
+### 4) 准备 TuyaOpen 环境并构建
 
+```bash
 cd TuyaOpen
-python3 tos.py build
+. ./export.sh
+cd VirtuaMate
+tos.py build
 ```
 
-Build output goes to the `dist/` directory. On Linux targets this produces a native ELF binary.
+构建产物在 `VirtuaMate/dist/`。
 
-### 6. Install VRM dependencies (Linux / Raspberry Pi only)
+---
 
-If you are building on Linux or Raspberry Pi and want the 3D avatar renderer:
+## 资源准备（让她“活起来”）
 
-```bash
-sudo apt install libsdl2-dev libglew-dev libassimp-dev
-```
+`RaspberryPi.config` 默认资源路径：
 
-Configure model paths in `menuconfig` or directly in `app_default.config`:
+- 模型：`resources/models/avatar.vrm`
+- 动作目录：`resources/animations`
+- 场景父目录：`resources/scenes`
 
-```
-CONFIG_VRM_MODEL_PATH="/path/to/your/avatar.vrm"
-CONFIG_VRM_ANIM_DIR="/path/to/vrma/animations"
-CONFIG_VRM_WINDOW_WIDTH=1024
-CONFIG_VRM_WINDOW_HEIGHT=768
-```
+### 场景天空盒命名规则
 
-### 7. Run
+每个场景目录需提供 6 张贴图，支持以下任一命名体系：
 
-```bash
-# Linux
-./dist/VirtuaMate
-```
+- `right/left/top/bottom/front/back`
+- `px/nx/py/ny/pz/nz`
+- `posx/negx/posy/negy/posz/negz`
 
-On Raspberry Pi, flash or copy the binary and run it. The agent will connect to Tuya cloud, initialize the configured IM channel, and start listening for messages.
+扩展名支持 `.jpg/.jpeg/.png/.bmp/.tga`。
 
-## Project Structure
+---
 
-```
+## 目录结构（核心）
+
+```text
 VirtuaMate/
-├── agent/          # Core agent loop and context builder
-├── IM/             # IM abstraction: message bus, channel bots, proxy, CLI
-├── tools/          # MCP tool implementations (files, cron, exec, openclaw)
-├── memory/         # Persistent memory and session management
-├── gateway/        # WebSocket server and ACP client
-├── cron_service/   # Background scheduled-task service
-├── heartbeat/      # Heartbeat service
-├── skills/         # Skill loader for .md skill files
-├── src/            # App glue: main entry, AI chat handler, IM dispatch
-│   └── vrm/        # VRM 3D avatar renderer (OpenGL)
-├── include/        # Global headers and config
-├── ai_components/  # TuyaOpen AI component adapters
-├── config/         # Board-level Kconfig presets
-├── TuyaOpen/       # TuyaOpen SDK (git submodule)
-├── CMakeLists.txt  # Application-level build script
-└── Kconfig         # Top-level Kconfig menu
+├── agent/                 # Agent loop + context builder
+├── IM/                    # Telegram/Discord/Feishu/CLI + message bus
+├── tools/                 # MCP tools (files/cron/exec/openclaw)
+├── memory/                # MEMORY.md + daily notes + session
+├── gateway/               # WebSocket / ACP gateway
+├── skills/                # Markdown skills
+├── src/
+│   ├── tuya_app_main.c    # 应用入口与初始化
+│   ├── ducky_claw_chat.c  # AI流事件处理与对话桥接
+│   ├── app_avatar_mcp.c   # 3D Avatar MCP工具注册
+│   └── vrm/               # VRM渲染、情绪、口型、天空盒
+├── config/RaspberryPi.config
+└── TuyaOpen/              # TuyaOpen SDK 子模块
 ```
 
-## License
+---
+
+## 高级玩法
+
+- **改人设**：调整 `SOUL.md`、`USER.md`，并结合 `agent/context_builder.c` 注入策略。
+- **加动作**：把 `.vrma` 放进 `resources/animations`，在 `src/app_avatar_mcp.c` 中补充可调用动作名。
+- **加场景**：在 `resources/scenes/<scene_name>/` 放入 6 面贴图，运行时切换。
+- **扩工具**：在 `tools/` 新增 MCP 工具并在 `tools/tools_register.c` 注册。
+- **扩能力**：想接摄像头、传感器、IoT 控制链路，可复用 TuyaOpen + MCP 工具模式扩展。
+
+---
+
+## 项目定位
+
+VirtuaMate 不是“AI 套个皮肤”，而是一套可定制、可运行、可执行、可持续进化的 3D AI 伴侣系统。  
+它既有 OpenClaw 系的执行锋芒，也有数字伴侣该有的温度和存在感。
 
-Copyright (c) Tuya Inc. All Rights Reserved.
+给她一张脸、一个名字、一段性格，然后见证她从“能聊”变成“懂你、帮你、陪你”。  

agent/context_builder.c

@@ -140,6 +140,9 @@
                     "- Searching the web -> web_search\n\n");
 
     off += snprintf(buf + off, size - off,
+                        "- avatar_play_animation: Trigger a body animation on the 3D avatar.\n"
+                        "- avatar_set_emotion: Set the avatar's facial expression.\n"
+                        "- avatar_composite_action: Set animation and emotion in a single call.\n\n");
                         "## Avatar Behavior\n"
                         "The device has a 3D avatar. You control it via tool calls.\n"
                         "Your text is spoken by TTS verbatim — NEVER write tool names "

ai_components/ai_mcp/src/ai_mcp_server.c

@@ -768,7 +768,7 @@ void ai_mcp_server_set_tool_exec_hook(MCP_TOOL_EXEC_HOOK_CB cb, void *user_data)
 OPERATE_RET ai_mcp_server_init(const char *name, const char *version)
 {
     if (s_server_ctx.initialized) {
-        PR_WARN("MCP server already initialized");
+        tuya_ai_agent_mcp_set_cb(ai_mcp_server_parse_message, NULL);
         return OPRT_OK;
     }
 
@@ -796,6 +796,7 @@ OPERATE_RET ai_mcp_server_init(const char *name, const char *version)
     s_server_ctx.send_message = __send_message_default;
     tuya_ai_agent_mcp_set_cb(ai_mcp_server_parse_message, NULL);
     s_server_ctx.initialized = TRUE;
+    PR_NOTICE("MCP server initialized: %s v%s", name, version);
     return OPRT_OK;
 }
 

ai_components/ai_mcp/src/ai_mcp_tools.c

@@ -215,13 +215,10 @@ static OPERATE_RET __ai_mcp_init(void *data)
 {
     OPERATE_RET rt = OPRT_OK;
 
-    // FIXME: Set actual MCP server name and mcp version
     TUYA_CALL_ERR_RETURN(ai_mcp_server_init("Tuya MCP Server", "1.0"));
 
     TUYA_CALL_ERR_RETURN(__ai_mcp_tools_register());
 
-    PR_DEBUG("MCP Server initialized successfully");
-
     return rt;
 }
 

config/RaspberryPi.config

@@ -1,8 +1,8 @@
 CONFIG_ENABLE_COMP_AI_AUDIO_CODEC_OPUS=y
 # CONFIG_ENABLE_COMP_AI_DISPLAY is not set
 CONFIG_ENABLE_UART=y
-CONFIG_KWS_MODEL_PATH="~/tuyaopen_models/mdtc_chunk_300ms.mnn"
-CONFIG_KWS_MODEL_TOKEN_PATH="~/tuyaopen_models/tokens.txt"
+CONFIG_KWS_MODEL_PATH="/home/pi/tuyaopen_models/mdtc_chunk_300ms.mnn"
+CONFIG_KWS_MODEL_TOKEN_PATH="/home/pi/tuyaopen_models/tokens.txt"
 CONFIG_BOARD_CHOICE_RASPBERRY_PI=y
 # CONFIG_ENABLE_KEYBOARD_INPUT is not set
 CONFIG_BUTTON_NAME="s"
@@ -17,4 +17,8 @@ CONFIG_ENABLE_MBEDTLS_SHA384_C=y
 CONFIG_ENABLE_MBEDTLS_ECP_DP_SECP256R1_ENABLED=y
 CONFIG_ENABLE_MBEDTLS_KEY_EXCHANGE_ECDHE_PSK=y
 CONFIG_ENABLE_MBEDTLS_ECP_DP_SECP384R1_ENABLED=y
-CONFIG_ENABLE_MBEDTLS_ECP_DP_CURVE25519_ENABLED=y
+CONFIG_ENABLE_MBEDTLS_ECP_DP_CURVE25519_ENABLED=y
+CONFIG_VRM_MODEL_PATH="resources/models/avatar.vrm"
+CONFIG_VRM_ANIM_DIR="resources/animations"
+CONFIG_VRM_SCENE_DIR=""
+CONFIG_VRM_SCENE_PARENT_DIR="resources/scenes"

resources/.gitkeep

@@ -0,0 +1 @@
+