入门指南 — ESP-Mosaico

ESP-Mosaico 是一款用于 AIoT 和嵌入式创作的开发设备。你可以用它体验对话编程、屏幕图形、技能、外设扩展，以及从零构建嵌入式应用。

认识 ESP-Mosaico

device-overview.png

按键说明

按键操作功能
Power Button短按开机或关机
AI Button短按返回或休眠
组合按键关机状态下，按住 AI Button 后短按 Power Button 开机进入 Vibe Mode 主界面

充电指示灯

橙灯表示充电中，白灯表示已充满。

扩展模块

ESP-Mosaico 通过扩展模块支持不同的外设。插入前请确认插槽和方向。

摄像头扩展模块只能使用左侧插槽，并确保连接器方向正确。

↳ 插入扩展板时请确认连接器已对齐，插入方向正确。

开机与主界面

短按设备底部右侧的 Power Button 开机。

vibe-mode-main-screen-v2-wider.png

进入 管理 界面，可以安装或卸载 Idea。向右滑动，可进入已安装 Idea 界面。

如果已安装 Idea，想返回 Vibe Mode，请先关机。按住 AI Button，再短按电源键。

Chat Coding

Chat Coding 的 Idea 可以在 管理 界面安装；也可以在开机主界面向右滑动，选择安装。

开始对话

开始之前，请确认：

  • 已完成 Wi-Fi 配置。
  • 已将微信或其他受支持的平台绑定到 ESP-Mosaico。
  • ASR 和 LLM 服务可用。
  • 设备屏幕工作正常。

01 在微信中发送文字

打开与 ESP-Mosaico 绑定的微信对话，直接输入请求。

请简单介绍一下自己。

每 30 分钟提醒我喝水。

02 在 ESP-Mosaico 上使用语音输入

从 Chat Coding Idea 的主屏幕打开 Claw 应用，长按输入框，说出希望执行的操作。

Claw 的六项内置技能

模式技能用途示例
快速提问ai_create_quick快速回答一个明确的问题。“如果每个选择都由过去决定，自由意志还存在吗？”
AI Createskill_creator创建或更新设备功能、工作流、技能或 Lua 自动化。“在屏幕上绘制一朵旋转的小花，持续 30 秒。”
安装技能skills_lab_search在 ESP-Claw Skills Lab 中搜索适合 ESP-Mosaico 的技能，并引导安装。“帮我找一个天气技能。”
记忆memory_ops保存、查找、更新或删除设备的长期记忆。“记住，你现在是我家庭花园的植物养护专家。”
规划plan_mode分析复杂目标，检查硬件和能力要求，并生成可执行计划。“我想把 ESP-Mosaico 做成舵机机器人。请规划最快的构建方式。”
计划任务cap_scheduler创建和管理一次性、重复性或 Cron 定时任务。“每天晚上 8 点打开扩展灯板。”

控制面板

在 Chat Coding Idea 中进入 Settings > AI Model。屏幕会显示一个 IP 地址。在同一局域网内，用手机或电脑打开该地址，即可进入控制面板。

control-panel-zh.png

控制面板通常用于：

  • 查看或修改 Wi-Fi 设置
  • 配置 LLM 服务
  • 配置 ASR 服务
  • 配置网络 API 服务
  • 查看设备状态
  • 调整技能和 Lua 选项
  • 在线聊天

修改后重启：在控制面板中修改设置后，请手动重启 ESP-Mosaico 使其生效。

出厂设置包含 ASR 和 LLM 密钥，可用于快速体验基本问答和简单编程。如果内置额度用尽，或需要更强的编程效果，请在控制面板中配置自己的模型凭据。

在 Work 中管理技能

Work 用于存储 Agent 完成的技能。当 Chat Coding 或其他工作流帮助你创建功能后，将其保存到 Work，便于再次运行或继续改进。

  1. 保存技能：将完成的功能保存到 Work。
  2. 再次运行：打开已保存的技能，重复使用。
  3. 持续完善：通过后续对话改进技能。

Vibe Coding

Vibe Coding 用于从零构建自己的想法。在 PC 上，将 AI 编码 Agent 与 ESP-Mosaico 模拟器、调试工具和实体设备配合使用，创建更具挑战性的嵌入式应用。

vibe-coding.png

你需要准备什么

在 PC 上准备一个 AI 编程 Agent，例如：

  • Codex
  • Claude Code
  • OpenCode
  • Trae

此外，还需要一条支持数据传输的 USB 数据线，用于连接 ESP-Mosaico 与 PC。

给 Agent 分配任务

使用 esp-mosaico-vibe 仓库。仓库包含 Agent 需要的文档和示例。可以尝试：

下载这个仓库的代码：https://github.com/esp-mosaico/esp-mosaico-vibe 配置环境并实现一个贪吃蛇游戏。

这段提示词包含项目仓库地址，Agent 可以据此获取代码、配置环境并实现游戏。

迭代成果

Agent 完成第一个版本后，根据设备或模拟器上的实际效果提出修改：

贪吃蛇移动太快了。请降低速度并添加暂停功能。

添加开始界面和游戏结束界面。

让 AI Button 返回主菜单。

提示

  1. 使用 Plan Mode。 Vibe Coding 依赖共同理解。请求难以一次表达完整时，先让 Agent 在 Plan Mode 中重述理解，再在实现前修正。
  2. 在 ESP-GSP 模拟器中制作 UI 原型。 刷写到实体设备前，先验证布局、交互逻辑和视觉效果。
  3. 使用调试工具进行多模态测试。 仓库中的工具可以捕获屏幕并支持交互式测试。

硬件开发

扩展 I/O

接口说明
IN5 V 输入，可通过外部电源为 ESP-Mosaico 供电。
5V5 V 输出，最大 100 mA。
3V3.3 V 输出，最大 100 mA。
USJUSB-Serial-JTAG；可初始化为通用 GPIO。开发板上的引脚顺序：3V、IN、DP (IO34)、DN (IO33)、IO15。
UARTUART；可初始化为通用 GPIO。接口上的引脚顺序：3V、IN、TX (IO58)、RX (IO59)、IO38。
CODEC只有在禁用内部 ES8311 后，才能用作通用 I/O。

硬件文档

更详细的硬件资源，请见 ESP-Mosaico 硬件文档。

术语表

术语含义
ESP-Mosaico用于 AIoT 和嵌入式创作的开发设备。
ESP-Claw运行在 ESP-Mosaico 出厂固件中的设备端 Agent。
Vibe Mode用于 Vibe Coding、管理应用的设备模式。
Idea通过 Vibe Mode 安装的应用。
Chat Coding通过聊天或语音描述请求，由 Agent 生成并运行代码的体验。
Vibe Coding使用 AI 编码 Agent 从零构建创意项目的开发方式。
Work存储已完成 Agent 技能的区域。
Agent能够理解请求、生成代码、调用工具并帮助完成任务的 AI 系统。
ASR自动语音识别，用于将语音转换为文字。
LLM大语言模型，用于理解请求、生成答案或编写代码。
下载模式用于刷写固件或下载程序的设备模式。
ESP-GSP 模拟器用于快速验证 ESP-Mosaico UI 原型和交互的 PC 工具。

常用资源