Skip to content
kallen-noellePublic

About

一个可以对话交互的ai桌面宠物,身体机能模块持续开发中。计划桌宠主动互动功能,人宠游戏,更多身体机能。

Resources

Stars

3 stars

Watchers

0 watching

Forks

Repository files navigation

aipets

aipets 作品介绍

aipets 是 Windows 11 桌面宠物,同一套代码提供透明置顶桌面版和浏览器舞台版。角色能聊天、能自主行动,动作由大模型在受控候选集里选择。

一、核心功能与亮点

  1. 数据驱动角色系统:6 个角色、300+ 透明动画,按待机、说话、思考、点击、拖拽五种状态和情绪、动作池组织。新增角色或动作只改 characters.config.json;zod 校验;双 video 交叉淡入避免黑屏;长动作支持 start/loop/end 定时循环。接入快,坏路径能提前发现。
  2. LLM 动作导演:每轮回复后,模型从上百个片段中选动作并给理由,代码校验后播放;支持长动作时长、点击拖拽不打断、新回合取消、失败回退规则导演。动作贴合对话,而非随机播放。
  3. 24 小时环境编排:回复结束 90 秒后生成一天作息,短片与长动作混排,按实例持久化,刷新按时间恢复,点击暂停,失败保留旧编排。一次调用即可获得数小时多样化行为。
  4. 多实例与桌面体验:每个实例独立角色、外观、会话和编排;透明窗口、alpha 轮廓点击穿透、拖动惯性、托盘与快捷键,不遮挡桌面操作。
  5. 对话与配置:OpenAI 兼容流式对话、独立人设与长期记忆、LangChain Agent 摘要压缩、TTS/ASR 回退;配置按域拆分,提供商测试与设置页齐全。

二、TRAE 的帮助

  • 素材接入:扫描全部动画,按内容哈希去重、按文件名语义归类,一次登记 140 个新片段、删除 24 个重复文件、新增第六角色,最终零坏引用。
  • 透明视频修复:定位 26 个长动作 start/end 的黑底,用“边缘连通 flood fill + VP9 alpha 重编码”修复;通过 alpha 图定位并修正队列溢出,逐帧验证 300+ 片段。
  • 可观测性:把被 withTimeout 吞掉的异常改成真实错误日志,区分超时与请求异常,并用不可达接口复现 20 秒超时。
  • 分实例监控:将单一全局快照改为按 instanceId 隔离,事件带实例 id,每个实例一个独立面板,并用双实例验证。

TRAE 不只是补全代码,而是能读工程、跑命令、做浏览器验证的结对工程师;我负责产品判断,它负责把判断落成可验证的实现。

三、印象最深的经历

修长动作黑底。黑框看似播放器问题,实际是视频 alpha 通道缺失。难点是黑色既是背景,也是角色描边和气泡剪影,全局抠黑会破坏角色。我先抽帧读 RGBA,确认背景与边框连通、角色内部黑色封闭,再实现边缘 flood fill 并重编码;第一次因队列溢出留下大块不透明区域,靠 alpha 图定位修正。最后在 Chromium 棋盘格背景逐帧验证,26 个片段全部透明。这件事让我坚持:先造证据再修复,局部问题不能用全局规则。

同一套代码有两种形态:桌面版(透明置顶桌宠,打包成单个 aipets.exe)和 网页版(浏览器里的整页舞台,方便预览和调试)。

界面预览

宠物

宠物

聊天宠物回应

聊天

角色行动

角色行动

身体机能

设置

功能

角色

  • 五个角色:蓝毛小女仆、橙毛大小姐、黄毛该溜子、白毛小龙娘、黑毛小狐狸。
  • 可同时启用多个实例,每个实例单独缩放、镜像、换角色。
  • 待机、说话、思考、被点击、被拖拽五种状态,另有情绪与动作片段。
  • 空闲时会自己插入小情绪和长动作(比如坐下哼歌、写代码、玩魔方)。

聊天

  • 接入任意 OpenAI 兼容接口,支持流式回复。
  • 每个角色有自己的性格设定和独立会话。
  • 会记住聊过的内容,形成长期记忆;记忆和配方可在设置里查看。
  • 可配置工具:联网搜索、Home Assistant、MCP 工具。

动作由大模型决定

  • 每轮回复后,模型根据上下文挑一组动作播放,例如「开心跃动 → 放风筝」。
  • 长时间没人说话,模型会安排一段接近一整天的动作编排,短片穿插、长动作按 时长保持,放完继续循环。
  • 没有配置模型或请求失败时,角色会回退到内置的规则播放,不会僵住。

语音

  • 可以朗读回复:接口语音或系统语音,接口失败自动退回系统语音。
  • 支持语音输入:本地识别、接口转写、用对话模型转写。

表达

  • 回复可带贴纸。
  • 可以让角色画一张图并显示出来。
  • 工具调用以卡片形式展示。

桌面版专属

  • 透明无边框置顶窗口,角色轮廓外点击穿透到桌面。
  • 左键拖动角色移动位置,快速甩动会惯性滑动并撞边反弹。
  • 托盘菜单、右键菜单、全局快捷键。
  • 常驻聊天悬浮球,点击展开聊天窗口。
  • 窗口位置和角色大小会被记住。

外观

  • 浅色、深色、跟随系统三种主题。

使用

桌面版

双击 release/aipets.exe 即可运行,不需要安装。

  • 移动角色:左键拖动。快速甩一下,角色会带着惯性滑一段。
  • 和角色聊天:点右下角悬浮球,聊天窗口会在旁边展开;再点一次收起。
  • 右键角色:打开聊天、设置,或隐藏桌宠。
  • 托盘图标:单击显示/隐藏桌宠;右键有聊天、设置、鼠标穿透、置顶、 关闭进托盘、重新加载、退出。
  • 快捷键:
    • Ctrl+Shift+P:显示 / 隐藏桌宠
    • Ctrl+Shift+L:切换鼠标穿透
  • 关闭窗口:默认收进托盘继续运行,只有托盘里的“退出”才真正结束进程。
  • 设置:右键角色或托盘里进入设置。角色大小在「角色卡」里调缩放。

用户配置保存在 %USERPROFILE%\.aipet。

网页版

打开 http://127.0.0.1:5173/#/:

  • #/ 舞台,角色居中,右下角是聊天悬浮球。
  • #/pet 网页桌宠。
  • #/settings 设置。

网页版用于预览和调试,没有托盘、窗口穿透等桌面能力。

开发者命令

npm install            # 安装依赖

npm run dev            # 只起网页开发服务器(5173)
npm run dev:electron   # 同时起 Vite 与桌面版窗口

npm run build          # 类型检查 + 前端构建
npm run dist           # 打 Windows 便携版:release/aipets.exe

npm run test           # 单元测试
npm run lint           # 代码检查

角色素材在 assets/characters,需要重建索引时执行 npm run characters。

About

一个可以对话交互的ai桌面宠物,身体机能模块持续开发中。计划桌宠主动互动功能,人宠游戏,更多身体机能。

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages