做了一款开源的 LLM 3D 虚拟陪伴产品

前言

不知道大家有没有看过电影《 Her 》或者《银翼杀手 2049 》，电影里主角的女朋友 JOI 是没有实体的"虚拟女友"，还记得第一次看电影时候带给我的震惊，如果这就是未来，那么我希望马上穿越到未来！这两年随着 AI 技术的快速发展，大模型为这个领域注入了极大的可能性，虚拟陪伴这个概念终于有了实现的可能！

其实这个想法非常普通，毕竟谁不想拥有一个 JOI 这样的虚拟伴侣呢？实际上在 LLM 出来之前我已经玩过太多类似的软件，比如伪春菜，桌宠，甚至 VR 女友，人工少女，VAM 等都有，不过他们都像是玩偶一样只能摆弄，无法沟通和对话，也就没有灵魂。有了 GPT 之后相当于最关键的智能部分已经足够成熟，上 B 站随便搜索下 AI 虚拟女友都能看到很多实现，而且角色扮演类的应用也是层出不穷，比如豆包，星野，Glow ，筑梦岛，猫箱，以及国外比较火的 C.AI ，Replika 等。

为什么做？

那为什么要再做一个类似的开源产品呢？

• 一方面上述这些产品我都玩过，大多只有聊天框或者能够语音陪聊，当然这些产品的功能和体验都做得非常棒，不过我还是希望能够跟一个有形象的 AI 助手进行对话，而不是只有聊天框。我希望她有情绪，有表情，有动作，能发出声音，唱唱跳跳，也许更进一步可以和我进行互动，未来也可以在元宇宙（ VR ）里面对面。然而像 Replika 这样产品的 3D 形象真是一言难尽...说实话我有点搞不清楚歪果仁的审美...
• 另一方面这些产品因为国内监管或者自身利益等原因无法真正施展，而在这一方面开源软件具备天然的优势，可以集成市面上最好的模型和语音服务，可以根据自己的喜好设定角色等，在可玩性上可以做到很好，在 AI 陪聊开源领域比如SillyTavern 的可玩性就非常强，有很多可以后续借鉴的地方，可惜交互设计有点差强人意了。

基于以上考虑我决定做一款基于 AI 的开源 3D 虚拟陪伴应用，还有什么比自己亲手创造一个自己的伴侣更更让人有成就感的呢？当然虚拟女友的终极形态我觉得还得靠具身智能或者生物科技的发展，不过这些都相对比较遥远，使用当下能够利用的技术实现自己想要的效果我觉得是更加务实的选择。

项目介绍

说回项目，这个项目叫做 LobeVidol ，是 Lobehub 社区的一个开源子项目，初衷是希望让每个人都能拥有自己的虚拟偶像，项目 Github 地址是 https://github.com/lobehub/lobe-vidol ，你的 Star 是对我们最大的鼓励！

目前项目的试用截图如下：

功能介绍

1. 流畅的对话体验：支持流式响应带来流畅的对话体验。
2. 背景情境设定：你可以根据场景试用不同的背景让对话更加生动有趣。
3. 丰富的动作和姿式库：内置 Mixamo 角色动作与姿式库，让角色在对话时可以设定丰富的肢体语言。
4. 精致 UI 设计：支持亮暗色主题，支持 PWA ，以及做了一小部分的移动适配：
5. 丰富的角色设定：使用角色编辑可以创建属于自己的虚拟偶像，设定触摸反应，上传 VRM 模型并与他们互动。
6. MMD 舞蹈支持：使用 MMD 舞蹈文件和 PMX 舞台文件，与你的虚拟偶像一起跳舞。
7. 角色市场：通过创建角色功能，你可以轻松地将作品提交到平台，让自己捏的崽让更多人看到
8. 舞蹈市场：在舞蹈市场中，你可以找到丰富的 MMD 舞蹈资源，搭配不同的角色、舞台、音乐和舞蹈。
9. TTS & STT 语音会话：支持文字转语音(TTS)和语音转文字(STT)技术。
10. 触摸响应功能：点击角色的不同身体部位，角色将做出不同的反应。你也可以自定义编辑触摸反应

篇幅有限，这里只做简短的功能描述，有兴趣的话可以到我们的 Github 网站上查看详细介绍~

后记

其实从去年 10 月份开始有这个想法，后续利用业余时间断断续续做了也有将近一年时间了，因为自身的完美主义情节一直没有怎么做推广，总是想要将功能做完善，结果发现想要做的功能越来越多...也许应该接受产品的不完美，让真实的用户进来试用和反馈才是正确的道路，希望能够得到一些真实的建议和批评，也希望有志同道合的朋友可以一起进来贡献！

另外可能有些同学不清楚怎么申请 OpenAI Key 或者代理，可以参考文档 https://docs.vidol.chat/usage/providers/openai

相关链接

• 项目文档：https://docs.vidol.chat/
• 项目地址：https://vidol.lobehub.com/
• Github 地址：https://github.com/lobehub/lobe-vidol
• Discord 社区：https://discord.gg/RbpdWkzw