前言

星云 是魔珐推出的具身智能平台,让大模型不再只是文字或语音,而是有形象的AI,它的延时非常低,而且支持高并发和多端适配,对开发者来说,魔珐星云就像是具身智能的iPhone时刻。本文将介绍如何从零开始,通过魔珐星云平台快速构建一个完整的全球天气预报数字人,包括数字人的创建、SDK的接入、以及最终的部署上线全过程。

开发全球天气预报数字人

  1. 入门:体验魔珐星云数字人

我访问了 魔珐星云 官网,注册后进入应用管理页面,单击"创建新应用"。

然后填入了应用名称,备注没填,选择了竖屏的预览模式。

单击创建按钮后,我进入了应用的人物配置页面。

这里我选择了"黄笙"形象,"高级银幕私享厅"的场景,"温柔小欣"的音色。

然后我进入调试部分,使用默认的画面预设,单击"发送"按钮,等待数字人说话。

单击发送按钮后的效果如下:

最后我单击右上角的"App密匙",复制了该数字人的 App ID 和 App Secret。

  1. 尝鲜:接入数字人的SDK

我想在自己的项目中接入数字人,所以访问了文档中心的 "JS SDK Demo"接入部分,下载了demo文件。

然后我用Qoder打开了该文件。

我根据文件中的README.md说明安装了项目需要的依赖。

npm install -g pnpm
pnpm --version

pnpm i

最后我启动了这个demo。

pnpm run dev

这个demo应用如下图所示:

在页面的右侧需要填入虚拟人SDK配置、语音识别配置和大语言模型配置。

  • 虚拟人SDK配置就是虚拟人的 App ID 和 App Secret。

  • 语音识别配置目前只支持腾讯云:https://console.cloud.tencent.com/asr

  • 大语言模型配置,教程里用的是豆包大模型,可以自己修改。

这里我没有完全依据Demo中的教程走,语音识别我用的腾讯云,大语言模型我使用的是魔搭平台。

对于虚拟人SDK配置,我将虚拟人的 App ID 和 App Secret粘贴到了虚拟人SDK配置部分。

对于语音识别配置,我访问了腾讯云,登陆后新建一个了密匙,复制密匙的APPID,SecretID和SecretKey,粘贴到语音识别的配置部分。

对于大语言模型配置,我访问了魔搭,在魔搭的账号设置部分创建了一个访问令牌。

然后在模型库挑选了一个模型。

接下来,我修改了项目文件src/constants/index.ts

// LLM配置
export const LLM_CONFIG = {
  BASE_URL: 'https://api-inference.modelscope.cn/v1',
  DEFAULT_MODEL: 'Qwen/Qwen3-235B-A22B-Instruct-2507',
  SYSTEM_PROMPT: '你是人工智能助手'
} as const
// 支持的LLM模型列表
export const SUPPORTED_LLM_MODELS = [
  'Qwen/Qwen3-235B-A22B-Instruct-2507'
] as const

最后我将魔搭的访问令牌粘贴到大语言模型配置部分,然后单击连接按钮。

连接后我输入消息,测试对话,结果报错了,于是我查看了魔搭的模型调用代码范例,发现调用的接口url与demo中的不一致。

于是我将大语言模型的代码范例复制粘贴到项目中。

然后将demo项目调用大模型的文件llm.ts和模型代码范例文件llm_demo.py添加到会话,让Qoder帮我修复问题。

修复问题后,我在Qoder预览了项目,测试后发现没有问题了,可以和数字人进行交互了。

这里还有一个BUG,就是我最初创建虚拟人应用的时候,选择的竖屏,导致在浏览器访问应用的时候,必须要将窗口调整为竖屏模式才能展示出数字人。所以我重新创建了一个横屏的应用,效果如下。

可以与数字人进行对话,效果如下:

  1. 实战:开发全球天气预报数字人

天气预报数字人项目是一个集成语音识别、大语言模型和数字人渲染的智能交互系统,用户可通过语音或文字查询天气,系统调用Open-Meteo API获取数据,经大语言模型处理后,由数字人形象生动展示。核心功能包括:天气查询、语音识别、数字人交互、配置管理。技术架构基于Vue3+Vite,集成魔珐星云数字人、腾讯云ASR和ModelScope LLM服务。支持多城市查询、实时字幕显示、语音动画效果,提供简洁直观的UI界面和良好的用户体验。项目架构图如下:项目架构图如下:

我编写了mcp_client.tsweather.ts两个脚本。

  • mcp_client.ts是大模型调用工具的客户端脚本。

  • weather.ts是全球天气的MCP服务脚本。

等待Qoder修改代码后,我启动项目并测试,发现天气服务用中文城市名进行查询,导致查询失败的问题。

我让Qoder帮我修复这个问题后,再进行测试,就没有问题了。

我优化了一下大模型的提示词,给予数字人天气预报助手的身份。

你是一个专业又亲切的天气预报助手。在回复时请注意:1. 使用第一人称(我)和用户进行交流,语气要亲切友好。2. 不要使用markdown格式,不要使用星号、下划线、井号等标记符号。3. 当用户询问天气时,如果是中文城市名(如上海、北京、杭州等),你需要先转换为对应的英文名称(Shanghai、Beijing、Hangzhou),然后调用天气查询工具,调用时city参数必须使用英文。4. 获取到天气数据后,用自然流畅、像朋友聊天一样的语气告诉用户天气情况。5. 回答要简洁明了,避免过于正式或冗长。

再次启动项目,页面如下图所示。

测试一下这个天气预报数字人的效果。

最后我将这个天气预报数字人部署上线了魔搭创空间(开源了代码),大家可以体验,也可从我的代码中找找灵感。

  1. 拓展:将数字人部署上线

可以将数字人上线,让大家和数字人进行交互。

我选择了魔搭的创空间(理由很简单,因为它免费),利用Docker将数字人部署上线。

首先我访问了魔搭创空间,以编程式创建的方式创建一个创空间。

然后配置了创空间的基本信息。

然后我将创空间克隆下来,将demo项目粘贴到创空间,再让Qoder帮我安装docker并部署。

帮我安装docker,Docker Desktop,并且配置好相关的依赖。
请帮我配置好对应的docker相关的文件,注意需要配置ENTRYPOINT,在代码中将服务启动在0.0.0.0,端口7860。  
配置完成后,我需要你自行的进行测试,确保打包好的docker镜像可以正常的运行在本地。

接下来,我将修改后的文件提交到创空间。

最后单击上线,等待项目上线。

这里我也遇到一些BUG,通过查看日志,我将这些BUG发给Qoder,让它帮我解决,然后再上线。

最后成功上线啦,大家都可以访问:全能数字人 体验数字人。

魔珐星云产品体验分享

  1. 魔珐星云产品的6大核心特点

  1. 电影级3D数字人:基于文生3D多模态动作大模型,生成高质量、逼真的3D数字人形象,达到电影级视觉效果。

  2. 免显卡端渲染SDK:创新的端渲染技术,无需GPU即可实现高质量3D数字人渲染,能在3566上实现"无GPU运行"。

  3. 低延时高并发:通过AI端渲和解算优化,实现极低的响应延时,支持大规模并发访问。

  4. 多模态交互能力:集成语音识别、自然语言理解、表情动作控制等多模态技术,实现自然流畅的人机交互。

  5. 多端适配部署:支持Web、移动端、嵌入式设备等多种平台部署,满足不同场景需求。

  6. 易用的开发接口:提供简洁的SDK和API,开发者仅需十行代码即可快速集成3D数字人功能。

  1. 打破3D数字人生成的质量、成本、延时不可能三角

魔珐星云产品通过文生3D多模态动作大模型和AI端渲和解算,真正实现了打破3D数字人生成的质量、成本、延时不可能三角,从而真正支持AI具身智能大规模应用。

传统的3D数字人制作需要大量的人工建模、动作捕捉和渲染工作,成本高昂且周期长。而魔珐星云通过先进的AI技术,实现了从文本到3D数字人的自动生成,大幅降低了制作成本和时间。同时,通过端渲染技术,解决了数字人运行对高性能硬件的依赖问题,使得数字人可以在普通设备上流畅运行。

  1. 魔珐星云产品的使用场景

  • 公共服务屏:酒店大堂、银行、医院、车站等24/7全天候服务

魔珐星云的3D数字人可以作为智能客服,在各类公共场所提供24小时不间断的服务。无论是酒店前台咨询、银行业务引导,还是医院导诊、车站信息查询,数字人都能以亲切自然的方式与用户交互,提升服务效率和用户体验。

  • 零售/营销屏:商场、门店、数字标牌等主动与顾客交流

在零售和营销场景中,魔珐星云数字人可以作为智能销售员,主动与顾客交流,推荐商品,解答疑问。通过逼真的形象和自然的交互,能够有效吸引顾客注意力,提升转化率。

  • 个人设备:手机、电视、车机屏等变成日常的AI伙伴

魔珐星云的免显卡端渲染SDK技术,使得数字人可以在手机、电视、车机等个人设备上运行,成为用户日常的AI伙伴。用户可以与数字人进行自然对话,获取信息、娱乐或执行各种任务。

  • 沉浸式场景:AR/VR/MR头显等迈向下一代交互入口

在AR/VR/MR等沉浸式场景中,魔珐星云数字人可以作为虚拟助手或角色,为用户提供更加沉浸和自然的交互体验,推动下一代交互入口的发展。

  • 让人形机器人"会交流":驱动人形机器人,让人形机器人从会动会操作的蓝领,升级为能理解、会交流的智能白领

通过魔珐星云的技术,可以为人形机器人赋予更加自然和智能的交流能力,使其从简单的执行工具升级为能够理解用户需求、进行复杂交互的智能伙伴。

  • 让每一个IP都"活"起来:从虚拟角色到真实体验,每一个IP,都能拥有灵魂

总结

通过本次实践,我成功构建了一个完整的AI具身智能应用,验证了魔珐星云平台的技术实力和应用价值。对于希望快速构建3D数字人应用的开发者来说,魔珐星云提供了一个高效、易用的解决方案。

Logo

电影级数字人,免显卡端渲染SDK,十行代码即可调用,工业级demo免费开源下载!

更多推荐