AIGC + RTE,一个实时互动的应用实践

AIGC + RTE,一个实时互动的应用实践

    正在检查是否收录...
一言准备中...

一夜之间,区块链、元宇宙、Web3、VR等风口似乎都消散了,似乎只有 AI 才是C位。声网 RTC + 云市场各类插件 + AIGC,会迸发出什么样的火花呢?

最近,声网内部组织了一次黑客松,经过激烈的角逐,我们团队荣获冠军。接下来,我们来介绍下我们的项目:Infinite Lego(无限乐高)和我们如何实现的。废话不多说,先看下我们的宣传片 Trailer:点击查看视频

设计构思

近期,随着 ChatGPT 和 AIGC 的爆火,我们非常想探索下,声网 RTE API + 声网云市场各类型插件 + AIGC 一起能实现什么有趣的场景。


在从前车马慢的时候,传统的互动方式是书信,受制于地理和时间的因素,非常不方便。在过去 100 多年中,随着电话、邮件、手机、短信、VoIP、微信等社交网络的发明,人类的互动已经接近实时。但是依然受制于文化差异、语种、专业、语境的差别,让人们在理解彼此上依然有困难。我们坚信,有了AIGC,从此,实时互动进入了智能实时互动的时代,可以克服文化、语种、专业、语境等限制。

AIGC 引发的交互革新

这是我们整个项目实现的不同场景:

AIGC 的引入使云市场插件的交互方式发生了革新。通过 AIGC 技术,声网云市场插件可以实现更加智能化的交互,例如,在和 AIGC 交互时通过转写类插件进行语音识别和自然语言处理,使得用户可以通过语音直接与应用进行交互。这种新的交互方式大大提升了用户的使用体验,从而在众多应用中脱颖而出。

除此之外,还可以在语音输出的时候选择方言,配合提示词使用,创造出各式各样的应用场景。

我们是怎么实现的?

声网云市场的各类型插件给我们构建这样的方案提供了极大便利,我们想到了 RTC + 实时转写 + ChatGPT + 文字转语音 + 文字驱动虚拟人 + 实时变声的功能组合,于是从构思到设计、从开发到调试用了 2 天就保质保量地完成了整个项目。

为什么会这么快?

在传统的集成 RTC 业务的时候,我们需要确保链路如下:

如果需要接入一些其他厂家提供的特效处理,需要在前处理和后处理用裸数据接入,费时费力。

而云市场插件可以作为一个不错的解决方案,来实现在实时的音频和视频通信的基础上添加许多新功能,满足了各种业务需求。开发者可以轻松地将诸如视频特效、音频特效等功能集成到他们的应用中,为用户带来更丰富的交互体验。

欢迎尝试我们的项目(目前只支持安卓端):

蒲公英链接: https://www.pgyer.com/rZPz

aigcrtcchatgptgpt实时互动chat元宇宙exo实时转写语音输出视频特效web提示词语言处理文字转语音apiweb3开发者社交网络解决方案智能化区块链语音识别虚拟人自然语言处理自然语言url
  • 本文作者:WAP站长网
  • 本文链接: https://wapzz.net/post-4193.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.7W+
9
1
2
WAP站长官方

人工智能在商业建筑能源效益中的作用

上一篇

Humane计划于2024年3月发布基ChatGPT可佩戴设备AI Pin

下一篇
  • 复制图片
按住ctrl可打开默认菜单