阿里巴巴开源项目DreamTalk,能让人物头像栩栩如生地说话,支持多语言、歌曲、嘈杂音频匹配,开放更多开发者创新。
DeWave功能展示
2023年,淘宝不仅通过“号店一体”、为全量商家开放会员运营功能等,强化了品牌的私域运营能力,还先后引进了东方甄选等顶流机构。据统计,2023年,淘宝直播从各平台吸引了超过50万网红新主播入淘扎根。
VCoder作为一个视觉编码器,为MLLM提供了更好的视觉感知能力,能够处理特殊类型的图像,并改善了对象感知任务的表现。在与其他模型的比较中,VCoder在对象计数和识别方面表现出色,特别是在复杂场景中。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。