近期，多家厂商发布了视觉模型，结合C端应【原创内容，转载请注明出处】【访问 www.tangshuang.net 获取更多精彩内容】用市场的情况，我有理由相信，AI应用方向本文版权归作者所有，未经授权不得转载。【版权所有，侵权必究】正在从LLM聊天应用向视觉应用转变。从单转载请注明出处：www.tangshuang.net【原创内容，转载请注明出处】纯的聊天工具大行其道，到类似写作类cop【原创不易，请尊重版权】【本文首发于唐霜的博客】ilot工具的盛行，AI应用在2024年【转载请注明来源】本文版权归作者所有，未经授权不得转载。已经呈现出了巨大的潜力，但你要知道，现在【作者：唐霜】著作权归作者所有，禁止商业用途转载。才5月，从业界顶尖会议提出AI应用将成大【未经授权禁止转载】本文版权归作者所有，未经授权不得转载。趋势，到现在才不过短短半年，可见在AI应著作权归作者所有，禁止商业用途转载。【本文首发于唐霜的博客】用领域，世界发展的有多快。本文就来聊一聊著作权归作者所有，禁止商业用途转载。【本文首发于唐霜的博客】我所看到的趋势和机会。

大模型成为AI领域统治级范式【访问 www.tangshuang.net 获取更多精彩内容】

在GPT-3.5之前，AI训练总是具有针本文版权归作者所有，未经授权不得转载。【本文首发于唐霜的博客】对性，不同厂商、团队的方案百家争鸣，但在【版权所有】唐霜 www.tangshuang.net未经授权，禁止复制转载。ChatGPT被广泛认可之后，大模型已经【关注微信公众号：wwwtangshuangnet】【转载请注明来源】成为AI领域的核心范式，甚至成为一家新的【访问 www.tangshuang.net 获取更多精彩内容】【原创内容，转载请注明出处】AI创业公司的唯一选择。通过训练大模型来著作权归作者所有，禁止商业用途转载。本文作者：唐霜，转载请注明出处。获得需要的AI能力，已经成为一种普遍被认原创内容，盗版必究。本文版权归作者所有，未经授权不得转载。可的方式，这一模式从LLM领域扩展到多模【未经授权禁止转载】【版权所有，侵权必究】态领域、文生图领域、图生图领域、文生视频转载请注明出处：www.tangshuang.net【本文首发于唐霜的博客】领域、图生视频领域……几乎我们已知的各类【作者：唐霜】转载请注明出处：www.tangshuang.net领域，都可以使用训练大模型的方式，获得针【版权所有，侵权必究】【本文受版权保护】对该领域的AI模型。

AI领域当下发生着哪些有趣的事？转载请注明出处：www.tangshuang.net

Stability在经历了创始人出走的情【关注微信公众号：wwwtangshuangnet】【版权所有】唐霜 www.tangshuang.net况下，发布了Stable Diffusi【版权所有】唐霜 www.tangshuang.net【版权所有】唐霜 www.tangshuang.neton 3，获得了更优秀的成图能力，结合早本文版权归作者所有，未经授权不得转载。【转载请注明来源】前发布的Stable Diffusion未经授权，禁止复制转载。本文版权归作者所有，未经授权不得转载。 XL底层架构，可以预测新版本的SD将拥【未经授权禁止转载】【原创不易，请尊重版权】有更强的性能。同时，官方推出的Stabl【本文首发于唐霜的博客】本文版权归作者所有，未经授权不得转载。e Video Diffusion也是令【未经授权禁止转载】本文版权归作者所有，未经授权不得转载。人眼前一亮。SD生态中，SD webui本文作者：唐霜，转载请注明出处。本文版权归作者所有，未经授权不得转载。发布了1.9，新工具forge将让客户端本文作者：唐霜，转载请注明出处。著作权归作者所有，禁止商业用途转载。具有更强的性能和能力。在文生图领域，除了【原创不易，请尊重版权】著作权归作者所有，禁止商业用途转载。Stability之外，国内的一众团队开本文作者：唐霜，转载请注明出处。【版权所有，侵权必究】发出的新产品也是令人兴奋，在开源工具的基【访问 www.tangshuang.net 获取更多精彩内容】著作权归作者所有，禁止商业用途转载。础上，分享绘画模型、工作流等，形成了AI【本文首发于唐霜的博客】【原创不易，请尊重版权】视觉领域的社区氛围。

在Suno几乎成为统治者的时候，Udio未经授权，禁止复制转载。原创内容，盗版必究。横空出世与之分庭抗礼。从歌词到歌曲再到M本文版权归作者所有，未经授权不得转载。【作者：唐霜】V，几个新平台可以让音乐创作从专业工作，【本文受版权保护】本文版权归作者所有，未经授权不得转载。变为普通人可以短短几分钟实现的有趣事情，本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。AI在音乐领域真正做到了平权，让普通人可【未经授权禁止转载】转载请注明出处：www.tangshuang.net以通过音乐这种形式，完成自己抒发某时某刻【访问 www.tangshuang.net 获取更多精彩内容】【转载请注明来源】心情的创意。

从阿里所谓开源EMO引起的争议，到最终在【本文首发于唐霜的博客】原创内容，盗版必究。通义应用中落地的不错效果，在AI视频领域【未经授权禁止转载】本文版权归作者所有，未经授权不得转载。也出现百花斗艳的场景。通过一张照片就可以【版权所有，侵权必究】【版权所有】唐霜 www.tangshuang.net让其中的人物活起来，并且具有较强的口型拟本文作者：唐霜，转载请注明出处。本文作者：唐霜，转载请注明出处。合，非常有意思。腾讯开源VideoReT【未经授权禁止转载】【访问 www.tangshuang.net 获取更多精彩内容】alking，微软在azure平台上线具转载请注明出处：www.tangshuang.net【访问 www.tangshuang.net 获取更多精彩内容】有情感和语气的文转音，数字人领域平民化也【原创内容，转载请注明出处】【转载请注明来源】是指日可待。

从年初Sora PPT式发布，到陆续有厂【本文首发于唐霜的博客】原创内容，盗版必究。商进入内测名单，到open-sora开源【作者：唐霜】原创内容，盗版必究。项目上线，再到业内其他竞品陆续跟进，虽然【作者：唐霜】【转载请注明来源】sora至今未上线对公众服务，但是整个业著作权归作者所有，禁止商业用途转载。【版权所有，侵权必究】界在AI生成视频领域已经发出了最强的期待【访问 www.tangshuang.net 获取更多精彩内容】未经授权，禁止复制转载。之声。虽然目前几乎所有的工具在生成视频这本文作者：唐霜，转载请注明出处。未经授权，禁止复制转载。件事上，还很难做到完全规避大模型的幻觉问【访问 www.tangshuang.net 获取更多精彩内容】【作者：唐霜】题，以及保持一致性问题，但是在退一步的情本文版权归作者所有，未经授权不得转载。【原创内容，转载请注明出处】况下，利用SD关键帧等的技术方案，也可以【版权所有，侵权必究】本文版权归作者所有，未经授权不得转载。实现视频换风格、换脸、换人、换背景等效果【版权所有】唐霜 www.tangshuang.net著作权归作者所有，禁止商业用途转载。，和传统视频处理工具要方便很多。

对于老厂家们而言，微软在office软件原创内容，盗版必究。【版权所有，侵权必究】中接入copilot技术，实现文件编辑时【访问 www.tangshuang.net 获取更多精彩内容】【作者：唐霜】局部生成能力；Adobe在其全线设计软件【版权所有】唐霜 www.tangshuang.net【原创内容，转载请注明出处】中接入AI能力，可以通过涂抹局部后，用文著作权归作者所有，禁止商业用途转载。【版权所有】唐霜 www.tangshuang.net字描述来实现设计，效果炸裂；苹果则是在前转载请注明出处：www.tangshuang.net【转载请注明来源】脚宣布与谷歌合作后，推出自己的小体量参数著作权归作者所有，禁止商业用途转载。【作者：唐霜】大模型ReALM，实现了对屏幕信息的识别【关注微信公众号：wwwtangshuangnet】【本文首发于唐霜的博客】和理解，让大模型在用户操作的理解上更进一【作者：唐霜】本文作者：唐霜，转载请注明出处。步。

AI将主导内容领域生产著作权归作者所有，禁止商业用途转载。

这一轮LLM-based Agent的大【版权所有】唐霜 www.tangshuang.net著作权归作者所有，禁止商业用途转载。发展，将会颠覆内容生产方式，无论是在C端【原创内容，转载请注明出处】著作权归作者所有，禁止商业用途转载。还是B端，过去我们很多内容生产很多讲创意未经授权，禁止复制转载。未经授权，禁止复制转载。，讲技术，但真正是创意的寥寥无几，很多都【版权所有，侵权必究】【原创内容，转载请注明出处】是搬运工​。而这一轮AI技术的发展，将彻著作权归作者所有，禁止商业用途转载。本文作者：唐霜，转载请注明出处。底颠覆之前的状况，B站百大影视飓风之前一著作权归作者所有，禁止商业用途转载。【原创不易，请尊重版权】期节目讲帮助一个残疾的兄弟实现运动梦想，【访问 www.tangshuang.net 获取更多精彩内容】【未经授权禁止转载】使用了非常多传统的影视剪辑和特效技术，成【未经授权禁止转载】【作者：唐霜】本巨大，但就当前的AI技术而言，要实现相【本文首发于唐霜的博客】转载请注明出处：www.tangshuang.net同的效果，或许并不需要那么大的人力物力成未经授权，禁止复制转载。【版权所有，侵权必究】本。在B端，很多所谓的编辑、整理、分析工未经授权，禁止复制转载。【原创内容，转载请注明出处】作，本质上都是文字处理的关联工作，在AI【访问 www.tangshuang.net 获取更多精彩内容】【原创内容，转载请注明出处】的冲击下，这些工作人的成分会逐渐减少，除转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.net了人力成本的考虑之外，内容质量和​时间效转载请注明出处：www.tangshuang.net未经授权，禁止复制转载。率的考量才是最重要的。

过去半年，我注意到抖音上AI创作的内容比【版权所有，侵权必究】本文版权归作者所有，未经授权不得转载。重在不断攀升​。以网文故事创作为例，通过著作权归作者所有，禁止商业用途转载。原创内容，盗版必究。大模型生成故事，通过生图、生视频模型完成【作者：唐霜】【本文首发于唐霜的博客】素材生产，再配合工具自动完成剪辑，连载网【转载请注明来源】【未经授权禁止转载】文短视频以强烈的AI画风口感和爆爽的故事【本文受版权保护】【原创不易，请尊重版权】背景设定，剥夺了很多其他短视频​的生成空【本文受版权保护】原创内容，盗版必究。间。而就这类短视频的制作团队而言，除了成【关注微信公众号：wwwtangshuangnet】【版权所有，侵权必究】本降低之外，还可以通过推流来实现为其他短未经授权，禁止复制转载。【作者：唐霜】剧、游戏平台、购物平台的引流，从而实现盈原创内容，盗版必究。【关注微信公众号：wwwtangshuangnet】利​。这种AI内容抢占用户流量的现象，在【原创内容，转载请注明出处】本文版权归作者所有，未经授权不得转载。未来只会愈演愈烈​。不能说劣币驱逐良币，本文版权归作者所有，未经授权不得转载。转载请注明出处：www.tangshuang.net只能说基于流量为目的的内容推送时代，会被【作者：唐霜】【原创不易，请尊重版权】AI所统治，进而有可能出现，人类的内容消【版权所有】唐霜 www.tangshuang.net【原创不易，请尊重版权】费由AI​来决定的最终局面。

AI向内容领域的入侵，必然带来某些职业群【原创内容，转载请注明出处】【版权所有，侵权必究】体的危机，这值得我们​关注。从辅助人类提未经授权，禁止复制转载。本文版权归作者所有，未经授权不得转载。升效率提升生产力的工具，到变成抢人类工作【本文受版权保护】著作权归作者所有，禁止商业用途转载。的威胁，AI在现实中的应用范围，应该值得【作者：唐霜】本文作者：唐霜，转载请注明出处。​所有人思考。

为什么视听领域是Agent趋势本文版权归作者所有，未经授权不得转载。

首先，当下的AI技术本身具有内容增强属性原创内容，盗版必究。本文作者：唐霜，转载请注明出处。，人们正在利用AI的工具属性改造现有工具著作权归作者所有，禁止商业用途转载。转载请注明出处：www.tangshuang.net，以在内容创作领域更快的产生内容，而内容未经授权，禁止复制转载。【版权所有】唐霜 www.tangshuang.net领域的终极就是视听产品，例如短视频、电影【转载请注明来源】著作权归作者所有，禁止商业用途转载。、电视节目、游戏等​。这一轮AI技术的发本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。展，就目前来看，在应用领域，将AI作为内【关注微信公众号：wwwtangshuangnet】【转载请注明来源】容生产工具首当其冲，而技术研究和应用总是【版权所有，侵权必究】【作者：唐霜】相辅相成的，当应用领域对内容生产的需求巨【原创不易，请尊重版权】原创内容，盗版必究。大时，大模型基座的研究也会顺着需求的方向【本文首发于唐霜的博客】未经授权，禁止复制转载。，在内容生产的终极方向——视听领域​——本文版权归作者所有，未经授权不得转载。著作权归作者所有，禁止商业用途转载。不断发力。如此相互作用，类似Stabil【原创内容，转载请注明出处】【原创内容，转载请注明出处】ity的SDXL方向，清华研究团队的LC【转载请注明来源】转载请注明出处：www.tangshuang.netM方向，都为实现实时生成（Realtim【转载请注明来源】本文版权归作者所有，未经授权不得转载。e Generation）提供了可能性​【原创内容，转载请注明出处】本文版权归作者所有，未经授权不得转载。。一旦实时生成技术成熟，那么我在以前多次【版权所有】唐霜 www.tangshuang.net【本文首发于唐霜的博客】提到的实时​互动视频生成将成为可能。

其次，图像和声音的生成，给大模型团队更多未经授权，禁止复制转载。原创内容，盗版必究。挑战的刺激感，而大模型范式遵循scali【版权所有】唐霜 www.tangshuang.net【版权所有，侵权必究】ng law，只要按照其范式训练大模型，【未经授权禁止转载】本文作者：唐霜，转载请注明出处。总是能大力出奇迹，看到胜利的曙光，不用担未经授权，禁止复制转载。【未经授权禁止转载】心失败，因此，对于视听大模型的训练团队而【转载请注明来源】原创内容，盗版必究。言，将来必然获得成就感，而难度摆在那里，本文版权归作者所有，未经授权不得转载。著作权归作者所有，禁止商业用途转载。未来成功的​可能性也大大增强。南开大学和未经授权，禁止复制转载。【版权所有】唐霜 www.tangshuang.net字节跳动合作，提出了StoryDiffu本文版权归作者所有，未经授权不得转载。【版权所有，侵权必究】sion模型，以较小的训练代价生成一致的【转载请注明来源】【原创不易，请尊重版权】漫画和长视频​。随着商业应用的竞争白热化【本文首发于唐霜的博客】【版权所有】唐霜 www.tangshuang.net，底层模型的研究也愈发激烈​。视听模型的【版权所有】唐霜 www.tangshuang.net【访问 www.tangshuang.net 获取更多精彩内容】潜在商业价值无可估量，甚至一个模型的应用著作权归作者所有，禁止商业用途转载。本文版权归作者所有，未经授权不得转载。化就是一家独角兽创业公司​的全部核心。

最后，视听是人类对世界模型认知的凝固​。【本文首发于唐霜的博客】【原创不易，请尊重版权】人类对外界的认知，80%以上来自视听感官本文作者：唐霜，转载请注明出处。【原创不易，请尊重版权】，而很明显，即便是盲人摸象，这80%的认【原创不易，请尊重版权】原创内容，盗版必究。知也足够构建起真实世界​80%的真相。可本文作者：唐霜，转载请注明出处。【关注微信公众号：wwwtangshuangnet】见，视听模型的建立，对人类认识这个世界​原创内容，盗版必究。【作者：唐霜】意义重大。从Sora出现开始，对建立AI【版权所有】唐霜 www.tangshuang.net【关注微信公众号：wwwtangshuangnet】自动生成的世界模型的追求，成为很多人在A【本文受版权保护】本文版权归作者所有，未经授权不得转载。I领域研究的​主要动力。把人类认知中，最【版权所有】唐霜 www.tangshuang.net【本文受版权保护】高形态的部分，通过AI表现出来，在现实世【原创不易，请尊重版权】【关注微信公众号：wwwtangshuangnet】界中也可能存在重要意义，例如对自闭症患者转载请注明出处：www.tangshuang.net【版权所有】唐霜 www.tangshuang.net认知世界的理解，对婴幼儿认知教育​的辅助原创内容，盗版必究。【未经授权禁止转载】等等。正如我们在有些电影中听到的一样，正【版权所有，侵权必究】【版权所有】唐霜 www.tangshuang.net常人眼中的数字，在文字认知障碍小孩眼中可【原创内容，转载请注明出处】【访问 www.tangshuang.net 获取更多精彩内容】能就是遨游在宇宙中的怪物一样​。通过构建【版权所有，侵权必究】【未经授权禁止转载】世界模型，我们可以更了解人类自身​。

Agent的智能将成为人类的第二大脑【版权所有】唐霜 www.tangshuang.net

目前，AI在内容领域的颠覆性已经被展现的【版权所有，侵权必究】【未经授权禁止转载】淋漓尽致，但作为“人工智能”的“智能”部转载请注明出处：www.tangshuang.net未经授权，禁止复制转载。分，并不局限于对人类语言的理解和生成​。转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.net例如我多次提到的comfyui，其本质上【转载请注明来源】【原创内容，转载请注明出处】还是利用SD的生成能力，而在智能上的体现【本文首发于唐霜的博客】【关注微信公众号：wwwtangshuangnet】，​显得非常死板。

人类对AI的最终幻想，是有自我意识和决策转载请注明出处：www.tangshuang.net本文版权归作者所有，未经授权不得转载。能力的超级智能体​。最近微软首次推出了V【版权所有】唐霜 www.tangshuang.net【转载请注明来源】IDiff（Video Instruct未经授权，禁止复制转载。【本文首发于唐霜的博客】ion Diffusion），一个通用的【本文首发于唐霜的博客】转载请注明出处：www.tangshuang.net视频扩散框架，统一的视频理解和编辑​。据转载请注明出处：www.tangshuang.net本文作者：唐霜，转载请注明出处。我所知，剪映团队也正在利用AI升级其​视本文作者：唐霜，转载请注明出处。未经授权，禁止复制转载。频编辑系统。被称为“人工智能教母”的李飞本文作者：唐霜，转载请注明出处。【未经授权禁止转载】飞宣称将休学创业，她提出一种可以合理推断【原创不易，请尊重版权】【转载请注明来源】出图像和文字在三维环境中的样子的算法，并【转载请注明来源】【作者：唐霜】据此预测采取行动，这种算法概念被称为“空本文作者：唐霜，转载请注明出处。原创内容，盗版必究。间智能”​。而openAI与Figure【关注微信公众号：wwwtangshuangnet】【原创内容，转载请注明出处】合作后，公开视频显示该公司最新机器人在有著作权归作者所有，禁止商业用途转载。转载请注明出处：www.tangshuang.net了大模型的支持后，自主决策能力更强​。

LLM涌现的推理能力、CoT等，让我们意转载请注明出处：www.tangshuang.net【访问 www.tangshuang.net 获取更多精彩内容】识到，“思考”这件事本身是有迹可循的​。【原创不易，请尊重版权】【本文受版权保护】AI智能体的终极形态，是完全自主的思考和著作权归作者所有，禁止商业用途转载。著作权归作者所有，禁止商业用途转载。决策，以服务于人​。但就当下而言，我们对本文版权归作者所有，未经授权不得转载。【原创内容，转载请注明出处】这个部分的开发还很少，我们把大部分精力都本文作者：唐霜，转载请注明出处。【原创内容，转载请注明出处】投入在内容生产方面，而对开发“第二大脑”【关注微信公众号：wwwtangshuangnet】【版权所有】唐霜 www.tangshuang.net的重要程度​放在“后面再说”的位置上。最转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.net近以付盛为代表的人士提出类似“大模型没必【版权所有，侵权必究】转载请注明出处：www.tangshuang.net要，小模型刚刚好”这样的理念，他们关注实【版权所有】唐霜 www.tangshuang.net本文作者：唐霜，转载请注明出处。际应用的商业成本与利润，大于让大模型​在本文版权归作者所有，未经授权不得转载。原创内容，盗版必究。思考能力上更进一步。

虽然当下，AI在内容生产领域非常火爆，但转载请注明出处：www.tangshuang.net本文版权归作者所有，未经授权不得转载。是我相信，在工业领域、交通领域、金融领域本文作者：唐霜，转载请注明出处。【本文首发于唐霜的博客】、安全领域等的AI应用，才意味着作为“工【版权所有】唐霜 www.tangshuang.net【转载请注明来源】业革命”概念股的成功​。而能够作为“人类本文作者：唐霜，转载请注明出处。【版权所有】唐霜 www.tangshuang.net第二大脑”存在，弥补人类在认知和决策上的【访问 www.tangshuang.net 获取更多精彩内容】未经授权，禁止复制转载。不足，才是这一轮Agent发展的​目标。

结语【版权所有】唐霜 www.tangshuang.net

2024年，作为AI元年次年，整个行业发本文作者：唐霜，转载请注明出处。本文作者：唐霜，转载请注明出处。生着巨大的变化。而2024年的国际金融处著作权归作者所有，禁止商业用途转载。转载请注明出处：www.tangshuang.net于冰封期，AI行业没有遇到投资的好时候，【访问 www.tangshuang.net 获取更多精彩内容】【版权所有】唐霜 www.tangshuang.net却也能如此强劲的发展​，在夹缝中​投资者未经授权，禁止复制转载。【本文受版权保护】们依然看好这一领域。第一次工业革命大约从【未经授权禁止转载】【版权所有】唐霜 www.tangshuang.net18世纪末开始，持续到19世纪中叶，大约【未经授权禁止转载】【转载请注明来源】100年左右的时间；第二次工业革命大约从【访问 www.tangshuang.net 获取更多精彩内容】【原创内容，转载请注明出处】1870年代开始，到1920年代结束，大【转载请注明来源】【原创不易，请尊重版权】约​50年不到的时间；第三次科技革命大约【原创不易，请尊重版权】转载请注明出处：www.tangshuang.net从1970年代开始，到1990年代，大约本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。20年左右的时间​。科技革命的迭代速度就【版权所有，侵权必究】著作权归作者所有，禁止商业用途转载。如宇宙的膨胀速度一样，越来越快，意味着这【原创不易，请尊重版权】著作权归作者所有，禁止商业用途转载。其中的挑战和机遇将难以想象的一闪而过​。【未经授权禁止转载】转载请注明出处：www.tangshuang.net被预测为“第四次科技革命”的AI浪潮或许【本文受版权保护】【本文受版权保护】在5年以内就会完成整个底层技术的构建，并转载请注明出处：www.tangshuang.net原创内容，盗版必究。在未来几十年中​不断开枝散叶。虽然当下在原创内容，盗版必究。【版权所有，侵权必究】内容领域应用火爆，但我相信，很快，在其他本文版权归作者所有，未经授权不得转载。【访问 www.tangshuang.net 获取更多精彩内容】领域，AI也将展现其​超凡能力。​

2024-05-05 2671