OpenAI挤牙膏似的的12天发布会不断【版权所有，侵权必究】【版权所有】唐霜 www.tangshuang.net兑现之前给的demo，他们似乎今年一次性著作权归作者所有，禁止商业用途转载。本文版权归作者所有，未经授权不得转载。做了很多产品，在这年尾的时候像甩卖一样将本文版权归作者所有，未经授权不得转载。本文作者：唐霜，转载请注明出处。它们丢出来，有点眼花缭乱。在之前的一次发著作权归作者所有，禁止商业用途转载。【版权所有，侵权必究】布会上，他们演示了和大模型实时视频通话功【转载请注明来源】原创内容，盗版必究。能，令人惊艳，但是该功能直到昨天才和公众转载请注明出处：www.tangshuang.net【本文首发于唐霜的博客】见面。那么这个功能到底有多难做呢？今天，【访问 www.tangshuang.net 获取更多精彩内容】转载请注明出处：www.tangshuang.net我就以一个技术人的视角，来聊一聊，我是如未经授权，禁止复制转载。【版权所有，侵权必究】何用前端技术，做出的一个类似的功能，而且【未经授权禁止转载】【关注微信公众号：wwwtangshuangnet】关键是，调用国内的免费模型接口，来了一个【关注微信公众号：wwwtangshuangnet】著作权归作者所有，禁止商业用途转载。彻底的0元购。

功能概览【关注微信公众号：wwwtangshuangnet】

当用户开启实时视频通话功能后，界面进入一【作者：唐霜】【原创内容，转载请注明出处】个类似摄像头拍摄的界面，LLM像有了眼睛【作者：唐霜】未经授权，禁止复制转载。一样，看到用户提供的画面，并根据用户的说原创内容，盗版必究。【版权所有】唐霜 www.tangshuang.net话内容和画面，做出实时反应。由于Open【版权所有】唐霜 www.tangshuang.net本文版权归作者所有，未经授权不得转载。AI实现了端到端模型，大模型可以直接接收【访问 www.tangshuang.net 获取更多精彩内容】【关注微信公众号：wwwtangshuangnet】视频输入，输出语音。但随之而来的就是成本【转载请注明来源】本文作者：唐霜，转载请注明出处。高昂。那么，要做到0元购，应该怎么办呢？

首先，我们来拆解一下这个功能的核心是什么本文版权归作者所有，未经授权不得转载。【未经授权禁止转载】。我认为主要是以下3点：

• 对视频进行理解 -> 本质上是对多【原创不易，请尊重版权】原创内容，盗版必究。帧画面进行理解
转载请注明出处：www.tangshuang.net转载请注明出处：www.tangshuang.net【原创内容，转载请注明出处】【本文受版权保护】【本文首发于唐霜的博客】
• 对语音进行理解 -> 我们用ASR【访问 www.tangshuang.net 获取更多精彩内容】【关注微信公众号：wwwtangshuangnet】来替代，让大模型理解文本更直接
【未经授权禁止转载】【原创内容，转载请注明出处】转载请注明出处：www.tangshuang.net【本文首发于唐霜的博客】【关注微信公众号：wwwtangshuangnet】
• 语音输出【原创不易，请尊重版权】
本文作者：唐霜，转载请注明出处。【本文受版权保护】【版权所有】唐霜 www.tangshuang.net著作权归作者所有，禁止商业用途转载。

技术选型【原创不易，请尊重版权】

让我们来分析技术上的可行性。【未经授权禁止转载】

首先是视频。我们可以通过WebRTC接口【访问 www.tangshuang.net 获取更多精彩内容】本文作者：唐霜，转载请注明出处。getUserMedia来获得摄像头画面【转载请注明来源】【访问 www.tangshuang.net 获取更多精彩内容】，再通过canvas来对视频进行截图，获【版权所有】唐霜 www.tangshuang.net转载请注明出处：www.tangshuang.net得画面帧。对画面进行理解，可以调用glm【原创不易，请尊重版权】本文版权归作者所有，未经授权不得转载。-4v-flash（免费），将理解后的结原创内容，盗版必究。原创内容，盗版必究。果保存下来备用。

其次是语音理解。我们可以通过Speech【本文受版权保护】【版权所有】唐霜 www.tangshuang.netRecognition来在本地进行语音识【未经授权禁止转载】【作者：唐霜】别，然而它只有谷歌支持，只能在chrom【原创内容，转载请注明出处】著作权归作者所有，禁止商业用途转载。e中使用，且需要连到谷歌的服务器（科学上本文作者：唐霜，转载请注明出处。【版权所有】唐霜 www.tangshuang.net网），因此，我直接放弃。我找到了免费的A【关注微信公众号：wwwtangshuangnet】【关注微信公众号：wwwtangshuangnet】SR接口，通过getUserMedia获【本文受版权保护】转载请注明出处：www.tangshuang.net取麦克风输入，通过MediaRecord本文作者：唐霜，转载请注明出处。本文作者：唐霜，转载请注明出处。er获得audioBuffer，通过Au【未经授权禁止转载】【访问 www.tangshuang.net 获取更多精彩内容】dioContext和audiobuff【版权所有】唐霜 www.tangshuang.net本文版权归作者所有，未经授权不得转载。er-to-wav进行转码，将得到的wa原创内容，盗版必究。原创内容，盗版必究。v提交到免费的ASR，获得识别结果。同时【本文受版权保护】【版权所有】唐霜 www.tangshuang.net还做了一些策略，如果800ms没有人说话【转载请注明来源】【关注微信公众号：wwwtangshuangnet】，则立刻对录制进行断句和ASR提交，从而本文作者：唐霜，转载请注明出处。未经授权，禁止复制转载。可以更快的得到识别结果。

最后是语音输出。通过speechSynt著作权归作者所有，禁止商业用途转载。【原创不易，请尊重版权】hesis来进行TTS，免费又性能好，e本文作者：唐霜，转载请注明出处。未经授权，禁止复制转载。dge浏览器提供的音色也不错。通过Int【未经授权禁止转载】【版权所有】唐霜 www.tangshuang.netl.Segmenter进行断句处理，从而著作权归作者所有，禁止商业用途转载。【原创内容，转载请注明出处】在大模型吐出第一句话的时候，就可以开始念著作权归作者所有，禁止商业用途转载。本文版权归作者所有，未经授权不得转载。稿。

用于最后的理解的LLM，免费的有挺多可选转载请注明出处：www.tangshuang.net【版权所有，侵权必究】，glm、qwen都有免费的。

以上这些全部加起来，总价格成本为0.转载请注明出处：www.tangshuang.net

效果预览未经授权，禁止复制转载。

结语【未经授权禁止转载】

通过本文，你可以看到，虽然openAI很本文版权归作者所有，未经授权不得转载。未经授权，禁止复制转载。强，但是他们现在做的很多产品，并非具有颠原创内容，盗版必究。未经授权，禁止复制转载。覆性，虽然我的实现很简陋，但是后续只需要未经授权，禁止复制转载。【版权所有，侵权必究】通过优化，就可以获得在产品形态上与ope【版权所有】唐霜 www.tangshuang.net【版权所有】唐霜 www.tangshuang.netnAI产品相同的产品效果，可能理解和智能未经授权，禁止复制转载。本文版权归作者所有，未经授权不得转载。上比不上，但是我们是0元购呀。我的下一步未经授权，禁止复制转载。【作者：唐霜】是，结合免费的视频生成接口，实现0元购的本文版权归作者所有，未经授权不得转载。原创内容，盗版必究。AI视频互动聊天。

2024-12-15 2749