火山引擎智能视频云「豆包同款」最佳实践

技术的进化从来不是独行，它在融合中寻找共生的可能 —— 当豆包大模型遇见视频云，每一次链路的打通、每一个能力的落地，都是在为智能交互的未来铺就基石。本专题深度聚焦「豆包同款」火山引擎智能视频云，在这里，我们将深度拆解 AIGC 传输、AI 媒体处理、AI 智能互动等前沿能力，复盘火山引擎智能视频云如何将抖音集团的技术沉淀转化为 AI 时代企业视频新基建，实现体验跃升与业务增长的双向奔赴。作为专题的年度重磅，2026 年初还将揭晓《火山引擎智能视频与边缘实践精选集》2025 版，收录全年音视频专家的深度实践，期待与同仁们一同探索 “LLM× 视频云” 的融合边界，共赴智能交互的新征程。 人与 AI 的沟通正在变得越来越像人与人之间的沟通。 一场赛事真正的流量争夺，往往不只发生在直播间，也发生在赛后几分钟的短视频分发链路里。谁能更快把进球、争议判罚、庆祝名场面切出来，谁就更有机会吃到热搜红利。 真正让人愿意长时间看完一场球的，不只是比赛本身，而是有人一起看、一起喊、一起等那个关键时刻。 网站的访问者，正在从过去的 “人 + 搜索引擎”，扩展为 “人 + AI + 搜索引擎”。 视频画质优化正在从一条由人驱动的后处理流水线，变成一个能够理解、判断、执行和反馈的 Agent 系统。 让 Agent 从“会调用模型”走向“能编排音视频工作流”。 从“生成一段画面”走到“交付一部能上线、可以被消费、传播给观众的成片”，中间还差一整段专业的音视频处理工作。 在人与 Agent 协同共存的趋势下，视频云的任务不再只是保障内容流转，还要支撑人与 Agent 之间的意图交互。 精选火山引擎视频云支撑抖音在世界杯、亚运会等大型赛事直播中的关键技术实践，围绕低时延直播、视频编码、画质优化、弹性分发、沉浸体验与互动创新等方向，呈现面向世界杯周期的能力升级路径，帮助客户在更高清、更稳定、更智能、更具参与感的观赛体验中获得新的增长空间。 隔壁已经欢呼，自己的直播还在回传球——这是无数球迷在大型赛事中最怕遇到的瞬间。 国内用户量第一的游戏开黑专用工具 KOOK 选择与拥有亿级产品服务经验的火山引擎 RTC 携手，一场以技术为纽带、以用户体验为核心的深度合作就此展开。 围绕火山引擎视频与边缘在过去一年的 AI / 大模型 & 音视频技术实践，包括：（1）AIGC 画质大模型、自由视角视频直播、AI 音视频编码、AI + 增强视频质量等全球前沿的论文精选；（2）媒体智能工具、音视频交互、智能剪辑、智能 3D 视频等 AI + 技术的落地实践；（3）AI + 设计、智能硬件、短剧出海、VR 大空间等行业场景的最佳实践。 12 月 14-18 日，计算机图形学顶会 Siggraph Asia 2025 在香港召开。火山引擎多媒体实验室有多项工作入选，包括了拓扑变换的自适应建模、动态人体重建、人体重打光的三项成果进行汇报和展出。 火山引擎多媒体实验室和北京大学合作的论文 VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning 被选为本次会议口头汇报文章。 本文从产业现状、破局思路、实施路径三个维度展开分析，探索 VR 院线如何加速 LBE 产业化与规模化发展。 集摄影社区、版权保护、素材交易和创意学习于一体的综合性平台——图虫与火山引擎合作，共创 AIGC 创意工具链。通过引入火山引擎 veImageX（一站式图片解决方案），整合豆包大模型能力，让设计师实现“一键秒级生图”，无需再耗费大量时间寻找素材、绞尽脑汁构思创意，出图快，创意好，修改少。 火山引擎多媒体实验室联合南开大学研发的 TempSamp-R1 框架，通过对强化学习技术的突破性创新，为视频大模型的“时空感知力”带来质的飞跃—— 该成果已被人工智能领域顶会 NeurIPS 2025 接收。 在字节跳动的业务生态中，HTTPDNS 承担着为抖音、今日头条、西瓜视频等核心应用提供域名解析服务的重任。但目前我们所采用的业界主流缓存机制，却存在着根本性缺陷：当自身 IP 库与权威 DNS 服务器不同，易发生调度不准，可能影响用户体验。 近日，NeurIPS 2025 公布了录用结果，火山引擎多媒体实验室和北京大学合作的论文 Q-Insight: Understanding Image Quality via Visual Reinforcement Learning 被选为本次会议亮点文章。 ISCAS 2026 将继续携手字节跳动多媒体实验室，举办第五届神经网络视频编码竞赛。本届竞赛设立了三个最佳性能奖和一个最佳创意奖，每个奖项的奖金为 4500 美元。 传统 3D/4D 创作不仅耗时耗力、依赖专业技能，还难以适配消费级设备 火山引擎视频点播带来了破局之道——应用基于 DiT 大模型与字体级分割的无痕字幕擦除功能。 《最后的特提斯之海》VR 展中，火山引擎提供云 VR LBE 技术方案。 通过 30 分钟沉浸之旅，让观众以“第一视角”见证历史课本上的“伟大转折” 火山引擎「空间视频制作服务」具备强大的真实重建能力，满足自由游览的体验形式，将推动「3D 真人数字人」在非遗、剧场、文旅等场景加速落地。 Challenge) 圆满落幕。AI+ 增强视频质量评价赛道冠军，算法性能以显著优势排名第一，成功蝉联冠军！ 模型的发展非常迅猛。模型和已有系统的集成却不尽如人意，再强大的模型也会受到数据隔离的限制，形成信息孤岛。 Challenge-Track1-VQA 赛道以显著优势夺冠。基于能力强大的多模态大模型，团队方案成功构建了评估精度、计算效率俱优的画质评价模型，为大模型能力的利用提供了可行参考范式。 能力。实时语音对话功能，让用户从只能「打字」跨越到「语音聊天」，不限设备或网络如何，都能轻松实现。的等待尴尬。 AI / 大模型 + 音视频技术实践和前沿探索 火山引擎视频云 RTC 联合乐鑫、移远等物联网芯片制造商、解决方案供应商，推出「实时对话式 AI 嵌入式硬件」解决方案。硬件设备通过方案的 AI 语音交互框架即可无缝对接火山引擎 RTC 的实时通信能力和云端智能体服务，实现与豆包大模型超低时延、流畅的交互。 设计素材行业为设计师和创意工作者提供丰富的视觉和创意资源。数字媒体和互联网的迅猛发展，促使这一行业市场规模不断扩大，用户对设计素材的个性化和定制化需求与日俱增。 文章概要：智能语音 Agent 的应用场景：AI 社交、儿童陪伴、AI 助手、教学、客服、智能硬件；RTC 技术在 Agent 上的重要性，包括超低延时 - 更流畅、智能打断 - 更自然、抗弱网 - 更可靠；RTC 在处理实时视频流的场景以及优势——在持续传图场景下比传输图片更省流量，按需抽帧更灵活；RTC 在处理多人多 Agent 的场景以及优势——基于房间的多人多 agent 管理 随着人工智能时代的到来，儿歌点点正积极致力于探索 AI 技术与儿童启蒙的融合之道，旨在为孩子们提供更加个性化且丰富的内容资源以及更加多元有趣的互动体验。 技术的成熟，叠加应用的爆发，AI 视频的战争，正迎来市场化为导向的下半场。 近日，第 2024 届 ECCV 联合举办的 AIM Workshop 大赛公布比赛结果，在视频显著性预测赛道上，火山引擎多媒体实验室凭借自研的显著性检测算法获得冠军 近日，第 2024 届 ECCV 联合举办的 AIM Workshop 大赛公布比赛结果，在视频超分辨率质量评估赛道上，火山引擎多媒体实验室凭借基于大模型的画质评估算法获得冠军，技术能力达到行业领先水平。 火山引擎多媒体实验室联合中国科学技术大学智能媒体计算实验室 (IMCL) 团队在盲压缩图像恢复领域实现了突破性的进展 本文介绍抖音 Android 端通过使用 BDFresco 图片框架进行图片优化的实践、经验和价值，分享问题和解决策略，旨在为同行提供参考。 抖音客户端架构和火山引擎veImageX团队 策划: 鲁冬雪 Babit Multimedia Framework（BMF 框架）是一个由火山引擎视频云与 NVIDIA 共同开源的跨语言、跨设备、跨系统的多媒体处理框架，旨在为 Windows 平台提供高效、稳定的多媒体处理能力，支持模块自定义开发，已在字节跳动内部服务于抖音直播伴侣业务，实现算法与业务的解耦，并通过 DirectX 在 Windows 端展示其兼容性和功能适配能力。 火山引擎视频云于 AI 视频元年（2024 年）重磅推出《火山引擎视频云实践精选集》 2023 版，收录 24 篇精选 Blog，助力音视频技术进步与发展。 第六届深度学习图像压缩挑战赛，比赛结果公布，由火山引擎多媒体实验室与北大组成的联合参赛平台 b-2 在高码率视频压缩和低码率视频压缩两个赛道均夺得主客观指标冠军 《Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction》已被计算机视觉顶级国际学术会议 CVPR 2024 接收。值得一提的是，该论文是首个使用变形场将 3D 高斯拓展到单目动态场景的工作，并且在公开数据集上取得了 SOTA 结果。 本文中，提出了一种模块化 BVQA 模型，以及一种训练该模型以提高其模块化性的方法。 本文将介绍一种名为 CAMixerSR 的超分框架，可以做到内容感知，通过对 Conv 和 Self-Attention 的分配做到计算量的大幅优化。 北京地坛网红打卡项目龙游神州是如何通过技术打造古老庙会与现代科技完美融合的云 VR 体验的？ 刘志伟；孙金波；Arthur 策划: 鲁冬雪 《跟着德爷闯东非》实现的是全新的 VR 空间互动。 实践证明，通过播放器的优化可以为点播业务节省 20% 甚至更多的成。 IDC 数据预测，到 2025 年整个视频投向数据总量将达到 72.7%，这个趋势可能带来两个较大挑战。 从抖音集团内部画质评估体系的建设历程着笔，主要分享画质评测对于业务的重要性、主要应用场景和内部产品的一些典型实践。 火山引擎《超低延时直播技术演进之路》系列文章第二篇 探索超低延时直播技术的演进历程，揭示背后的挑战和突破，以及对未来直播行业的影响。 WebTransport 是如何稳定传输高质量音视频的？ 本文主要介绍 iOS 客户端图片加载 SDK，包括图片网络加载、图像解码、图片基础处理与变换以及图片服务质量监控上报等能力。 超分辨率，是一种提高图像、影片分辨率的技术。 随着 5G 网络和具有更强视频拍摄和图形处理能力的智能手机推广， 360 视频应用的质量将得到很大改进，而且低延迟的实时交互式 360 视频应用服务成为可能。 字节跳动-Yuwen He 策划: 鲁冬雪 本文提出了一种低成本且易用的六自由度全景视频技术。 如何提高用 golang 实现的基于 UDP 的传输协议的性能 本文主要介绍火山引擎多媒体实验室在世界杯期间画质的相关工作。 抖音实现了业界首次的世界杯比赛支持 4K HDR 10-bit 直播，其内容信息量相较于以往有极大提升，对编码器的实时性提出了更高要求。 世界杯期间，抖音直播提供的 4K 超高清超低延迟看播能力给亿万观众留下了深刻的印象 字节跳动视频架构技术专家-高孟平 策划: 鲁冬雪 火山引擎 RTC 基于亿级 DAU 用户的真实反馈和 RTC 全链路质量监测数据，通过长期、大规模的数据分析、归因、验证，建立了一套“标准透明、度量准确、归因全面、预测可靠”的指标体系 字节跳动旗下 To B 业务「火山引擎」对外开放了视频点播服务。 字节跳动 AVG （先进视频团队）在 2021 年发起了一项视频压缩的技术提案，该提案能够在优化压缩质量的同时，节约至少 13% 的存储和带宽。 视频压缩的核心在于去除视频信号中的冗余信息，而其中对于空域冗余的去除通常使用帧内预测的方式来实现。 视频已经在人们的日常工作和生活中无处不在，并且正逐步替代文字成为人们获得知识和资讯的最重要方式。 「零首帧」并不是真的 0 毫秒启播，而是用户几乎感知不到有首帧时间的存在。 字节跳动视频云技术团队-琨君 策划: 鲁冬雪 火山引擎 RTC 负责人宋慎义从实时性、富媒体传输、多人互动、全球化、RTC 与其他模块协同 5 个方面，详细阐述了火山引擎 RTC 的技术实践。 veImageX 图片系统的演进贯穿在字节跳动发展的过程中，在不同时期以不同的形式解决图片分发的各类问题，最终“生长”成为图片中台。 码率控制技术是实际视频编码器中一个非常重要的技术模块。 更高的色深、更广的动态范围和更强的色彩表现力。 火山引擎 RTC 脱胎于字节跳动自研的 RTC 技术中台。目前，字节跳动旗下约 40+ 业务产品都由此技术中台提供底层 RTC 服务，其中不乏抖音这样亿级 DAU 的国民应用。 火山引擎视频中台支撑了火山引擎视频相关的 toB 业务，同时也支持了字节跳动抖音、西瓜视频等产品的视频生产、下发、播放等全部视频周期。本文主要向大家全面介绍我们的视频处理系统以及在高可用性方面做的一些工作。 作为 HEVC 的继任者， H.266/VVC 能够在相同的质量下将压缩效率再提升一倍。 H.266/VVC 标准的推动将能为未来视频内容的发展提供巨大的潜力。 基于深度学习的编码工具方兴未艾，其展现诱人性能的同时，亦引起较高的复杂度。 字节跳动火山引擎 - 多媒体实验室团队获得了 ICME 21 Best Grand Challenge Winner Team。 VVC 使用了大量的新技术，如多叉树块划分技术、历史运动矢量预测技术、亮度色度线性模型预测技术等。本文将重点介绍 VVC 中的仿射运动模型技术。 本文将剥去云游戏的各种产品外衣，对云游戏技术的演进历史，面临的挑战，和未来的优化方向进行一个梳理和汇总。 7 月 26 日消息，在多媒体领域世界顶级学术会议 ICME 2021 的「压缩 UGC 视频质量评估」比赛中，字节跳动旗下火山引擎多媒体实验室组成的“QA-FTE”队伍，凭借自研的 VQScore 算法，拿下了该比赛「无参考视频质量评价（NR-VQA）MOS 赛道」的第一名。