豆包大模型家族全面升级，重磅发布视觉理解模型

　　火山引擎总裁 谭待

　　12月18日，2024火山引擎FORCE原动力大会·冬在上海举办，火山引擎带来豆包大模型家族全新升级。豆包大模型12月日均tokens使用量超过4万亿，较5月发布时期增长超过33倍。

　　okens调用规模化增长的同时，豆包大模型在不同场景中都在快速增长、全面开花。比如信息处理场景，最近3个月豆包大模型调用量增长了39倍，帮助企业更好的分析和处理内外部数据;在客服与销售场景，调用量增长16倍，帮助企业更好的服务客户，扩大销售;在硬件终端场景，增长13倍，AI工具增长9倍。

　　不断增加的调用量和多场景覆盖，让豆包大模型越来越全面，迎来重磅升级。

　　豆包·视觉理解模型发布，拓宽大模型场景边界

　　视觉，是人类理解这个世界最重要的手段。对于大模型来说也是如此，只有做好视觉理解，才能让模型有能力处理好真实世界的信息，辅助人类完成一系列复杂工作。本次大会正式发布了豆包·视觉理解模型，用户可以同时输入文本和图像相关的问题。模型能够综合理解并给出准确的回答。这将极大地简化应用的开发流程，解锁更多的大模型价值场景。

　　更强的内容识别能力：不仅可以识别出图像中的物体类别、形状等基本要素，还能理解物体之间的关系、空间布局以及场景的整体含义。

　　更强的理解和推理能力：不仅能更好地识别内容，还能根据所识别的文字和图像信息进行复杂的逻辑计算。

　　更细腻的视觉描述能力：可以基于图像信息，更细腻地描述图像呈现的内容，还能进行多种文体的创作。

　　基于以上能力，豆包·视觉理解模型在教育、旅游、电商等场景有着非常广泛的应用。在教育场景中，为学生优化作文、科普知识;在旅游场景中，帮助游客看外文菜单、讲解照片中建筑的背景知识;在电商营销场景中，帮助商家充分描述商品细节，高效发布种草广告等等。视觉理解能力将极大拓展大模型的场景边界，为大模型的场景使用打开天花板，在金融、医疗、建筑、地理、体育、物流等诸多行业还有非常广阔的应用前景。

　　豆包·视觉理解的输入价格为每千tokens 0.003元，比行业平均价格降低85%，相当于一块钱可以处理284张720P的图片，视觉理解模型正式走进厘时代。同时火山引擎还将提供更高的初始流量，RPM达到了15,000次，TPM达到120万，让企业和开发者用好视觉理解模型，找到更多创新场景。

　　豆包大模型家族再进化，豆包通用模型pro迭代新版本

　　在本次大会中，火山引擎除了推出视觉理解模型之外，还发布、升级了多个其他模型。大模型家族成员更丰富，大模型能力再提升。

　　豆包通用模型pro完成新版本迭代：综合任务处理能力较5月份提升32%，在推理上提升13%，在指令遵循上提升9%，在代码上提升58%，在数学上提升43%，在专业知识领域能力提升54%。

　　豆包·音乐模型4.0发布：从 “高光片段” 走向 “完整歌曲”，支持包括前奏、主歌、副歌、间奏、过渡段的3分钟全曲创作;歌词局部修改，仍能适配原有旋律;全曲风格、情感和音乐逻辑保持一致，曲风连贯。

　　豆包·文生图模型2.1发布：支持“一键P图”，可以高精度指令理解，对中英文、专有名词“来者不拒”;高质量编辑效果，聚焦目标，不“误伤”原图;高效率创新模型，可实现多元风格，美观自然。支持“一键海报”，中文精准生成，高质量精准生成中文;图文精妙融合，字体与图片内容巧妙融合;极速海报生成，模型最快做到6秒出图。

　　veOmniverse+豆包·3D生成模型发布：veOmniverse支持高保真视觉渲染、大规模渲染算力池、物理&传感精确模拟、即开即用的3D编辑器。豆包·3D生成模型，支持文生3D、图生3D及多模态生成，1min生成高保真、高质量3D资产，复杂物品、物品组合大规模场景生成，支持多模态3D资产编辑。

　　此外，豆包·视频生成模型将在2025年1月正式对外开放服务，用户可在火山引擎官网预约正式服务。

　　全域搜索、高效记忆为模型落地加速

　　为了帮助企业轻松应对信息获取和搜索推荐的挑战，火山引擎推出全域AI搜索，通过场景化搜索推荐一体化服务、企业私域信息整合服务、联网问答服务，将企业的信息、业务和用户需求紧密结合，帮助企业实现“发现更多，推荐更准，搜索无限可能”。

　　火山引擎AI搜推引擎基于基于豆包大模型家族的融合增强技术驱动;搜索推荐一体，有强大的推荐能力、结果精准、深度个性化;支持多模态，文本、图像、音频、视频全能理解;电商、信息检索、娱乐场景通通适用;性能强，支持百亿内容规模、超大规模吞吐、亳秒级检索。联网问答Agent基于抖音集团海量优质实时内容更丰富;秒级呈现，依据问题提供时效性热点答案更高效;图片、语音、文字等多模态可视化创新交互更创新，帮助企业实现全域信息一触即达。

　　记忆对大模型是非常重要的，记忆未来会是大模型必备的能力。火山引擎融合了更好的上下文缓存技术和RAG技术，发布大模型记忆方案，将通过更快的响应速度、更低的使用成本、更精准的效果、以及亿级别的记忆片段，帮助客户构建更有效的记忆方案。

　　扣子升级1.5版本，让AI离应用更近一步：

　　开发者生态逐渐完善：超过100万活跃开发者，发布超过200万个智能体。

　　全新的AI应用开发环境：支持GUI搭建界面，并且可以一键发布为小程序 、H5、API等多种应用形态。

　　更强的多模态能力：提供音视频对话能力，端到端延迟响应低至1秒，低成本SDK快速接入各类硬件。

　　海量的精品模板：涵盖多业务场景，一键复制使用

　　HiAgent升级1.5版本，帮助企业敏捷构建企业级 AI 原生应用的能力中心：

　　更懂AI转型：提供观测&评测体系，保障效果生产可用;提供100+行业应用模板，企业可开箱即用;提供配套AI咨询，帮助企业找到AI落地路径。

　　更深业务适配：提供丰富的企业级插件、灵活的应用集成机制;GraphRAG构建知识图谱，提供细粒度的知识资产管理;生成式画布融合CUI和GUI，打造智能交互引擎。

　　更强安全保障：支持 RAG 知识库和大模型全栈私有化部署。

　　模型落地加速将为企业带来更多机遇，助力多行业加速智能化转型。在汽车领域，过去7个月，豆包大模型汽车行业日均tokens消耗增长了50倍，目前已服务国内市场近八成汽车品牌，稳坐汽车行业大模型服务商第一梯队。在智能终端领域，豆包大模型服务了终端行业客户50+AI应用场景，覆盖超过了3亿个终端设备，为消费者带来更加智能的生活与工作体验，来自智能终端的豆包大模型日均tokens调用量从5月到12月增长了100倍。

　　技术架构面向AI全面转型AI云与基础设施持续创新

　　火山引擎在基础架构、数据分析等层面带来新服务，为企业打造更便捷、更高效、更安全的AI体验。

　　火山引擎认为下一个十年，计算范式应该从云原生，进入到AI云原生的新时代。AI云原生，将以GPU为核心重新来优化计算、存储与网络架构，GPU可以直接访问存储和数据库，来显著的降低IO延迟。同时，全系统提供更高规模的高速互联，和端到端的安全保护。基于AI云原生的理念，火山引擎推出新一代计算、网络、存储和和安全产品。在计算层面，新一代的火山引擎GPU实例，通过vRDMA网络，支持大规模并行计算和P/D分离推理架构，显著提升训练和推理效率，降低成本。存储上，新推出的EIC弹性极速缓存，能够实现GPU直连，使大模型推理时延降低1/50;成本降低20%。在安全层面，火山将推出PCC私密云服务，构建大模型的可信应用体系。

　　此外，火山引擎还升级了数据飞轮2.0，全链路AI开启数智生产力新时代。所有的数据分析产品，包括cdp、BI、用户行为分析、AB测试等，都推出了基于大模型的智能化新功能。同时，推出全模态数据湖解决方案，让企业可以统一的管理好结构化数据和非结构化数据，并结合传统ETL和大模型进行综合分析。

　　未来，火山引擎将持续提升模型能力，优化模型服务，推动 AI 在各行业的深度融合与创新应用。更强能力、更低价格、更易落地的豆包大模型将助力开启更智能、高效、便捷的 AI 未来。未来，火山引擎将持续提升模型能力，优化模型服务，推动 AI 在各行业的深度融合与创新应用。“更强模型、更低价格、更易落地”的豆包大模型将助力开启更智能、高效、便捷的AI未来。

责任编辑：柯鹏