实时
传承工匠精神,培育时代新人——彭州中学附属小学开展劳模工匠进校 释放数字经济活力 发力支持实体经济 ——专访农夫铺子发展集团有 美丽中国行,60万亩桃花园约你打卡春天 上海社会生产力发展研究中心健康生产力研究院揭牌启动 这是谁想要的家庭影院,快来举手 丽怡品牌2.0“怡商旅”丨商旅出行佳选标杆店 崇州市学府小学开展教学常规检查工作 丽怡品牌不断完善自身的服务体系丨贴心细致的服务 搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量 校企添翼 梦想启航——彭州中学附属小学与四川航空科技馆签署校 立邦两度斩获水务行业大奖,为国家水网基础设施建设贡献涂料智慧 MAGGIE MA《灵鳞líng lín》系列:秀场上的恣意野性与利落 20亿!红杉资本、远景集团、塔塔向零碳联盟追加注资,重点倾斜碳足迹 赋能企业未来:武汉加易测教育咨询有限公司推出独特战略咨询与培训 2024斯诺克世界公开赛巅峰对决 东鹏特饮全程能量支持 武汉樱花季丨丽怡品牌为您准备春日打卡礼 潮流市集大秀来袭!这张台铃春季风尚发布会的邀请函快收下 戮力同心 奋楫笃行 ——崇州市学府小学召开毕业班工作会 KUB可优比多产品入驻亲子民宿和早教中心,用户享零距离打卡体验 打工人访谈录——他们为什么愿意再次入职链家? 四川省范翔名师工作室赴眉山市联合研修暨送教送培活动 中外交流促发展 友谊之花共绽放 ——新西兰学校教师代表到彭州 彭州市致和小学:共享促发展,结对谱新篇 彭州市太清博世学校举行“聚集核心素养·构建高效课堂”区域教育 坚守初心 实干前行——太清博世学校开展彭州市第七劳动教育联盟 彭州航空动力园区实验小学举行主题党日活动暨支部换届大会 彭州市“牡丹杯”校园排球联赛二片区预赛在航动实小举行 日本政府新财年预算规模略有收缩 第十一届中国网络视听大会聚焦行业新技术发展 人工智能让遥感卫星变“聪明” 香港金管局推出9项措施纾缓中小企业经济压力 世卫组织启用冠状病毒全球监测网络 山东探索建设“看不见的电厂” 家政服务员在工作中受伤,责任应由谁来担? 广西“三月三”期间多家4A级以上景区推出门票半价活动 澜湄合作八周年招待会在缅甸举行 我国多式联运行业将开展联网补链行动 我国科学家在量子纠缠研究中取得重要进展 甘孜州政协党组书记、主席雷建平接受纪律审查和监察调查 万象“耕”新 黑龙江奏响备春耕序曲 2023年我国银行办理非现金支付5251.3万亿元 传承爱国情 奋斗正当时 金堂县三医院开展缅怀先烈伟绩 弘扬革命精神祭扫活动 金堂县第三人民医院组织紧密型县域医共体行政后勤管理培训会 爱心促成长,午餐暖人心—邯郸市丛台区河西小学开展2024年3月份家 缅怀先烈 致敬英雄——邯郸市第四中学团委开展清明主题团日活动 立邦携手央企中海地产,达成瓷砖胶战略集采同行共赢 德立28周年:破茧·追光,德立之[ 变 ] 干露葡萄酒集团携手星展银行倾力打造精品葡萄酒体验 这款用户求购很久的产品,KUB可优比启动复产计划

您的位置:首页 > 滚动资讯

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  在美国硅谷圣何塞召开的 NVIDIA GTC 大会上,全球领先的向量数据库公司 Zilliz 发布了 Milvus 2.4 版本。这是一款革命性的向量数据库系统,在业界首屈一指,它首次采用了英伟达 GPU 的高效并行处理能力和 RAPIDS cuVS 库中新推出的 CAGRA( CUDA-Accelerated Graph Index for Vector Retrieval )技术,提供基于GPU的向量索引和搜索加速能力,性能可提升 50 倍。

  Milvus 2.4 的 GPU 加速性能提升效果令人惊叹。基准测试显示,与目前市面上最先进的基于 CPU 处理器的索引技术相比,新版 GPU 加速 Milvus 能提供高达 50 倍的向量搜索性能提升。目前,Milvus 2.4的开源版本已经对外发布。

  对于希望使用全托管云数据库服务的企业用户来说,还有一个好消息,那就是 Zilliz 提供的 Milvus 商业版全托管云服务 Zilliz Cloud 计划将在今年晚些时候升级推出 GPU 加速功能。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲Zilliz Cloud

  截至当前,Zilliz Cloud 已经实现包括阿里云、腾讯云、AWS、谷歌云和微软云在内的全球 5 大云 13 个节点的全覆盖,除了分布在杭州、北京、深圳的 5 个国内服务区,其他 8 个节点分布在海外,包括美国的弗吉尼亚州、俄勒冈州、德国的法兰克福、新加坡等城市和地区。Zilliz 已成为首家同时提供海内外多云服务的向量数据库企业。

  Milvus  是什么?

  Milvus 是一款为大规模向量相似度搜索和 AI 应用开发设计的开源向量数据库系统。它最初由 Zilliz 公司发起开发,并在 2019 年开源。2020年,该项目加入 Linux 基金会并成功毕业。

  自推出以来,Milvus 在 AI 开发者社区中大受欢迎并被广泛采用。在GitHub上,Milvus 拥有超过26,000个星标和 260 多位贡献者,全球下载和安装量超过 2000 万次,已经成为全球使用最广泛的向量数据库之一。Milvus 已经被 5,000 多家企业所采用,服务于AIGC、电子商务、媒体、金融、电信和医疗等多个行业。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲部分 Milvus 企业用户列表 来源:Milvus官网

  为什么需要  GPU  加速?

  在数据驱动的时代背景下,快速准确地检索大量非结构化数据对于支持前沿AI应用至关重要。无论是生成式AI、相似性搜索,还是推荐引擎、虚拟药物发现,向量数据库都已成为这些高级应用的核心技术。然而,对于实时索引和高吞吐量的需求不断挑战着基于CPU的传统解决方案。

  实时索引

  向量数据库通常需要持续且高速地摄取和索引新的向量数据。实时索引的能力对于保持数据库与最新数据的同步至关重要,避免产生瓶颈或积压。

  高吞吐量

  许多使用向量数据库的应用程序,例如推荐系统、语义搜索引擎和异常检测等,都需要实时或近实时的查询处理。高吞吐量确保向量数据库能够同时处理大量涌入的查询,为最终用户提供高性能的服务。

  向量数据库的核心运算包括相似度计算和矩阵运算,这些运算具有并行性高和计算密集等特点。GPU 凭借其成千上万的运算核心和强大的并行处理能力,成为了加速这些运算的理想选择。

  Milvus 2.4   技术架构

  为了应对这些挑战,英伟达开发了CAGRA。这是一个利用GPU的高性能能力为向量数据库工作负载提供高吞吐量的GPU加速框架。接下来,我们来看看 CAGRA 是如何与 Milvus 系统整合的。

  Milvus 专为云原生环境设计,采用模块化设计理念,将系统分为多个组件,分别处理客户端请求、数据处理以及向量数据的存储和检索。得益于这种模块化设计,Milvus 可以轻松地更新或升级特定模块,而无需改变模块间的接口,使得在 Milvus 中集成 GPU 加速变得简单可行。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲Milvus 2.4 架构图

  Milvus 2.4 的架构包括协调器、访问层、消息队列、工作节点和存储层等组件。工作节点进一步细分为数据节点、查询节点和索引节点。其中,索引节点负责构建索引,查询节点负责执行查询。

  为了充分利用GPU的加速能力,CAGRA 被集成到了 Milvus 的索引节点和查询节点中。这种集成使得计算密集型任务,如索引构建和查询处理,能够被转移到 GPU 上执行,从而利用其并行处理能力。

  在 Milvus 的索引节点中,CAGRA 被集成到了索引构建算法中,利用 GPU 硬件来高效地构建和管理高维向量索引,显著减少了索引大规模向量数据集所需的时间和资源。

  同样,在 Milvus 的查询节点中,CAGRA 被用于加速执行复杂的向量相似度查询。借助GPU的处理能力,Milvus 能够以前所未有的速度执行高维距离计算和相似性搜索,从而加快查询响应时间并提升整体吞吐量。

  性能评测结果

  在性能评估过程中,我们使用了 AWS 上的三种公开实例类型:

  m6id.2xlarge:搭载Intel Xeon 8375C 处理器的 CPU 实例

  g4dn.2xlarge:配备NVIDIA T4 处理的GPU加速实例

  g5.2xlarge:配备NVIDIA A10G 处理器的GPU加速实例

  我们通过这些不同的实例类型来评估 Milvus 2.4 在不同硬件配置下的性能和效率,其中m6id.2xlarge 作为基于 CPU 处理器的性能基准,而 g4dn.2xlarge 和 g5.2xlarge 则用来评估GPU 加速的优势。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲基于 AWS 的评测环境

  在评测中,我们选用了 VectorDBBench([4]) 的两个公开向量数据集,评估 Milvus 在不同数据量和向量维度下的性能和可扩展性:

  OpenAI-500K-1536-dim:包含50万个1,536维的向量,由 OpenAI 语言模型生成

  Cohere-1M-768-dim:包含100万个768维的向量,由Cohere语言模型生成

  索引构建时间

  在索引构建时间的评测中,我们发现对于 Cohere-1M-768-dim 数据集,使用 CPU( HNSW )的索引构建时间为 454 秒,而使用 T4 GPU( CAGRA )仅为66秒,A10G GPU( CAGRA )更是缩短到了 42 秒。对于 OpenAI-500K-1536-dim 数据集,CPU( HNSW )的索引构建时间为359秒,T4 GPU( CAGRA )为45秒,A10G GPU(CAGRA)则为22 秒。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲评测索引构建时间

  这些结果清楚地表明,GPU 加速框架 CAGRA 在索引构建方面明显优于基于 CPU 的 HNSW,其中 A10G GPU 在两个数据集上都是最快的。与 CPU 实现相比,CAGRA 提供的 GPU 加速将索引构建时间缩短了一个数量级,展示了利用 GPU 并行性进行计算密集型向量运算的优势。

  吞吐量

  在吞吐量方面,我们比较了集成 CAGRA GPU 加速的 Milvus 与使用 CPU 上 HNSW 索引的标准 Milvus 实现。评估指标是每秒查询数( QPS ),用于衡量查询执行的吞吐量。在向量数据库的不同应用场景中,查询的批量大小( 单条查询处理的查询数量 )往往不同。在测试过程中,我们采用了1、10 和 100 这三种不同的批量大小,获取真实而全面的评测结果数据。

搭载英伟达GPU,全球领先的向量数据库公司Zilliz发布Milvus2.4向量数据库

  ▲评测吞吐量

  从评估结果来看,对于批量大小为 1 的情况,T4 GPU 比 CPU 快 6. 4 到 6.7 倍,A10G GPU 则快 8.3 到 9 倍。当批量大小增加到 10 时,性能提升更加显著:T4 GPU 快 16.8 到18.7倍,A10G GPU 快25.8 到 29.9 倍。当批量大小为 100 时,性能提升持续增长:T4 GPU 快 21.9 到 23.3 倍,A10G GPU 快 48.9 到 49.2 倍。

  这些结果表明,利用 GPU 加速向量数据库查询可以获得巨大的性能提升,尤其是对于更大的批量大小和更高维度的数据。集成 CAGRA 的 Milvus 释放了 GPU 的并行处理能力,实现了显著的吞吐量改进,非常适合要求极致性能的关键场景下的向量数据库工作负载。

  开启新纪元

  将英伟达 CAGRA GPU 加速框架集成到 Milvus 2.4 中,标志着向量数据库领域的一项重大突破。通过利用 GPU 的大规模并行计算能力,Milvus 在向量索引和搜索操作方面实现了前所未有的性能水平,开启了实时、高吞吐量向量数据处理的新时代。

  5年前, Zilliz 的工程师们在上海漕河泾的厂房里敲下了向量数据库历史上的全球第一行代码,开启了研发面向非结构化数据管理的新一代数据库的探险。

  今天,Zilliz 和英伟达合作推出 Milvus 2.4,展现了开放创新和社区驱动发展的力量,为向量数据库带来了 GPU 加速的新纪元。这一里程碑事件预示着又一个技术变革的来临,向量数据库有望经历类似于英伟达在过去 8 年中将 GPU 算力提高 1000 倍的指数级性能飞跃。

  在未来十年,我们将见证向量数据库性能的 1000 倍飞跃。这将引发一场数据处理方式的范式转变,重新定义我们处理和利用非结构化数据的能力。

  Zilliz  最新动态

  除了发布业界超前的 Milvus 2.4,Zilliz 近期还有不少新动作:

  Zilliz 正式开启 AI 初创计划!Zilliz AI 初创计划是面向 AI 初创企业推出的一项扶持计划,预计提供总计 1000 万元的 Zilliz Cloud 抵扣金,致力于帮助 AI 开发者构建高效的非结构化数据管理系统,助力打造高质量 AI 服务与运用,加速产业落地。Zilliz 将为全球的 AI 初创团队提供资源、技术、市场推广、销售等全方位的支持,符合要求的团队可获得独家资源与支持。欢迎各位开发者登陆 Zilliz 中文官网首页了解 Zilliz AI 初创计划,与 Zilliz 一起共建 AI 生态!

  Zilliz Cloud 正式登录腾讯云,覆盖北京、上海两区,进一步为海内外用户提供更丰富的多云支持的向量数据库服务。截至目前,Zilliz Cloud 已实现全球 5 大云 13 个节点的全覆盖,除了在中国的杭州、北京、深圳五大服务区,其他 8 个节点分布在海外,包括美国的弗吉尼亚州、俄勒冈州、德国的法兰克福、新加坡等城市和地区。至此,Zilliz 已成为全球首个提供海内外多云服务的向量数据库企业。

  Zilliz 发布 「Milvus 北 极星计划」,旨在汇集和团结 Milvus 社区的热心用户及开发者,组成社区大使团队。根据不同角色擅长的能力(Coding、写作、沟通、布道、活动组织等),在社区中分配职责,共同建设运营 Milvus 社区,为社区发展壮大探索方向、添砖加瓦。最终将 Milvus 社区打造为一个充满活力、创新开放、团结互助的全球化社区。关注 Zilliz 微信公众号,回复“北 极星”可了解详情。



责任编辑:柯鹏

推荐阅读
第十一届中国网络视听大会28日在成都开幕。本届大会的主题为“极视听 强赋能”,着眼守正创新、转型升级,展示行业发展成果,提供交流展示平台。

2024-03-29 20:04:20

“百花生日是良辰,未到花朝一半春。”古代文人多浪漫,把百花赋予人格,并把花朝记作百花生辰,于是有了“花朝节”。

2024-03-27 22:10:44

来到临猗就进了“戏窝子”。这里庄户剧团盛行,村民不仅爱看戏,逢年过节还喜欢扮上角色唱一出。

2024-03-27 18:20:29

春风拂过,全国各地繁花似锦。人们纷纷走进公园、郊野踏青赏花,“赏花热”掀起春日旅游热潮,为城乡消费注入蓬勃动能。

2024-03-26 18:35:02

“巾帼普法乡村行”活动重点面向农村妇女及其子女和家庭,围绕妇女权益保障、未成年人保护、树立家庭新风等开展普法宣传。

2024-03-26 18:35:02

记者调查发现,近年来一系列“网红”直播卖惨、虚假助农等违法行为的背后,是一套完整的获利运作模式。

2024-03-26 16:30:45