实时
衡阳珠晖区实验小学开展学习任务群单元教学研讨活动 安全生产“数据化”在建房屋“线上管” 衡阳县库宗桥镇探索自建 衡阳市先锋街道社区卫生服务中心党支部医校携手 共护成长——党 “热血汇聚、与爱同行”:常宁市交通运输局开展无偿献血活动 双农合璧,铸就品牌新辉煌;五省联动,开启产业新高度 我为什么相信中国共产党有极强的生命力 江苏今年以来完成造林绿化面积超20万亩 我国职业教育对产业急需技能人才供给力不断提升 第十二届中欧论坛聚焦中欧关系发展 工建分公司经理笪义青到十七冶固镇片区项目调研指导工作 十七冶南城片区项目大干取得新进展 彭州市召开食品安全风险监测会商研判会 政策加码酒店行业电视换新 京东一体化服务能力助力酒店经营与换 家长体验日 先 知教育剖析海外经济学博士申请的二三事 强生中国荣获最佳公共关系案例大赛五项大奖,领航医疗健康传播新高 双十一“爆品”丨雄霸热卖榜TOP1,爱玛元宇宙PRO电动车与年轻一代 年底送福栗!新城控股玉环吾悦广场福栗节即将启幕! 新城控股玉环吾悦广场:六年砥砺前行,共筑城市繁华新篇 中建壹品·学府公馆即将交付 它给出怎样的品质答案? 跑步膝盖受伤不知道用什么护膝的看过来! 林氏木业质量检测中心获得CNAS认证,成功跻身“实验室”名录 兰州爱尔眼科医院丨糖尿病还会引发致盲眼病?及时防治挺重要 兰州爱尔眼科医院丨儿童眼外伤需警惕,安稳监护挺关键 Passional Lover恋火双十一捷报频传:全渠道GMV破2.86亿,新锐彩妆势 集思广益,共创未来,菲洛维第2届FMC菁英门店研修班成功举办! 深层清洁,焕颜美丽,黑金清颜秀何以成为护肤新宠? 洲际酒店集团旗下筑格酒店品牌正式亮相大中华区 新城控股义乌吾悦广场“周周有花样”,新活动接踵而至 “创见先机 智领风云”——2024 IDC中国生态峰会暨颁奖典礼 在京 全新纯电商用车来袭!江铃E福顺&E顺达开启城配高效新时代 蟹状元大闸蟹花雕熟醉蟹:冬日里的温润美味! 刘明哲:无人机集群技术开创海上救援新模式 彭州市红岩学校2024-2025秋季期中家长会 无处不旅游,香港积极迎接“圣诞旅游热” 中国人体工程学研究院考察团莅临森山健康小镇调研 中国人体工程学考察团助力新义乌文化中心落地开花 生活机器人:古老智慧与现代发展 考试注意!河南中安建培教育考生考前戒骄戒躁积极应考 成长关键期优选:全营养配方纽荃星奶粉简介 重庆涪陵:新妙镇用好四个“关键招”,提升发展党员“含金量” 广西医科大学举行庆祝建校90周年系列活动 清睿智能:24K智能自习室提分奇迹,全国门店喜讯连连! 内蒙古铎誉律师事务所入围中国品牌创新发展工程 守正创新:深化改革的新篇章 芮艾瑅·少女归来 让抗衰铿「枪」有力 “爱暖万家”点亮困境儿童成长之路 国网新疆物资公司:“三举措”强化物资廉洁风险防控 揭秘微整医师,她们原来是这样的! 风雨兼程缔造城市新地标

您的位置:首页 > 滚动资讯

火山引擎ByteHouse:如何用ELT构建高性能离/在线一体化数仓

  近日,火山引擎ByteHouse与某知名数字娱乐公司聚焦高性能离/在线一体化数仓展开合作。基于ByteHouse ELT能力,该数字娱乐公司解决了数据融合、实时分析、可扩展性和灵活性等多方面的挑战,还进一步提升了其数据处理和分析的效率。

  随着数字娱乐行业的快速发展,该公司在业务扩张过程中对数据基础服务的要求日益提高。原先的数据架构存在架构复杂、数据冗余、效率瓶颈等问题,无法满足日益增长的数据处理需求。为此,该公司通过引入ByteHouse来构建一体化数仓,简化数据流程、降低维护成本,并提升数据处理的实时性和稳定性。

  作为一款云原生数据仓库,ByteHouse基于ClickHouse技术路线进行了深度优化和升级,不仅具备极致的分析性能和良好的扩展能力,还支持丰富的ELT作业功能,包括fault tolerance和任务拆分等,帮助用户应对大规模数据处理和复杂查询的挑战。

  据ByteHouse技术相关人员介绍,为了解决海量数据下的处理和分析需求,ByteHouse主要从提升任务并行度、任务级重试能力、大批量并行写入优化以及简化数据链路四个方面进行优化。

  首先,在提升任务并行度方面,ByteHouse的BSP模式支持将查询切分为独立的阶段,并在阶段内进行并行度拓展。这一特性使得大查询的内存占用大幅降低,任务失败率也显著降低。通过对关键大表增加并行度,该公司的离线任务整体内存峰值降低了约40%,有效减少了内存溢出的风险。

  其次,ByteHouse离线任务加工中的任务级重试功能,当任务运行失败时,无需整个链路重新执行,仅重试失败任务,显著提高该公司的任务执行成功率。以2024年10月15日、16日、17日的数据为例,任务的成功率在分别提高了6.6%、4.4%和2.9%,整体成功率为100%。

火山引擎ByteHouse:如何用ELT构建高性能离/在线一体化数仓

  再次,针对该公司业务数据频繁更新的特点,ByteHouse对写入流程进行了大量优化。通过并行化最耗时的数据写入部分,并在写入过程中标记需要后续去重作业的数据,ByteHouse实现了高效的数据更新。在保持稳定的前提下,用户的十亿表插入作业运行时间从48分钟降低到13分钟,提速高达73%。

  最后,在简化数据链路方面,ByteHouse在传统的MPP链路基础上增加了对复杂查询的支持,并通过BSP模式将各个阶段进行隔离,使得每个阶段和任务都更加独立,降低了任务失败的概率,并提高了资源使用的效率。

  通过引入ByteHouse构建一体化数仓,该数字娱乐公司成功实现了数据加工和数据分析的整合,不仅减少了组件冗余和人力成本,还大大提高了数据的实时性和运营效率。未来,火山引擎ByteHouse将继续致力于提供更高效、更稳定的数据服务,助力更多企业实现数字化转型和升级。

责任编辑:柯鹏

推荐阅读
11月22日将迎来“小雪”节气,这一时节降雪、寒潮和强冷空气活动频率逐渐增高,易诱发心脑血管、呼吸系统相关疾病。

2024-11-21 16:14:03

新一期贷款市场报价利率(LPR)20日出炉,1年期和5年期以上LPR均未调整。

2024-11-20 11:02:32

记者18日从国家体育总局群众体育司获悉,第十一届全国大众冰雪季将于12月在内蒙古呼伦贝尔启动。

2024-11-19 13:16:01

全国纳税信用年度评价结果显示,2024年全国守信纳税人达4127万户,比2023年增加378万户。

2024-11-18 22:40:57

23100个基层就业社保服务点已全部建成,40项高频就业社保服务全部开通,21720台自助服务设备全部配备到位……

2024-11-14 10:56:30

自2009年首个“双十一”以来,这场一年一度的购物节不断发生着变化。商家不再致力于比拼“最低价”,消费者也变得更加理性,更加看重品质和服务加持下的性价比。

2024-11-12 18:39:01