中华金融时刊坚持服务资本市场大局,以“公开、公平、公正”的原则为广大投资者持续奉献权威的财经证券新闻资讯!

当前位置:主页 > 国内资讯 > “云原生数据湖的探索和实践:当汇量科技 EnginePlus 团队来到阿里云峰会”

“云原生数据湖的探索和实践:当汇量科技 EnginePlus 团队来到阿里云峰会”

2022-10-24 11:10:08 / 作者:冼承志/ 来源:中华金融时刊/ 浏览次数:

本篇文章2179字,读完约5分钟

日语培训机构

从人工智能到大数据、云计算,新技术的革命无处不在,不仅深刻地改变着我们的日常生活,也成为了产业数字化转型的必由之路。 目前,中国人工智能核心产业规模超过千亿元,全国使用的数据中心机架总数近400万架,大型以上数据中心超过250个。

在数字浪潮汹涌而来的情况下,转型中的公司如何识别方向,找到最适合自己的线索和方案?

5月28日,“2021阿里巴巴云峰会”在北京开幕。 此次峰会以“云上创新”为主题,Alibaba云与众多嘉宾、合作伙伴共同探讨公司数字创新的新思路、新战略、新产品、新方案,实现“云上创新”的全景

在28日下午举行的“全链接数据服务-大数据与ai论坛”分科会上,mobvista )高级算法设计师engineplus产品负责人陈绪应邀演讲,邀请嘉宾与云原生数据湖的 介绍了汇量自研开源数据湖框架starlake和新一代“一站式云原生大数据ai平台”

从数据仓库到湖仓一体:数据观察架构的发展

随着公司业务的迅速扩张,派生数据量面临爆炸式增长,公司对数据解决解体的诉求越来越迫切。 在这种背景下,企业需要创新技术和计划来应对数据智能解决的挑战。

陈绪说,云母语数据观察架构从以前开始就经历了数仓、数据湖、以及湖仓一体的演化。

汇量科技高级算法架构师、engineplus产品负责人陈绪发表了演讲

以前流传下来的数据仓库强调结构化数据,在现在的互联网APP通信中,会引起建模复杂、流批结构多、结构复杂等一系列问题,以前流传下来的hive等方案也是云固有的 在这样的背景下,数据湖应运而生。

数据湖处理了数仓的部分问题,如非结构化数据的解决、流批处理一体化等,并且云上的元数据和对象存储能力也在不断地演化和优化。 在oss的支持下,更好地实现了计算和存储的分离,扩展了数据湖的能力。

因此,数据湖和数据仓库的功能进一步整合,成为当前的趋势。

陈绪表示,从业务角度看,理想的湖仓一体以数据湖为“基础”,具备元数据管理的可扩展性,并优化了目标存储的访问性能,进而优化了宽表的实时多流能力,最终实现了分解

starlake :汇量科技自研开源数据湖框架

为了在互联网业务中实践数据湖和湖仓一体化,研究开发和开源数据湖框架starlake,实现大数据的实时采集和更新,有效构建湖仓一体化拆解平台,解决开发者的云和数据解决问题。

据介绍,与开源同类数据湖框架相比,starlake具有以下优势。

1、支持多级分区和range、hash两种分区模式,在upsert场景中有明显的性能提升,能够支持实时的宽表能力;

2、使用分布式数据库实现元数据管理,在扩展能力方面进一步提高;

3、比较存储的专业优化:通过改写文件分析层与存储层融合,实现计算和io的并行化

4、并支持写入时复制和读取合并模式,支持高并发写入能力;

5、将元数据、分区规则等进一步降低到计算引擎层,优化连接算子,提高查询的分解性能。

陈绪认为,在汇率技术上,starlake数据湖框架不是“单兵作战”,而是作为新一代一站式云原生大数据ai平台engineplus的一部分,在云原生框架下,为公司服务。

引擎加:新一代一站式云本机大数据ai平台

在engineplus平台上,starlake数据湖提供了高效的数据采集、分解和计算的“基础”,并且无缝对接了自我研究汇款技术的开源机器学习框架mindalpha

engineplus融合创新了大数据、云计算、人工智能等新闻技术,实现了数据采集、数据计算、模型训练、在线预测的一站式闭环,提高了客户解决数据的效率和精度 在大规模业务的生产验证下,engineplus兼具高速访问、简单易用、高性能、高稳定性等优势。

陈绪表示,典型的个性化算法业务场景中存在多个实时流,包括客户数据流、item数据流、交互数据流、离线数据流等,并称为starlake数据流

通过与oss提供给数据湖的存储能力相结合,可以构建实时化的宽表。 在这个过程中,基本上消除了以前流传的数仓建模和etl过程,然后可以分解,对接bi和ai的计算。

这使业务流程更加敏捷,大大简化了数据体系结构。 据悉,该框架已在广告、电子商务、风力发电等场合采用。

在数据湖的场景中,云商产品会去哪里?

作为云的原生数据湖的深顾客,集中技术业务的观点,共享了starlake数据湖框架的架构实践。 从架构的角度,对比数据湖的场景,汇率技术希望未来的云厂商在产品功能方面有怎样的快速发展?

在演讲后的圆桌讨论环节中,陈绪提出,从网络业务和云原生架构的角度来看“湖仓一体”的发展,未来将成为应用场景和基础架构融合的“co-design”趋势。

陈绪认为,engineplus的数据湖组件starlake需要根据业务场景和云中面向对象的存储的需求进行新的融合设计,这也是新的“合作设计”; 在湖仓一体化的趋势中,还可以看到对象存储和APP层的融合。 例如,最近oss推出的加速器功能很好。 未来,云厂商可以在目标存储上进一步提高元数据管理、一致性、并发吞吐量等能力,更好地支持各类实时数据观察场景,在湖上进一步统一数据观察体系,将是一个非常有意义的趋势。

陈绪是圆桌会议的一环

随着新领域的快速发展趋势,公司期望实现新一代数据智能开发、解放业务生产力,构成更加美丽的“云上创新”全景图。

标题:“云原生数据湖的探索和实践:当汇量科技 EnginePlus 团队来到阿里云峰会”

地址:http://www.chinaktz.com.cn/zhgnzx/20154.html

上一篇:没有了

下一篇:没有了

免责声明:本篇的内容是在网上转载的,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2031@163.com,本人将予以删除。

看了又看的资讯

  • “奶粉、成品油将实施较低进口暂定税率”

    财政部今天下午( 12月15日)宣布,明年对成品油、特殊配方婴幼儿奶粉、疫苗等730多种商品实行低进口暂定税率,平均税率比最惠国税率低50%以上。 财政部网站显示,为了积极扩大进口

  • 半挂车洗车场设备-产品质量才是选择的保障

    当前,大气污染问题日益突出,治理工作任重道远,只有全员参与,群策群力,才能持续、有效地做好这项工作,为蓝天贡献一份力量。 半挂车洗车场设备 控制了现场扬尘问题, 它

  • 清华大学房地产研修班

    腾讯云免实名账号购买 清华大学房地产研修班热招的院校有清华大学、中国人民大学、中国社会科学院、北京交通大学、北京交通大学、北京工业大学、中国农业大学、北京物资学院、

  • 提升品质、降低风险,防静电工作桌是明智之选!_佰斯特POUSTO

    在现代化生产过程中, 防静电工作桌 作为一个必不可少的元素,在许多行业得到广泛的应用。 其主要目的是为了创造一个无尘无静电的工作环境,以确保电子设备、光学仪器、半导体

  • 321不锈钢板应用领域不断扩大,已广泛应用于航空、航天、化工等领域中

    随着工业发展和科学技术的不断提高, 321不锈钢板 应用领域不断扩大,已广泛应用于航空、航天、化工等领域中,成为重要的工程结构和功能材料。本研究旨在探究321不锈钢板的材料性

  • “西安:小作坊禁止生产加工11类食品”

    为了加强监管降低食品安全风险,西安市质监局近日发布了《西安市食品生产加工小作坊登记备案管理办法(试行)》,其中严格禁止食品小作坊生产乳制品、酒类、罐头等11种高风险食品

  • ““楼市督查结论”系民间造 住建部称未接“一窥表””

    经记者卓志强出生于广州 《探索16省市楼市调查结论表》日前在多个主要网站上流传,多家媒体将其作为“依据”进行了报道。 但是,《每日经济信息》记者向许多人求证时发现,该表

  • “铁道部证实运输局官员刘瑞扬及其妻被立案”

    北京网7月31日通过铁道部有关部门证实,铁道部运输局车辆部副主任刘瑞扬及其妻子铁道文联副秘书长陈社交菡因涉嫌严重违纪被铁道部纪委立案调查。 刘瑞扬原在铁道部车辆部门工作

  • 郑州免联考硕士

    郑州免联考硕士在职研究生,想必大家也都知道,郑州大学是教育部直属全国重点大学,最早的高等院校之一。 现任郑州大学在2001年3月14日国务院学位委员会授权高校组织的全国联考,考试

  • 留学免联考有哪些流程

    哈氏合金板 留学免联考有哪些流程?1、如果你选择哪所学校,可以选择哪个专业。 2、考前辅导班比较好?不要因为你在上课之前参加的是网络辅导班,老师在上课的时候学生都已经对英语

中华经济时刊网介绍

中华金融时刊关注上市公司及银行、券商、基金、保险、信托等各类金融机构,新闻资讯采集报道范围涵盖宏观政策、经济数据、资本市场运行、上市公司及各类金融机构动向。长期以来,中国证券报为广大投资者持续奉献权威、专业、客观的财经证券新闻资讯,在资本市场具有广泛的影响力、公信力,发挥着引领预期、一锤定音的作用。着力增加有效信息,注重市场报道实用性,方便受众把握宏观政策和市场走势,及时了解国民经济和证券市场各层面信息,为投资决策提供有效参考;致力于促进资本市场健康、高质量发展,积极发挥舆论监督功能,维护投资者权益。