,据国家知识产权局公告,太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“,公开号CN117251414A,申请日期为2023年11月。
专利摘要显示,本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。
本文源自:金融界
作者:情报员
声明:本网转发此文,旨在为读者提供更多资讯信息,所渉内容不构成投资、建议消费。文章内容如有疑问,请与有关方核实,文章观点非本网站观点,仅供读者参考。
感谢IT之家网友你好啊_兔子、乌蝇哥的左手、肖战割割的线索投递!...
感谢IT之家网友华南吴彦祖的线索投递!,Linux硬件供应商Sy...
ldquo;手捏青苗么种福田,低头便见那水中天。六根清净方成稻,...
感谢IT之家网友西窗旧事的线索投递!,据日本读卖新闻报道,丰田汽...
感谢IT之家网友华南吴彦祖的线索投递!,三星此前针对智能显示器和...
为进一步增强全体干部职工的消防意识,提高自救互救和火灾应急处置能...