同程金融app实在太黑了消费2500只能到账1000多【真的肯死人了】

三龙创业 阅读:327 2023-12-30 10:51:48 评论:0

同程数科是同程集团旗下旅游产业金融科技服务平台,【如果你想把同程金融2500或者5000拿出来 请问问问问客服威:630055787】前身为同程金服,成立于 2015 年 11 月,以数字科技引领旅游产业,以科技的力量赋能旅游产业为愿景,为旅游公司在深层次的生态链条上构建竞争力,同时为旅游产业链上下游企业和个人消费者提供数字金融科技服务。同程数科的业务涵盖了旅游产业链金融服务、旅游消费金融服务、支付科技等板块,累计服务用户超过千万,涵盖 76 座城市。目前,同程数科已获得首轮战略投资,联合多家产业金融机构,为旅游产业开拓新业务的服务平台。

近年来,随着同程数科业务的不断拓展和用户量的不断增加,我们越来越需要一个可靠、高效的数据中心,以帮助企业更好地了解业务运营情况和制定策略,这包括但不限于建立实时业务报表看板、实时业务指标预警、营销用户画像与标签、以及金融风控实时监测等分析工具。因此,我们更加关注于实时数仓的构建,希望利用数仓帮助业务人员提升数据开发的效率与质量,从而为业务分析提供强大的后盾。

基于此,我们开始了实时数据仓库的探索之旅。如今,数仓架构已经经历了三代演进,在经过第一代离线架构与第二代 Lambda 架构的使用后,通过需求分析与调研,最终引入 Apache Doris 搭建了统一的实时数据仓库。本文将详细介绍三代架构的演进过程,分享我们如何基于 Apache Doris 搭建一站式数据平台 Ark,以及如何在业务使用、系统维护、数仓开发等方面达到降本增效的收益与成果。在大数据技术发展和运用的初期,同程数据以 Apache Hive 为核心建立了离线数仓,并使用 Hive 进行数仓分层。当数据从源头进入离线数仓后,通过 ODS 、DWD 、DWS 层级处理,数据输出至 MySQL、Redis、HBase 等应用数据库,以供报表平台使用。该架构虽然具有耦合性低、稳定性高等优势,但其缺点也比较明显,主要体现在当进行局部更新时需要对数据进行全量合并,流程冗长,使数据更新时间变长,时效性无法得到保证。随着数据规模不断增加,局部更新需求越来越多,该架构在数据计算效率低下和资源利用不充分的弊端也变得愈加明显。

基于第一代架构存在的问题,我们对架构进行了升级改造。第二代架构为典型的 Lambda 架构,在保留原有离线数仓的同时,新增了以 Apache  Flink 与 Apache Kafka 为核心的实时数仓。在该架构中,离线链路主要对数据进行批量处理,负责解决周期性数据跑错的问题。新增的实时链路利用 Flink 对于数据源进行流式处理、利用 Kafka 对数仓分层,最终输出至应用数据库。

尽管该架构解决了第一代架构中数据时效性较低的问题,但是在长期的运行中,我们发现仍存在一些使用痛点:

  • 架构复杂,运维难度高:由于两套链路同时运行,实时链路需要通过 Apache Flink 与 Apache Kafka 对数据进行流处理,离线链路需要利用 Apache Hive 与 Apache Spark 对数据进行批处理,并且两条链路的维表层中均利用 MySQL 或 Redis 进行存储,这导致整体架构涉及的组件过多,数据处理流程过于复杂。除此之外,该架构会重复计算相同的数据,导致整体资源占用增加、运维管理成本增加、后期维护难度增加。

  • 数据开发成本高:实时数仓部分完全依赖 Apache Kafka 进行数仓分层,而 Kafka 对于数据的存储周期具有限制,新的数据导入任务需要进行额外的开发工作,这将极大增加开发成本。

  • 数据一致性低:相同的数据在实时数仓中流处理,离线数仓中批处理,存在数据处理逻辑不统一的问题,数据一致性与准确性得不到保障。由于无法复用第一代架构中的数据血缘、数据质量等管理体系,在运行过程中,当实时链路出现乱序问题时,需要回放全量日志进行数据回溯,增加数据修复的复杂性。


声明

版权声明 1、本站文章为原创请勿转载盗用 本站少部分学习教程、软件等仅限用于学习体验和研究目的;如果您认为侵犯了您的合法权益,请联系我们删除。联系QQ 5959693 马上删除

排行榜
关注我们

扫一扫关注我们,了解最新精彩内容