flink 实时数仓

发布时间：2022-09-19 12:36:15 所属栏目：大数据来源：

导读：　　1.电商实时数仓分层介绍1.1 普通实时计算与实时数仓比较

　　在这里插入图片描述

　　在这里插入图片描述

　　1.2 实时电商数仓，项目分为以下几层

　　在这里插入图片描述

　　2.实时需求概

　　1.电商实时数仓分层介绍1.1 普通实时计算与实时数仓比较

　　在这里插入图片描述

　　在这里插入图片描述

　　1.2 实时电商数仓，项目分为以下几层

　　在这里插入图片描述

　　2.实时需求概览2.1 日常统计报表或分析图中需要包含当日部分

　　对于日常企业、网站的运营管理如果仅仅依靠离线计算，数据的时效性往往无法满足。通过实时计算获得当日、分钟级、秒级甚至亚秒的数据更加便于企业对业务进行快速反应与调整。

　　所以实时计算结果往往要与离线数据进行合并或者对比展示在BI或者统计平台中。

　　2.2 实时数据大屏监控

　　数据大屏，相对于BI工具或者数据分析平台是更加直观的数据可视化方式。尤其是一些大促活动，已经成为必备的一种营销手段。

　　另外还有一些特殊行业，比如交通、电信的行业，那么大屏监控几乎是必备的监控手段。

　　2.3 数据预警或提示

　　经过大数据实时计算得到的一些风控预警、营销信息提示，能够快速让风控或营销部分得到信息，以便采取各种应对。

　　比如，用户在电商、金融平台中正在进行一些非法或欺诈类操作，那么大数据实时计算可以快速的将情况筛选出来发送风控部门进行处理，甚至自动屏蔽。或者检测到用户的行为对于某些商品具有较强的购买意愿，那么可以把这些“商机”推送给客服部门，让客服进行主动的跟进。

　　2.4 实时推荐系统

　　实时推荐就是根据用户的自身属性结合当前的访问行为，经过实时的推荐算法计算，从而将用户可能喜欢的商品、新闻、视频等推送给用户。

　　这种系统一般是由一个用户画像批处理加一个用户行为分析的流处理组合而成。

　　3.统计架构分析3.1 离线架构

　　在这里插入图片描述

　　优点：耦合性低，稳定性搞

　　缺点：时效性差一点

　　说明：1.架构考虑稳定性

　　2.耦合性低，稳定性高

　　3.考虑到公司未来的发展，数据量一定会变得很大

　　4.早期公司使用SparkStreaming（微批次）

　　3.2 实时架构

　　在这里插入图片描述

　　优点：时效性好

　　缺点：耦合性高，稳定性低

　　说明：1.时效性好，flink

　　2.Kafka集群高可用，挂一两台没问题

　　3.数据量小大数据架构图，所有机器存在于统一机房，传输没问题

　　4.架构还是公司项目经理定的

　　4.日志数据采集

5.业务数据库数据采集.

（编辑：草根网_福州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

8个顶级预测分析工具对	如何采用大数据技术帮
赋能元宇宙启动智能交	真正指挥大规模战争的