博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据“重磅炸弹”:实时计算框架 Flink
阅读量:4121 次
发布时间:2019-05-25

本文共 1098 字,大约阅读时间需要 3 分钟。

你是不是经常体验或看到以下这些场景?

小田,你看能不能做个监控大屏实时查看促销活动销售额(GMV)?

小朱,搞促销活动的时候能不能实时统计下网站的 PV/UV 啊?

小鹏,我们现在搞促销活动能不能实时统计销量 Top5 啊?

小李,怎么回事啊?现在搞促销活动结果服务器宕机了都没告警,能不能加一个?

小刘,服务器这会好卡,是不是出了什么问题啊,你看能不能做个监控大屏实时查看机器的运行情况?

小赵,我们线上的应用频繁出现 Error 日志,但是只有靠人肉上机器查看才知道情况,能不能在出现错误的时候及时告警通知?

小夏,我们 1 元秒杀促销活动中有件商品被某个用户薅了 100 件,怎么都没有风控啊?

小宋,你看我们搞促销活动能不能根据每个顾客的浏览记录实时推荐不同的商品啊?

。。。

那这些场景对应着什什么业务需求呢?我们来总结下,大概如下:

640?wx_fmt=jpeg

初看这些需求,是不不是感觉很难?那么我们接下来来分析一下该怎么去实现?

从这些需求来看,最根本的业务都是需要实时查看数据信息,那么首先我们得想想如何去采集这些实时数据,然后将采集的实时数据进行实时的计算,最后将计算后的结果下发到第三方。大概会有以下三个方面:

  • 数据实时采集

  • 数据实时计算

  • 数据实时下发

本文从日常老板的需求口吻来讲解现在越来越多的实时性要求高的需求,并将这些需求做了个归纳统计,然后从需求里面得到了该如何去实现这类需求,是需要实时采集、实时计算、实时下发,并用图片把需求完成后的效果图展示了出来。

接着我们分析了对实时性要求高的计算这块,然后将离线计算与实时计算进行了对比,批处理与流处理进行对比,离线计算的特点与实时计算的特点,加上我自己的调研结果,归纳了实时计算的四种使用场景,提出了使用实时计算时要面临的挑战,因为各种需求,也就造就了现在出现不断的实时计算框架,接着看了下市场上所有的实时框架,但是因为这类对比的文章网上比较多,因此我只介绍了 Flink 的特性和其 API。

通过这篇文章的学习,你可以知道实时计算有哪些场景,你的公司这些场景是不是也可以换成 Flink 来做?同时也知道了实时计算与离线计算的区别,并初步认识了一下这个好玩好用的实时计算框架——Flink。

限于篇幅,感兴趣的同学可以扫描下方二维码继续查看完整全文

640?wx_fmt=jpeg

后面系列 Chat 文章中我们通过多个实战和大型案例来讲解 Flink,也欢迎大家订阅后在读者圈交流沟通你们公司是不是也在使用 Flink?使用 Flink 遇到什么坑?大概哪些场景使用到了 Flink?有没有更多的场景可以使用 Flink?

点击阅读原文,订阅本场 Chat ,查看完整全文

转载地址:http://vuspi.baihongyu.com/

你可能感兴趣的文章
python猜拳游戏
查看>>
python实现100以内自然数之和,偶数之和
查看>>
python数字逆序输出及多个print输出在同一行
查看>>
ESP8266 WIFI数传 Pixhaw折腾笔记
查看>>
苏宁产品经理面经
查看>>
百度产品经理群面
查看>>
去哪儿一面+平安科技二面+hr面+贝贝一面+二面产品面经
查看>>
element ui 弹窗在IE11中关闭时闪现问题修复
查看>>
vue 遍历对象并动态绑定在下拉列表中
查看>>
Vue动态生成el-checkbox点击无法选中的解决方法
查看>>
python __future__
查看>>
MySQL Tricks1
查看>>
python 变量作用域问题(经典坑)
查看>>
pytorch
查看>>
pytorch(二)
查看>>
pytorch(三)
查看>>
pytorch(四)
查看>>
pytorch(5)
查看>>
pytorch(6)
查看>>
ubuntu相关
查看>>