请选择 进入手机版 | 继续访问电脑版
游客您好
第三方账号登陆
  • 点击联系客服

    在线时间:8:00-23:00

    客服QQ

    QQ:169403068

    电子邮件

    169403068@qq.com

[A] Spark3大数据实时处理-Streaming+Structured Streaming 实战

[复制链接] 19
回复
399
查看

4250

主题

4255

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
13856

实战Spark 3 实时处理,掌握两套企业级处理方案

实战Spark 3 实时处理,掌握两套企业级处理方案


实战Spark 3 实时处理,掌握两套企业级处理方案

第1章 【项目启动】项目背景及架构分析
本章将介绍实战项目背景、数据流,并让大家对知晓在实际项目中应如何进行技术的选型以及项目架构的迭代过程。

第2章 【环境部署】基础开发环境搭建
工欲利其事必先利其器,本章重点介绍项目实战中要使用的大数据框架的部署,基础不是很牢固的同学要认真看哦。

第3章 【数据采集】构建日志服务器
本章节讲解项目中要使用的数据是如何产生及落地的。我们将采用Spring Boot开发日志服务,将访问日志通过日志服务落地到日志服务器磁盘。

第4章 【数据收集】基于Flume构建分布式日志收集
本章节讲解如何采用Flume来完成日志数据的收集工作。讲解Flume在生产上不同的场景的经典部署方案、Flume Agent的不同选型及配置、在生产环境Flume高可用的使用以及如何基于Flume进行二次开发,并使用Flume收集上一个章节中产生的日志数据。...

第5章 【消息队列】基于Kafka构建实时数据交换
Kafka是大数据项目选型中使用的最多的消息队列框架,本章节要掌握Kakfa的部署、使用命令行和API的方式进行Kafka的相关操作,分析Kafka的数据存储是什么样,并重点分析一个高频面试题ack的使用。最终完成,使用Kafka对接上一个章节Flume数据到的数据。...

第6章 【实时流处理】Spark Streaming核心API及编程初探
本章节会先带领大家知晓SparkStreaming能做什么,快速构建第一个Spark Streaming的应用程序并在本地和打包在服务器上运行,然后重点讲解基于开发Spark Streaming应用程序的核心概念,并详解如何对接socket和HDFS文件系统上的数据进行处理。如何使用Spark Streaming进行状态相关的处理以及整合Spark SQL的使用。...

第7章 【实时流处理】应用Spark Streaming实现数据分析及调优
本章节将讲解使用Spark Streaming进行项目实战。重点分析Spark Streaming如何对接Kafka的数据进行消费以及偏移量的自定义维护管理,使用Spark Streaming进行数据清洗以及项目功能的实现。并且,在完成功能的基础上如何进行其他功能的扩展、常用的调优点以及大数据集群规划。本章节是线上开发以及面试过程中必须掌握的!....

第8章 【实时流处理】Structured Streaming企业级应用
本章节将介绍Spark中新的流式模块Structured Streaming。通过本章学习,大家会知晓与Spark Streaming的优势体现在哪、掌握Structured Streaming的编程模型以及核心概念、基于EventTime的实时处理方式、对接常用数据源以及Streaming DataFrame编程、对接常用的Sink、Watermark机制和处理延迟数据的解决方案。...

第9章 【实时流处理】应用Structured Streaming实现数据分析及调优
本掌中将使用Structured Streaming框架来实现Spark Streaming项目中的清洗和统计功能,做到举一反三的功效,使得大家会使用不同的框架来进行相关业务的开发和处理。

第10章 【数据可视化】使用Echarts完成数据展示
本章节将对使用Spark Streaming以及Structured Streaming统计分析的结果进行可视化展示,采用前后端分离,请求后台查询服务接口并通过Echarts进行展示【前端部分采用React封装Echarts,源码随课赠送】。

第11章 【拓展&经验分享】核心梳理及面试指导
本章节在对课程重难点内容进行总结的同时,重点分享面试过程中HR常考点、准备大数据简历注意要素、以及实时处理在大厂中的应用。


游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

0

主题

750

帖子

1517

积分

金牌会员

Rank: 6Rank: 6

积分
1517
真是被感动的痛哭流涕……厉害了,我的【学客谷】!
回复 支持 反对

使用道具 举报

3

主题

753

帖子

1527

积分

金牌会员

Rank: 6Rank: 6

积分
1527
我抢、我抢、我抢沙发~
回复 支持 反对

使用道具 举报

0

主题

736

帖子

1472

积分

金牌会员

Rank: 6Rank: 6

积分
1472
小手一抖,钱钱到手!
回复 支持 反对

使用道具 举报

11

主题

769

帖子

1571

积分

金牌会员

Rank: 6Rank: 6

积分
1571
沙发!沙发!
回复 支持 反对

使用道具 举报

0

主题

1

帖子

582

积分

终身会员

积分
582
非常好的资源呢
回复 支持 反对

使用道具 举报

0

主题

1

帖子

590

积分

高级会员

Rank: 4

积分
590
看看
回复

使用道具 举报

0

主题

728

帖子

1456

积分

金牌会员

Rank: 6Rank: 6

积分
1456
为什么我才发现【学客谷】这样的好站!
回复 支持 反对

使用道具 举报

8

主题

1460

帖子

3216

积分

论坛元老

Rank: 8Rank: 8

积分
3216
真是难得给力的资源啊!支持【学客谷】!
回复 支持 反对

使用道具 举报

0

主题

740

帖子

1480

积分

终身会员

积分
1480
真是 收益 匪浅
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注我们
  • 官方微信公众号
  • APP应用下载
客服咨询
  • 400-123-4567(工作日:9:00-16:00)
  • enquire@neoconex.com

所有资源均是网上搜集或网友上传提供,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担。如有侵犯您的版权,请及时发邮件联系我们

Powered by Discuz! X3.2 © 2001-2013 Comsenz Inc. 星点互联设计  |网站地图