北京市昌平区建材城西路金燕龙办公楼一层电话:400-618-9090第一章Flink基础课程目标了解什么是流式计算了解Flink的简介掌握Flink的架构体系掌握Flink环境的搭建掌握Flink的运行架构1.课程说明1.1框架版本https://flink.apache.org/blog/https://developer.aliyun.com/article/780123?spm=a2c6h.12873581.0.0.1e3e46ccbYFFrChttps://developer.aliyun.com/article/784199?spm=a2c6h.12873581.0.dArticle784199.42212634BOtGzy&groupCode=sc北京市昌平区建材城西路金燕龙办公楼一层电话:400-618-9090本课程基于2021年05月28日最新发布的Flink1.13.1版本进行讲解,Flink1.13包括了超过200名贡献者所提交的1000多项修复和优化。这一版本中,Flink的一个主要目标取得了重要进展,即让流处理应用的使用和普通应用一样简单和自然。Flink1.13新引入的被动扩缩容使得流作业的扩缩容和其它应用一样简单,用户仅需要修改并发度即可。这个版本还包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候,这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的CPU火焰图和分析StateBackend状态的State访问性能指标。Flink1.13.1其中一些比较重要的修改包括:被动扩缩容分析应用的性能瓶颈检测与反压监控WebUI中的CPU火焰图State访问延迟指标通过Savepoint来切换SateBackend。K8s部署时使用用户指定的Pod模式生产可用的UnalignedCheckpoint机器学习迁移到单独的仓库SQL/TableAPI进展:通过Table-valued函数来定义时间窗口提高DataStreamAPI与TableAPI/SQL的互操作能力SQLClient:初始化脚本和语句集合(StatementSets)配置简化和代码共享通过语句集合来支持多查询Hive查询语法兼容性北京市昌平区建材城西路金燕龙办公楼一层电话:400-618-9090优化的SQL时间函数PyFlink核心优化:PythonDataStreamAPI中的有状态算子PyFlinkDataStreamAPI中的用户自定义窗口PyFlinkTableAPI中基于行的操作PyFlinkDataStreamAPI支持Batch执行模式其它优化:WebUI支持历史异常优化失败Checkpoint的异常和失败原因的汇报提供『恰好一次』一致性的JDBCSinkPyFlinkTableAPI在Group窗口上支持用户自定义的聚合函数Batch执行模式下Sort-mergeShuffle优化HBase连接器支持异步维表查询和查询缓存1.2编程语言Flink官方提供了Java、Scala...