7. Flink 连接器

经过前文的学习，我们已经了解了 Flink 如何对一个数据流进行有状态的计算。在实际生产环境中，数据可能存放在不同的系统中，比如文件系统、数据库或消息队列。一个完整的 Flink 作业包括 Source 和 Sink 两大模块，Source 和 Sink 肩负着 Flink 与外部系统进行数据交互的重要功能，它们又被称为外部连接器（Connector）。本章将详细介绍 Flink 的 Connector 相关知识，主要内容如下。

• 7.1. Flink 端到端的 Exactly-Once 保障
  • 故障恢复与一致性保障
  • 幂等写
  • 事务写
• 7.2. 自定义 Source 和 Sink
  • Flink 1.11 之前的 Source
    • 实现 SourceFunction
    • 可恢复的 Source
    • 时间戳和 Watermark
    • 并行版本
  • 7.2.2 Flink 1.11 之后的 Source
  • 自定义 Sink
    • 幂等写
    • 事务写
      • Write-Ahead-Log 协议的原理
      • Two-Phase-Commit 协议的原理和实现
• 7.3. Flink 中常用的 Connector
  • 内置 I/O 接口
    • 基于 Socket 的 Source 和 Sink
    • 基于内存集合的 Source
    • 输出到标准输出的 Sink
    • 基于文件系统的 Source 和 Sink
      • 基于文件系统的 Source
      • 基于文件系统的 Sink
  • Flink Kafka Connector
    • Flink Kafka Source
    • Flink Kafka Sink
• 7.4. 案例实战：读取并输出股票价格数据流
  • 一、实验目的
  • 二、实验内容
  • 三、实验要求
  • 四、实验报告
  • 本章小结