博客
关于我
3 Flink 运行架构
阅读量:798 次
发布时间:2023-04-03

本文共 510 字,大约阅读时间需要 1 分钟。

1. Flink 程序结构

Flink 程序的基本构建块是流和转换。流是(可能永无止境的)数据记录流,而转换则是对流进行操作,生成新的流。Flink 应用程序的整体结构可以简单描述为:数据源 → 数据转换 → 数据接收器。

数据源是程序的起点。在 Flink 中,数据源的类型多样,常见的有基于本地集合的源、基于文件的源、基于网络套接字的源以及自定义的源。例如,自定义的源可以是 Apache Kafka、RabbitMQ 等消息队列系统,或者你可以自己定义接入 Flink 的数据源。

数据转换是程序的核心部分。在 Flink 中,转换操作包括 Map、FlatMap、Filter、KeyBy、Reduce、Fold、Aggregations、Window 等操作。这些操作可以对流进行各种计算,将数据转换为你所需的格式。

数据接收器是程序的终点,负责将处理后的数据发送到指定的位置。常见的接收器类型包括写入文件、打印输出、写入 socket 以及自定义的接收器。例如,自定义的接收器可以是 Apache Kafka、RabbitMQ、MySQL、ElasticSearch 或者 Apache Cassa 等系统。

转载地址:http://thefk.baihongyu.com/

你可能感兴趣的文章