Amazon Managed Service for Apache Flink 现已支持 Apach

Amazon托管的Apache Flink服务现已支持Apache Flink 118版

关键要点

Apache Flink 118版本的新增功能

Amazon托管的Apache Flink服务现已支持最新的Apache Flink 1181版本，增强了流处理能力和新功能。

在本文中，我们将探讨在Apache Flink 116、117和118版本中引入的一些新功能，及其在Amazon托管的Apache Flink服务中的应用。

新连接器

OpenSearch

现已提供针对OpenSearch的专用连接器，使Apache Flink应用能够直接将数据写入OpenSearch，无需依赖Elasticsearch的兼容模式。此连接器兼容Amazon OpenSearch服务和OpenSearch服务无服务器版本。

Amazon DynamoDB

现在，Apache Flink的开发者可以利用专用连接器将数据写入Amazon DynamoDB。这个连接器基于Apache Flink的AsyncSink，旨在简化高效接收连接器的实现。

MongoDB

我们还引入了针对MongoDB的连接器。本连接器同时支持源和接收，适用于SQL和表API和数据流API。

新连接器版本控制

自Apache Flink 117版本起，许多连接器已从Apache Flink主分发中外部化，并采用独立版本控制。

示例依赖关系

以下是Apache Flink 118所需连接器的示例依赖关系：

xmlltdependencygt ltgroupIdgtorgapacheflinklt/groupIdgt ltartifactIdgtflinkconnectorkafkalt/artifactIdgt ltversiongt310118lt/versiongtlt/dependencygt

SQL的改善

在Apache Flink SQL中，用户可以为连接查询提供提示。特别是在流式应用中，查找连接用于增强流数据表，从外部系统查询的数据通常是数据库。

改进特性

使用示例

sqlSELECT / LOOKUP(table=Customers async=true outputmode=allowunordered) / Oorderid Ototal CaddressFROM Orders AS O JOIN Customers FOR SYSTEMTIME AS OF Oproctime AS C ON Ocustomerid = Ccustomerid

PyFlink的改进

Python 310支持

Apache Flink的最新版本已引入对Python 310的支持，之前的Python 36支持已完全移除。

功能接近性

在API层面，PyFlink正逐步接近Java的功能。

线程模式改进

线程模式允许Python用户自定义函数在JVM内运行，从而消除序列化/反序列化带来的开销，极大提高性能。

其他显著改进

以下是一些其他显著的功能和性能改进：

无序检查点改进：在Flink 115中，已有增量检查点等支持，为性能优化提供帮助。数据偏斜处理：通过水印机制确保数据流的有序执行。Protobuf格式的直接支持：SQL和表API现在直接支持Protobuf格式。

结语

本文审视了Apache Flink中的若干新功能，及其在Amazon托管服务中的支持。通过支持Apache Flink 118，Managed Service为开发者提供了极好的体验和最新的功能。

如需更多关于Apache Flink的热门功能信息，可以访问：

关于作者

Lorenzo Nicora 是AWS的高级流处理解决方案架构师，拥有超过25年的云原生数据系统构建经验。Francisco Morillo 是AWS的流处理解决方案架构师，专注于设计实时分析架构。