退订
退订
Re: Flink DataStream 作业如何获取到作业血缘?
通过 JobGraph 可以获得 transformation 信息,可以获得具体的 Source 或者 Doris Sink,之后再通过反射获取里面的 properties 信息进行提取。 可以参考 OpenLineage[1] 的实现. 1. https://github.com/OpenLineage/OpenLineage/blob/main/integration/flink/shared/src/main/java/io/openlineage/flink/visitor/wrapper/FlinkKafkaConsumerWrapper.java Best, Feng On Mon, Feb 26, 2024 at 6:20 PM casel.chen wrote: > 一个Flink DataStream 作业从mysql cdc消费处理后写入apache > doris,请问有没有办法(从JobGraph/StreamGraph)获取到source/sink > connector信息,包括连接字符串、数据库名、表名等?
Flink DataStream 作业如何获取到作业血缘?
一个Flink DataStream 作业从mysql cdc消费处理后写入apache doris,请问有没有办法(从JobGraph/StreamGraph)获取到source/sink connector信息,包括连接字符串、数据库名、表名等?