Re: flink sql如何处理脏数据问题？

还有一种做法就是使用datastream，datastream支持sideoutput，但 flink sql不支持，不过有一种迂回的做法就是flinksql -> datastream -> flink sql，可以查一下官网资料，flinksql和datastream可以互相转换。 Xuyang 于2023年10月30日周一 10:17写道： > Flink SQL目前对于脏数据没有类似side output的机制来输出，这个需求用自定义connector应该可以实现。 > > > > > > > > -- > > Best！ > Xuyang > > > > >

flink sql如何处理脏数据问题？

场景：使用flink sql将数据写入下游OLAP系统，如doris，遇到一些异常情况，比如字段值超长或者分区字段值为当前doris表不存在的分区（需要先人为创建）等等，当前写入这些脏数据会使得作业写入报错，进而导致作业失败。我们是希望能够将这些“脏”数据单独发到一个kafka topic或者写入一个文件便于事后审查。这个目前有办法做到吗？