Re: FlinkKafkaConsumer消费kafka中avro格式的消息,直接用AvroDeserializationSchema总是运行失败,自己实现了一个AbstracteserializationSchema运行成功了。

2020-05-29 文章 hyangvv
你好,我没有用confluent schema registry的avro格式,就是调用avro生成类中的toByteBufer实现了kafka的Serilizer。 > 在 2020年5月29日,下午12:31,Leonard Xu 写道: > > Hi, >> 我使用avro代码生成工具基于一个schema生成了UserView类,又实现了kafka的Serializer接口, > 你往kafka中写入avro格式的数据时用kafak的Serializer,写入的格式是当成confluent schemat > registry的avro格式吧 > confluent s

Re: FlinkKafkaConsumer消费kafka中avro格式的消息,直接用AvroDeserializationSchema总是运行失败,自己实现了一个AbstracteserializationSchema运行成功了。

2020-05-28 文章 Leonard Xu
Hi, > 我使用avro代码生成工具基于一个schema生成了UserView类,又实现了kafka的Serializer接口, 你往kafka中写入avro格式的数据时用kafak的Serializer,写入的格式是当成confluent schemat registry的avro格式吧 confluent schemat registry 在处理avro数据时会多写一个MAGIC_BYTE,一般avro是没有的,消费时用ConfluentRegistryAvroDeserializationSchema 试试。 Best, Leonard Xu [1] https://is

FlinkKafkaConsumer消费kafka中avro格式的消息,直接用AvroDeserializationSchema总是运行失败,自己实现了一个AbstracteserializationSchema运行成功了。

2020-05-28 文章 hyangvv
我使用avro代码生成工具基于一个schema生成了UserView类,又实现了kafka的Serializer接口,代码如下: import org.apache.kafka.common.serialization.Serializer; import java.io.IOException; public class UserViewSerializer implements Serializer { @Override public byte[] serialize(String topic, UserView data) { byte[] arr