Re: FLINK 1.9.1 StreamingFileSink 压缩问题

Wed, 01 Jan 2020 23:01:18 -0800 

Hi,

看起来你只能改下connector代码才能支持压缩了：
ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。

Best,
Jingsong Lee


------------------------------------------------------------------
From:USERNAME <[email protected]>
Send Time:2020年1月2日(星期四) 13:36
To:user-zh <[email protected]>
Subject:FLINK 1.9.1 StreamingFileSink 压缩问题

各位好，FLINK 1.9.1 使用 StreamingFileSink 写Parquet到HDFS，能启用压缩吗？

--代码
StreamingFileSink<HDFSBean> sink = StreamingFileSink
        .forBulkFormat(new Path(FILE_HDFS_PATH), 
ParquetAvroWriters.forReflectRecord(HDFSBean.class))
        .withBucketAssigner(new DateTimeBucketAssigner<>(FILE_HDFS_FORMAT))

        .build();

回复