?????? ?????? ????checkpoint ????190G??

2019-11-29 文章 sun 
??--  --
??: "tison"
: 2019??11??30??(??) 2:12
??: "user-zh";
: Re: ?? checkpoint 190G??


retain ??1 2 3 ...

Best,
tison.


sun <1392427...@qq.com> ??2019??11??30?? 2:08??

> ??checkpoint 
> ??checkpoint
> -- ?? --
> : "tangjunli...@huitongjy.com"
> : 2019??11??30??(??) 2:06
> : "user-zh";
> : : ?? checkpoint ??190G??
>
>
> ??state.backend.incremental false
>
>
>
> tangjunli...@huitongjy.com
>
> ?? sun
> ?? 2019-11-30 14:05
> ?? user-zh
> ?? ?? checkpoint ??190G??
> rocksdb true-- ?? --
> : "tangjunli...@huitongjy.com"
> : 2019??11??30??(??) 2:03
> : "user-zh";
> : : checkpoint ??190G??
>
>
> backend?? state.backend.incremental  ???
>
>
>
> tangjunli...@huitongjy.com
> ?? sun
> ?? 2019-11-30 10:13
> ?? flink; user-zh-subscribe
> ?? checkpoint ??190G??
> 
>
>
>
>
> iPhone

?????? ?????? ????checkpoint ????190G??

2019-11-29 文章 sun 
??--  --
??: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:11
??: "user-zh";
: : ?? checkpoint 190G??


??state.backend.incremental??false??checkpointflinkTTL



tangjunli...@huitongjy.com
 
?? sun
?? 2019-11-30 14:08
?? user-zh
?? ?? ?? checkpoint ??190G??
??checkpoint 
??checkpoint -- 
?? --
: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:06
: "user-zh";
: : ?? checkpoint ??190G??
 
 
??state.backend.incremental false
 
 
 
tangjunli...@huitongjy.com
?? sun
?? 2019-11-30 14:05
?? user-zh
?? ?? checkpoint ??190G??
rocksdb true-- ?? --
: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:03
: "user-zh";
: : checkpoint ??190G??
backend?? state.backend.incremental  ???
tangjunli...@huitongjy.com
?? sun
?? 2019-11-30 10:13
?? flink; user-zh-subscribe
?? checkpoint ??190G??

iPhone

Re: 回复： 本地checkpoint 文件190G了

2019-11-29 文章 tison 
retain 调小是你的场景比较简单的方法，1 2 3 都行，你可以试试...

Best,
tison.


sun <1392427...@qq.com> 于2019年11月30日周六 下午2:08写道：

> 好的，我主要想知道，怎么定时清理那些我用不到的checkpoint 文件，怎么让我的本地checkpoint
> 不会一直长大-- 原始邮件 --
> 发件人: "tangjunli...@huitongjy.com"
> 发送时间: 2019年11月30日(星期六) 下午2:06
> 收件人: "user-zh";
> 主题: 回复: 回复： 本地checkpoint 文件190G了
>
>
> 如果处理数据没有达到一定量级，建议state.backend.incremental 设为false
>
>
>
> tangjunli...@huitongjy.com
>
> 发人： sun
> 发送时间： 2019-11-30 14:05
> 收人： user-zh
> 主题： 回复： 本地checkpoint 文190G了
> rocksdb ，设置的true-- 原始邮 --
> 发人: "tangjunli...@huitongjy.com"
> 发送时间: 2019年11月30日(星期六) 下午2:03
> 收人: "user-zh";
> 主题: 回复: 本地checkpoint 文190G了
>
>
> 用的什么backend？ state.backend.incremental  这个参数设置的什么?
>
>
>
> tangjunli...@huitongjy.com
> 发人： sun
> 发送时间： 2019-11-30 10:13
> 收人： flink; user-zh-subscribe
> 主题： 本地checkpoint 文190G了
> 求助，我的文夹一直在长大
>
>
>
>
> 发自我的iPhone

?????? ?????? ????checkpoint ????190G??

2019-11-29 文章 sun 
??checkpoint 
checkpoint --  
--
??: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:06
??: "user-zh";
: : ?? checkpoint 190G??


??state.backend.incremental false



tangjunli...@huitongjy.com
 
?? sun
?? 2019-11-30 14:05
?? user-zh
?? ?? checkpoint ??190G??
rocksdb true-- ?? --
: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:03
: "user-zh";
: : checkpoint ??190G??
 
 
backend?? state.backend.incremental  ???
 
 
 
tangjunli...@huitongjy.com
?? sun
?? 2019-11-30 10:13
?? flink; user-zh-subscribe
?? checkpoint ??190G??

 
 
 
 
iPhone

????: ?????? ????checkpoint ????190G??

2019-11-29 文章 tangjunli...@huitongjy.com 
??state.backend.incremental false



tangjunli...@huitongjy.com
 
 sun
?? 2019-11-30 14:05
 user-zh
?? ?? checkpoint 190G??
rocksdb true--  --
??: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:03
??: "user-zh";
: : checkpoint 190G??
 
 
backend?? state.backend.incremental  ???
 
 
 
tangjunli...@huitongjy.com
?? sun
?? 2019-11-30 10:13
?? flink; user-zh-subscribe
?? checkpoint ??190G??

 
 
 
 
iPhone

?????? ????checkpoint ????190G??

2019-11-29 文章 sun 
rocksdb true--  --
??: "tangjunli...@huitongjy.com"
: 2019??11??30??(??) 2:03
??: "user-zh";
: : checkpoint 190G??


backend?? state.backend.incremental  ???



tangjunli...@huitongjy.com
 
?? sun
?? 2019-11-30 10:13
?? flink; user-zh-subscribe
?? checkpoint ??190G??





iPhone

????: ????checkpoint ????190G??

2019-11-29 文章 tangjunli...@huitongjy.com 
backend?? state.backend.incremental  ???



tangjunli...@huitongjy.com
 
 sun
?? 2019-11-30 10:13
 flink; user-zh-subscribe
?? checkpoint 190G??
??




iPhone

没有业务，但是window算子的buffer每秒收到接近一百条数据

2019-11-29 文章 柯桂强 
背景：起了4个taskmanager，每个配置6个slot，taskmanager.heap.size为6g，job的并行度设置为24，因为大量repartition和broadcast的原因，我修改taskmanager.network.memory.fraction为0.2，让这个任务顺利跑起来。
但是开始跑业务的时候发现10分钟后source的反压为high，并且不再消费任何数据。
接着我重启任务，并且不跑任务，发现所有window task的input pool 
usage都是满的，然后看到这些task每个subtask的numBuffersInRemotePerSecond+numBuffersInLocalPerSecond有80～100之高（其他非window的算子都正常），每个15字节左右，很明显它们不是业务数据，但是把in
 pool占满了，所以我怀疑是这里导致了反压，但是不清楚这些数据是什么数据，还希望各位大神解答。

Re:回复： 本地checkpoint 文件190G了

2019-11-29 文章 Henry 


太多了， 只保留最新的哪个checkpoint或者保留2、3个就好了。






在 2019-11-30 10:33:37，"sun" <1392427...@qq.com> 写道：
>retain 配置的20，还需要在程序里面配置什么吗，increase已经开启了，请问程序要怎么配置 -- 原始邮件 
>--
>发件人: "tison"
>发送时间: 2019年11月30日(星期六) 上午10:31
>收件人: "user-zh";
>主题: Re: 本地checkpoint 文件190G了
>
>
>你的 retain 数量设置是多少，然后程序里 state 本身写了多大的 state，有没开启 incremental checkpoint
>
>Best,
>tison.
>
>
>sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道：
>
>> 花了两天时间-- 原始邮 --
>> 发人: "Henry"
>> 发送时间: 2019年11月30日(星期六) 上午10:25
>> 收人: "user-zh";
>> 主题: Re:本地checkpoint 文190G了
>>
>>
>>
>> 是不是很快就增长到那么多了？
>>
>>
>>
>>
>>
>> 在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：
>>
>> 求助，我的文夹一直在长大
>>
>>
>>
>>
>> 发自我的iPhone

Re: 本地checkpoint 文件190G了

2019-11-29 文章 tison 
retain 20 干啥...默认是 1 基本也还行，我还没见过其他生产上超过 5 的...

你的 checkpoint interval 是多少（这个不影响最终大小但是可能很快你就看到 checkpoint 文件大小涨上去），然后单次
checkpoint 大小多大知道吗？

听上去像是预期行为因为你配置就是要保留很多的 checkpoint，实际上自动恢复的时候只会读最后一个

Best,
tison.


sun <1392427...@qq.com> 于2019年11月30日周六 上午10:33写道：

> retain 配置的20，还需要在程序里面配置什么吗，increase已经开启了，请问程序要怎么配置 -- 原始邮件
> --
> 发件人: "tison"
> 发送时间: 2019年11月30日(星期六) 上午10:31
> 收件人: "user-zh";
> 主题: Re: 本地checkpoint 文件190G了
>
>
> 你的 retain 数量设置是多少，然后程序里 state 本身写了多大的 state，有没开启 incremental checkpoint
>
> Best,
> tison.
>
>
> sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道：
>
> > 花了两天时间-- 原始邮 --
> > 发人: "Henry"
> > 发送时间: 2019年11月30日(星期六) 上午10:25
> > 收人: "user-zh";
> > 主题: Re:本地checkpoint 文190G了
> >
> >
> >
> > 是不是很快就增长到那么多了？
> >
> >
> >
> >
> >
> > 在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：
> >
> > 求助，我的文夹一直在长大
> >
> >
> >
> >
> > 发自我的iPhone

?????? ????checkpoint ????190G??

2019-11-29 文章 sun 
retain 
??20??increase?? 
--  --
??: "tison"
: 2019??11??30??(??) 10:31
??: "user-zh";
: Re: checkpoint 190G??


 retain ?? state ?? state?? 
incremental checkpoint

Best,
tison.


sun <1392427...@qq.com> ??2019??11??30?? 10:28??

> -- ?? --
> : "Henry"
> : 2019??11??30??(??) 10:25
> : "user-zh";
> : Re:checkpoint ??190G??
>
>
>
> 
>
>
>
>
>
> ?? 2019-11-30 10:13:27??"sun" <1392427...@qq.com> ??
>
> 
>
>
>
>
> iPhone

Re: 本地checkpoint 文件190G了

2019-11-29 文章 tison 
你的 retain 数量设置是多少，然后程序里 state 本身写了多大的 state，有没开启 incremental checkpoint

Best,
tison.


sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道：

> 花了两天时间-- 原始邮件 --
> 发件人: "Henry"
> 发送时间: 2019年11月30日(星期六) 上午10:25
> 收件人: "user-zh";
> 主题: Re:本地checkpoint 文件190G了
>
>
>
> 是不是很快就增长到那么多了？
>
>
>
>
>
> 在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：
>
> 求助，我的文件夹一直在长大
>
>
>
>
> 发自我的iPhone

??????????checkpoint ????190G??

2019-11-29 文章 sun 
--  --
??: "Henry"
: 2019??11??30??(??) 10:25
??: "user-zh";
: Re:checkpoint 190G??



 





?? 2019-11-30 10:13:27??"sun" <1392427...@qq.com> ??

??




iPhone

Re:本地checkpoint 文件190G了

2019-11-29 文章 Henry 

是不是很快就增长到那么多了？ 





在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：

求助，我的文件夹一直在长大




发自我的iPhone

????checkpoint ????190G??

2019-11-29 文章 sun 
??




iPhone

Re: Flink consume Kafka with schema registry

2019-11-29 文章 Lijun Ye 
Hi,

Try this
https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/connectors/kafka.html
I have found this contain schema registry part.

On Wed, Nov 27, 2019 at 1:23 PM Lijun Ye  wrote:

> Hi,
>
> Can not agree more, if it is supported. Because we need, a
>
> On Wed, Nov 27, 2019 at 11:00 AM 朱广彬  wrote:
>
>> I have the same problem these days.
>>
>> I finally customize avro related serde schema for supporting schema
>> registry.
>>
>> The root cause is that, when serialization , the avro record with schema
>> registry restriction is different with “original” avro record without
>> schema registry restriction . The former writes 5 bytes header ahead of
>> real record bytes. 1 byte magic and 4 bytes schema Id which is the unique
>> id registered in Kafka schema registry.
>>
>> I think apache flink should consider this case,  supporting both original
>> avro and schema registry formatted avro .
>>
>> Any plan for this?
>>
>> On Wed, Nov 27, 2019 at 10:43 Lijun Ye  wrote:
>>
>> > Hi,
>> >
>> > I have occur the problem that the data in Kakfa is formatted as avro
>> with
>> > schema register server.
>> > I found that is not easy to consume this topic easy, the provided kafka
>> > does not support this, and I do not want to write a new kafka source, is
>> > there any way to using provided kafka source to consume kafka, which is
>> > format as avro with schema register.
>> >
>> > Thanks
>> >
>>
>

Re: yarn-session.sh 启动 报错

2019-11-29 文章 hahaha sc 
其实直接引入一个全局变量 export HADOOP_CLASSPATH=`hadoop classpath` 就行了。我和你遇到过一样的问题。

tison  于2019年11月18日周一 下午4:50写道：

> 你可以改一下 yarn-session.sh 的内容，看一下最后执行的命令是啥，可能 shell 里多了空格导致一些解析上的问题。
>
> Best,
> tison.
>
>
> 李军  于2019年11月18日周一 下午4:44写道：
>
> > 找到问题了；
> > 是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1)  名字错了；
> > 但是又有一个错误不是很明白；
> >
> >
> > 签名由 网易邮箱大师  定制
> > 在2019年11月18日 16:38，李军  写道：
> >
> > HADOOP_CLASSPATH 设置了；
> > 启动这个好像不需要指定程序的入口类吧
> >
> >
> > 在2019年11月18日 16:34，tison 
> 写道：
> >
> > 可能是你没有设置 HADOOP_CLASSPATH
> >
> > 参考 https://flink.apache.org/downloads.html 本页面最上部分
> >
> > If you plan to use Apache Flink together with Apache Hadoop (run Flink on
> > YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file
> > system connector) then select the download that bundles the matching
> Hadoop
> > version, download the optional pre-bundled Hadoop that matches your
> version
> > and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH
> > <
> >
> https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html
> > >
> >
> > Best,
> > tison.
> >
> >
> > 李军  于2019年11月18日周一 下午4:31写道：
> >
> > 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
> > 报错：Error: Could not find or load main class
> > org.apache.flink.yarn.cli.FlinkYarnSessionCli
> >
> >
> > ResourceManager，NodeManager都已启动。
> >
> >
>

checkpoint、state

2019-11-29 文章 hahaha sc 
flink的每条数据既然都做了checkpoint，做成全局分布式一致性快照，那还需要本地state干啥呢？是否可以理解成，本地state是一致性快照的一部分而已？
  昨天看了 社区的直播回放，听PMC的介绍，好像不是一回事。