Re:回复： 本地checkpoint 文件190G了

[Henry]

太多了， 只保留最新的哪个checkpoint或者保留2、3个就好了。






在 2019-11-30 10:33:37，"sun" <1392427...@qq.com> 写道：
>retain 配置的20，还需要在程序里面配置什么吗，increase已经开启了，请问程序要怎么配置 -- 原始邮件 
>--
>发件人: "tison"
>发送时间: 2019年11月30日(星期六) 上午10:31
>收件人: "user-zh";
>主题: Re: 本地checkpoint 文件190G了
>
>
>你的 retain 数量设置是多少，然后程序里 state 本身写了多大的 state，有没开启 incremental checkpoint
>
>Best,
>tison.
>
>
>sun <1392427...@qq.com> 于2019年11月30日周六 上午10:28写道：
>
>> 花了两天时间-- 原始邮 --
>> 发人: "Henry"
>> 发送时间: 2019年11月30日(星期六) 上午10:25
>> 收人: "user-zh";
>> 主题: Re:本地checkpoint 文190G了
>>
>>
>>
>> 是不是很快就增长到那么多了？
>>
>>
>>
>>
>>
>> 在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：
>>
>> 求助，我的文夹一直在长大
>>
>>
>>
>>
>> 发自我的iPhone

Re:本地checkpoint 文件190G了

[Henry]

是不是很快就增长到那么多了？ 





在 2019-11-30 10:13:27，"sun" <1392427...@qq.com> 写道：

求助，我的文件夹一直在长大




发自我的iPhone

Re:yarn-session.sh 启动 报错

[Henry]

是不是程序里没有指定入口类啊？  在命令行里指定试试？  -C  com.xx.bbb 







在 2019-11-18 16:31:26，"李军"  写道：
>启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
>报错：Error: Could not find or load main class 
>org.apache.flink.yarn.cli.FlinkYarnSessionCli
>
>
>ResourceManager，NodeManager都已启动。

Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

终于搞明白了，太感谢啦





在 2019-11-18 16:09:32，"aihua li"  写道：
>这个跟每个job申请的资源有关，如果三个job申请的总资源数小于yarn总的资源，那么三个job是可以同时running，否则会有job因为资源申请不到而处于accepted状态
>资源足够的话两个job是可以调度到一台机器上的，只是端口号不同而已，可以从yarn页面上通过链接进入不同的页面查看
>
>> 在 2019年11月18日，下午3:54，Henry  写道：
>> 
>> 
>> 
>> 
>> 哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 
>> 但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ 
>> 第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后
>> 要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ 
>> 还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 
>> 对应一个程序，slave2:2000对应一个程序，通过链接进入不同
>> 的页面查看？
>> 
>> 
>> 
>> 
>> 
>> 
>> 在 2019-11-18 13:44:09，"aihua li"  写道：
>>> 看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了
>>> 
>>>> 在 2019年11月17日，下午4:14，Henry  写道：
>>>> 
>>>> 
>>>> 
>>>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running 
>>>> Job 中只有最后提交的那个
>>>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>>>> 
>>>>> 发自我的iPhone
>>>>> 
>>>>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>>>>> 
>>>>>> 
>>>>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 
>>>>>> 1024 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 
>>>>>> ApplicationMater 跳转到 Flink-Dashboard 页面之后，在 Running job 
>>>>>> 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 
>>>>>> Running 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>>>>> 详情图片如下：
>>>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>>>>> 
>>> 
>

Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 
但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ 
第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后
要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ 
还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 
对应一个程序，slave2:2000对应一个程序，通过链接进入不同
的页面查看？






在 2019-11-18 13:44:09，"aihua li"  写道：
>看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了
>
>> 在 2019年11月17日，下午4:14，Henry  写道：
>> 
>> 
>> 
>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>> 中只有最后提交的那个
>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>> 
>> 
>> 
>> 
>> 
>> 在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>> 
>>> 发自我的iPhone
>>> 
>>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>>> 
>>>> 
>>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 
>>>> 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>>> 详情图片如下：
>>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>>>> 
>

Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢
截图：
https://img-blog.csdnimg.cn/20191118085832554.png





在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道：



你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 
-ynm YourJobName,你再观察一下。







在 2019-11-17 16:14:32，"Henry"  写道：
>
>
>是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>中只有最后提交的那个
>程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>
>>发自我的iPhone
>>
>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>> 
>>> 
>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下：
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>> 
>>> 
>>> 
>>> 
>>>  
>>> 
>>> 
>>> 
>>>  






 

Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
中只有最后提交的那个
程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。





在 2019-11-17 16:05:29，18612537...@163.com 写道：
>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>
>发自我的iPhone
>
>> 在 2019年11月17日，下午2:51，Henry  写道：
>> 
>> 
>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>> 详情图片如下：
>> https://img-blog.csdnimg.cn/20191115175027258.png
>> 
>> 
>> 
>> 
>>  
>> 
>> 
>> 
>>  

通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 跳转到 
Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
详情图片如下：
https://img-blog.csdnimg.cn/20191115175027258.png








 

通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 跳转到 
Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
详情图片如下：
https://img-blog.csdnimg.cn/20191115175027258.png

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

[Henry]

哇，非常感谢，打开了。我研究一下，感谢啦





在 2019-10-28 23:23:57，"Dian Fu"  写道：
>我这边是正常的，那你试下这个链接：http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3c465086db-1679-4dd9-aab5-086bb4039...@gmail.com%3E
> 
><http://mail-archives.apache.org/mod_mbox/flink-user-zh/201909.mbox/%3c465086db-1679-4dd9-aab5-086bb4039...@gmail.com%3E>
>> 在 2019年10月28日，下午10:00，Henry  写道：
>> 
>> 
>> 
>> 谢谢您。不过连接打不开呀。 
>> 
>> http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
>> 
>> 
>> 
>> 
>> 
>> 
>> 
>> 在 2019-10-28 20:02:21，"Dian Fu"  写道：
>>> 之前有过类似问题，你看一下这个回复，对你是否有帮助：http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
>>>  
>>> <http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>>> 
>>> 
>>> 
>>>> 在 2019年10月28日，下午3:54，Henry  写道：
>>>> 
>>>> 您好！
>>>> 
>>>> 
>>>> 请问一下，发现flink任务失败了，然后程序自己重启也失败，然后就不停的写日志。产生了 34G log，没看出来这是因为啥导致的，
>>>> 谢谢大家了。
>>>> 日志内容如下：
>>>> https://img-blog.csdnimg.cn/20191028155219828.png
>>>> 
>>>> 
>>>> https://img-blog.csdnimg.cn/20191028155224293.png
>>>> 
>>>> 
>>>> https://img-blog.csdnimg.cn/20191028155227494.png
>>>> 
>>>> 
>>>> 
>>> 
>

Re:Re: Flink 的 log 文件夹下产生了 34G 日志

[Henry]

谢谢您。不过连接打不开呀。 

http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724







在 2019-10-28 20:02:21，"Dian Fu"  写道：
>之前有过类似问题，你看一下这个回复，对你是否有帮助：http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724
> 
><http://apache-flink.147419.n8.nabble.com/Flink-BlobServerConnection-NoSuchFileException-td722.html#a724>
>
>
>
>> 在 2019年10月28日，下午3:54，Henry  写道：
>> 
>> 您好！
>> 
>> 
>> 请问一下，发现flink任务失败了，然后程序自己重启也失败，然后就不停的写日志。产生了 34G log，没看出来这是因为啥导致的，
>> 谢谢大家了。
>> 日志内容如下：
>> https://img-blog.csdnimg.cn/20191028155219828.png
>> 
>> 
>> https://img-blog.csdnimg.cn/20191028155224293.png
>> 
>> 
>> https://img-blog.csdnimg.cn/20191028155227494.png
>> 
>> 
>> 
>

Flink 的 log 文件夹下产生了 34G 日志

[Henry]

您好！


请问一下，发现flink任务失败了，然后程序自己重启也失败，然后就不停的写日志。产生了 34G log，没看出来这是因为啥导致的，
谢谢大家了。
日志内容如下：
https://img-blog.csdnimg.cn/20191028155219828.png


https://img-blog.csdnimg.cn/20191028155224293.png


https://img-blog.csdnimg.cn/20191028155227494.png



 

Re:回复: Re: Flink SQL ：Unknown or invalid SQL statement.

[Henry]

谢谢啦






在 2019-10-09 11:19:17，"pengchengl...@163.com"  写道：
>你好，可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html
>
>
>
>pengchengl...@163.com
> 
>发件人： Henry
>发送时间： 2019-10-09 10:44
>收件人： user-zh
>主题： Re:Re: Flink SQL ：Unknown or invalid SQL statement. 
> 
> 
> 
>哈，非常非常感谢啦。 在 yaml 里定义使用表的哪些内容呢？有木有相关资料呢？ 木有搜到呢。谢谢了。
> 
> 
> 
> 
> 
>在 2019-10-09 10:16:20，"Terry Wang"  写道：
>>SQL client目前还不支持create table语法，你需要在yaml文件里定义使用的表。
>>
>>Best,
>>Terry Wang
>>
>>
>>
>>> 2019年10月9日 上午8:49，Henry  写道：
>>> 
>>> 大家好，求助一下。
>>> FIink SQL> create table kafka_source( 
>>>> messageKey varbinary, 
>>>> message  varbinary, 
>>>> topic varchar, 
>>> ＞'partition'  int, 
>>>> 'offset'  bigint 
>>>> ) with ( 
>>>> type='kafka011', 
>>>> topic='test', 
>>>> bootstrap. servers='thcathost:9092', 
>>>> 'group. id'='chf' 
>>>> ); 
>>> 
>>> 
>>> [ERROR] Unknown or invalid SQL statement.

Re:Re: Re: Re: Re: Flink 的 log 文件夹下产生了 44G 日志

[Henry]

看到啦，谢谢啦。





在 2019-07-21 19:16:36，"Caizhi Weng"  写道：
>Hi Henry,
>
>你可能看错了，仔细看你的 run 函数，里面有个 try catch 里有 running = true...
>
>Henry  于2019年7月20日周六 下午9:32写道：
>
>>
>>
>> 啊！我想起来了，之前忘了因为啥原因了，为了方便调试把  running = false; 改成了 running = true;
>> 感谢感谢！  但是原因是为啥呢？这个 running = true; 是写在 cancel 中的，任务在执行没有取消它，
>> 怎么会跳转这里呢？
>>
>>
>>
>>
>>
>> 在 2019-07-20 03:23:28，"Caizhi Weng"  写道：
>> >Hi Henry,
>> >
>> >LOG.error(e.getLocalizedMessage());
>> >running = true;
>> >
>> >这里写错了吧，应该是 running = false;
>> >
>> >Henry  于2019年7月19日周五 下午4:04写道：
>> >
>> >>
>> >>
>> >> 谢谢你的帮助哈！ 我也是觉得 source 里的问题，但是呢，木有找到错误的地方。下面这个是我那个自定义的 source
>> >> 代码，但是里面没有写log里报的哪个错的提示。
>> >> package com.JavaCustoms;
>> >> import org.apache.activemq.ActiveMQConnectionFactory;
>> >> import org.apache.flink.configuration.Configuration;
>> >> import
>> org.apache.flink.streaming.api.functions.source.RichSourceFunction;
>> >> import org.slf4j.Logger;
>> >> import org.slf4j.LoggerFactory;
>> >>
>> >> import javax.jms.*;
>> >>
>> >> public class FlinkJMSStreamSource extends RichSourceFunction {
>> >> private static final long serialVersionUID = 1L;
>> >> private static final Logger LOG =
>> >> LoggerFactory.getLogger(FlinkJMSStreamSource.class);
>> >> private transient volatile boolean running;
>> >> private transient MessageConsumer consumer;
>> >> private transient Connection connection;
>> >>
>> >> // topic name
>> >> private static final String topicName = "flink_mypay";
>> >> // tcp str
>> >> private static final String tcpStr = "tcp://server.mn:61616";
>> >> // 持久订阅的id标识
>> >> private static final String clientId = "flink_hz";
>> >> // Subscription name
>> >> private static final String subscriptionName = "flink_topic_mypay";
>> >>
>> >> private void init() throws JMSException {
>> >> // Create a ConnectionFactory
>> >> ActiveMQConnectionFactory connectionFactory = new
>> >> ActiveMQConnectionFactory(tcpStr);
>> >>
>> >> // Create a Connection
>> >> connection = connectionFactory.createConnection();
>> >> connection.setClientID(clientId);
>> >> //connection.start();
>> >>
>> >>   // Create a Session
>> >> Session session = connection.createSession(false,
>> >> Session.AUTO_ACKNOWLEDGE);
>> >>
>> >> // Create a MessageConsumer from the Session to the Topic or Queue
>> >> Topic topic = session.createTopic(topicName);
>> >> consumer = session.createDurableSubscriber(topic, subscriptionName);
>> >> connection.start();
>> >>}
>> >>
>> >> @Override
>> >> public void open(Configuration parameters) throws Exception {
>> >> super.open(parameters);
>> >> running = true;
>> >>   init();
>> >>}
>> >>
>> >> @Override
>> >> public void run(SourceContext ctx) {
>> >> // this source never completes
>> >>
>> >> while (running) {
>> >> try {
>> >> Message message = consumer.receive();
>> >> BytesMessage bytesMessage = (BytesMessage) message;
>> >> byte[] bytes = new byte[(int) bytesMessage.getBodyLength()];
>> >> bytesMessage.readBytes(bytes);
>> >>
>> >> String text = new String(bytes);
>> >> ctx.collect(text);
>> >>
>> >>  } catch (JMSException e) {
>> >> LOG.error(e.getLocalizedMessage());
>> >> running = true;
>> >>  }
>> >>   }
>> >> try {
>> >>  close();
>> >>   } catch (Exception e) {
>> >> LOG.error(e.getMessage(), e);
>> >>   }
>> >>}
>> >>
>> >> @Override
>> >> public void cancel() {
>> >> running = false;
>> >>}
>> >>
>> >> @Override
>> >> public void close() throws Exception {
>> >> LOG.info("Closing");
>> >> try {
>> >> connection.close();
>> >>   } catch (JMSException e) {
>> >> throw new Run

Re:Re: Flink 的 log 文件夹下产生了 44G 日志

[Henry]

你好，谢谢！是的，这个Source是用JMS实现的自定义Source。目前还在查原因，但是怎么能够让Flink不这样爆炸写log日志呢？20分钟就能写满磁盘，写了40G多。





在 2019-07-19 11:11:37，"Caizhi Weng"  写道：
>Hi Henry,
>
>这个 source 看起来不像是 Flink 提供的 source，应该是 source 本身实现的问题。你可能需要修改 source
>的源码让它出错后关闭或者进行其它处理...
>
>Henry  于2019年7月19日周五 上午9:31写道：
>
>>  大家好，之前那个报错图片大家没看到，重新弄一下。
>> 报错图片链接：
>> https://img-blog.csdnimg.cn/20190719092540880.png
>> https://img-blog.csdnimg.cn/20190719092848500.png
>>
>>
>> 我看报错的原因是，我这里Source用的是ActiveMQ，从昨天早上9点开始运行Flink任务接收消息，到今天早上8点都很正常。然后在今天早上8点4分的时候开始猛报错flink往log文件夹下写日志。第二个图是报错开始，显示ActiveMQ好像超时，然后就是消费者关闭一直猛写log。
>> 我想问一下有没有什么办法设置flink不让他一直写log，这样感觉没办法测试运行啊，只要一报错就一直写日志，把服务器磁盘都干满了直接崩溃了。求助。

Flink 的 log 文件夹下产生了 44G 日志

[Henry]

 大家好，之前那个报错图片大家没看到，重新弄一下。
报错图片链接：
https://img-blog.csdnimg.cn/20190719092540880.png
https://img-blog.csdnimg.cn/20190719092848500.png


我看报错的原因是，我这里Source用的是ActiveMQ，从昨天早上9点开始运行Flink任务接收消息，到今天早上8点都很正常。然后在今天早上8点4分的时候开始猛报错flink往log文件夹下写日志。第二个图是报错开始，显示ActiveMQ好像超时，然后就是消费者关闭一直猛写log。
 我想问一下有没有什么办法设置flink不让他一直写log，这样感觉没办法测试运行啊，只要一报错就一直写日志，把服务器磁盘都干满了直接崩溃了。求助。

Re:Re: Flink 的 log 文件夹下产生了 44G 日志

[Henry]

明白啦，谢谢哈。 我以为会显示图片呢。 我贴链接下次。





在 2019-07-18 12:03:57，"zhisheng"  写道：
>尴尬了，之前回复的邮件难道都是空白，Henry
>你可以把报错信息放到哪个博客里面，然后再这里提供个链接，邮件看不到你的截图错误信息，你可以先根据错误信息定位问题所在，把错误的问题先解决掉，然后再来合理的配置重启策略。
>
>Biao Liu  于2019年7月18日周四 上午1:15写道：
>
>> Hi Henry,
>>
>> 邮件列表貌似不能支持直接贴图，所以无法理解“里面不停的在产生 error
>> 信息，但是也没有看到具体哪里报错”是什么意思。尝试贴图到第三方，然后贴链接上来？不知道还有没有更好的办法
>>
>> To zhisheng2018, 你为什么老回空邮件？
>>
>>
>> zhisheng2...@gmail.com  于2019年7月18日周四 上午12:49写道：
>>
>> >
>>

Flink 的 log 文件夹下产生了 44G 日志

[Henry]

您好！
 请问一下，把程序打jar包然后提交集群运行了一天，flink安装目录下的log文件夹里产生了44G日志文件。flink 
主要做的接收到消息处理完之后写入数据库，但是通过查看数据库数据的情况，数据也挺完整的没有什么错误，可是tail 查看了一下产生的log文件，里面不停的在产生 
error 信息，但是也没有看到具体哪里报错，IDEA 
本地运行的时候没有报错。据说要在代码设置默认重启策略，我在代码里开启了checkpoint，“senv.enableCheckpointing(6) 
，看资料说“如果启用了 checkpointing，但没有配置重启策略，则使用固定间隔 (fixed-delay) 策略，其中 
Integer.MAX_VALUE 参数是尝试重启次数”。
   请问这是什么原因呢？应该如何下手解决？