Hi，Yang Wang
因为日志太长了，删了一些重复的内容。
一开始怀疑过jm gc的问题，将jm的内存调整为10g也是一样的情况。
Best
| |
a511955993
|
|
邮箱：a511955...@163.com
|
签名由 网易邮箱大师 定制
On 07/27/2020 11:36, Yang Wang wrote:
看你这个任务，失败的根本原因并不是“No hostname could be resolved
”，这个WARNING的原因可以单独讨论（如果在1.10里面不存在的话）。
如果是Yarn perjob任务的话，当任务正常结束或者被cancel以后，zk整个clusterID的节点会被直接清理掉
如果是Yarn session或Standalone Session的话，和job相关的持久节点是不会被清理的，只有在session结束以后会清理
Best,
Yang
林恬 于2020年6月23日周二 上午11:34写道：
> 各位好：
> 目前我使用的是Flink 1.9.2, 使用过程中发现ZK上的/leader/${job_id}
>
Hi,
Flink 的 TableFactory 利用了 Java 的服务发现功能，所以需要这两个文件。需要确认 jar-with-dependencies
是否能把这些资源文件打进去。
另外为什么需要把 Flink 的依赖也打在大包里呢？因为 Flink 本身的 classpath 里就已经有这些依赖了，这个大包作为 Flink
的用户 jar 的话，并不需要把 Flink 的依赖也放进去。
RS 于2020年7月24日周五 下午8:30写道：
> hi，
> 感谢回复，尝试了多次之后，发现应该不是依赖包的问题
>
>
>
Flink CPU利用率的高低主要还是取决于你的任务中的业务逻辑，框架本身的CPU占用是很低的
试想一下，如果你的任务是计算非常简单(或则就是sleep)，那整个TM的CPU利用率就很低了，约等于框架占用的
如果是一个计算很密集的(或者就是死循环)，那TM CPU利用率就是取决于你的slot数量了，2个slot就是200%的CPU利用率
Best,
Yang
guaishushu1...@163.com 于2020年7月24日周五 下午4:16写道：
>
>
> 想问下大佬们 Flink的cpu利用率这么低吗 0.012？
>
看你这个任务，失败的根本原因并不是“No hostname could be resolved
”，这个WARNING的原因可以单独讨论（如果在1.10里面不存在的话）。
你可以本地起一个Standalone的集群，也会有这样的WARNING，并不影响正常使用
失败的原因是slot 5分钟申请超时了，你给的日志里面2020-07-23 13:55:45,519到2020-07-23
13:58:18,037是空白的，没有进行省略吧？
这段时间按理应该是task开始deploy了。在日志里看到了JM->RM的心跳超时，同一个Pod里面的同一个进程通信也超时了
测试Flink版本：1.11.0
Flink sql支持这种语法插入吗，在插入时指定具体的字段顺序和要插入的列
Insert into tableName(col1[,col2]) select col1[,col2]
目前通过测试发现了以下问题
建表语句：
create table t1(a int,b string,c int) with ();
create table t2(a int,b string,c int) with ();
问题1：测试发现insert into时查询和sink schema的匹配规则是按照定义的顺序进行
测试语句：
hi all :
请教个问题，我通过程序拉取kafka消息后，注册为flink流表。然后执行sql: "select user_id, count(*)cnt
from 流表"， 将结果写入到mysql 聚合表中（SINK组件为：flink1.11版本JdbcUpsertTableSink)。
但问题是，每次JOB重启后，之前mysql 聚合表结果会被清空。我设置了checkpoint和racksdbbackendstate.
Thanks
Hi,
关于数据修改后还是读到旧数据的问题，可能是因为配置了 cache。我看到超时时间配置的是 'connector.lookup.cache.ttl' =
'10min'，也就是说数据修改后最长要 10 分钟 Flink 才会读到修改后的数据。
admin <17626017...@163.com> 于2020年7月24日周五 下午7:32写道：
> 'connector.properties.zookeeper.connect' = '', -- zk 地址
>'connector.properties.bootstrap.servers' = '', --
问题1
找到了https://issues.apache.org/jira/browse/FLINK-12336，且已经合并到master分支了，看issues中修复版本是1.12.0
问题2
我又在Flink1.11.1下详细测试了，flink-metrics-influxdb-1.11.0.jar在plugins/influxdb和plugins/metrics-influx均可以上报mertics，当然我也尝试过目录plugins/metrics-influx123也是可以上报
Congxian Qiu 于2020年7月25日周六 下午7:40写道：
>
> Hi
>
Hi, Richard
Before the session has been terminated, you could not fetch the
terminated TM logs. One possible solution could be leveraging the
log4j2 appenders[1]. Flink uses log4j2 as default in the latest
release 1.11.
[1] https://logging.apache.org/log4j/2.x/manual/appenders.html
Best,
Yangze
Hi all!
I want to profile the time taken to make snapshot calls to RocksDB when
using Flink in streaming mode.
I have forked the flink core repo, added the example of fraud detection,
configured the state backend and checkpointing. The program is running
successfully.
I have also been able to
看不见图，最好别发图，以文字发
发件人: 忝忝向�� <153488...@qq.com>
日期: 星期日, 2020年7月26日 22:05
收件人: user-zh
主题: 【Flink sql 1.10.0问题】
Hi,all:
Flink 1.10.0 sql提交报错如下，请问是什么原因呢?
谢谢.
[cid:37FA1919@1626B468.F28B1D5F]
Hi,all:
Flink 1.10.0 sql???
.
Every job is required to have a sink, but there's no requirement that all
output be done via sinks. It's not uncommon, and doesn't have to cause
problems, to have other operators that do I/O.
What can be problematic, however, is doing blocking I/O. While your user
function is blocked, the
Hi.
What are the negative side effects of (for example) a filter function
occasionally making a call out to a DB ? Is this a big no-no and should all
outputs be done through sinks and side outputs, no exceptions ?
Regards,
Tom.
Thanks, Congxian & David. There was a mistake on the new schema we used.
After fixing that, we were able to migrate the state, and since we touched
important code blocks, and removed/refactored certain functionalities, we
took a savepoint instead of checkpoint. All good now. Thanks again : )
16 matches
Mail list logo
