把其中一个改成0
在 2021-06-17 13:11:01，"yidan zhao" 写道：
>是的，宿主机IP。
>
>net.ipv4.tcp_tw_reuse = 1
>net.ipv4.tcp_timestamps = 1
>
>东东 于2021年6月17日周四 下午12:52写道：
>>
>> 10.35.215.18是宿主机IP？
>>
>> 看一下 tcp_tw_recycle和net.ipv4.tcp_timestamps是什么值
>> 实在不行就 tcpdump 吧
>>
>>
>>
>> 在 2021-06-17 12:41:58，"yidan
是的，宿主机IP。
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_timestamps = 1
东东 于2021年6月17日周四 下午12:52写道：
>
> 10.35.215.18是宿主机IP？
>
> 看一下 tcp_tw_recycle和net.ipv4.tcp_timestamps是什么值
> 实在不行就 tcpdump 吧
>
>
>
> 在 2021-06-17 12:41:58，"yidan zhao" 写道：
> >@东东 standalone集群。 随机时间，一会一个的，没有固定规律。
10.35.215.18是宿主机IP？
看一下 tcp_tw_recycle和net.ipv4.tcp_timestamps是什么值
实在不行就 tcpdump 吧
在 2021-06-17 12:41:58，"yidan zhao" 写道：
>@东东 standalone集群。 随机时间，一会一个的，没有固定规律。 和CPU、内存、网络的话有一定规律，但不确认，因为不是很明显。
>我排查过几个exception，时间和网络尖刺对上了，但不全能对上，所以不好说是否有这个原因。
>
>此外，有个点我不是很清楚，网上这个报错很少，类似的都是
@东东 standalone集群。 随机时间，一会一个的，没有固定规律。 和CPU、内存、网络的话有一定规律，但不确认，因为不是很明显。
我排查过几个exception，时间和网络尖刺对上了，但不全能对上，所以不好说是否有这个原因。
此外，有个点我不是很清楚，网上这个报错很少，类似的都是
RemoteTransportException，然后提示中说taskmager可能已丢失之类。但我的是
LocalTransportException，不清楚netty中这俩错误的含义是不是不一样。目前来看网络上关于这俩异常的资料也查不到什么。
东东 于2021年6月17日周四
单机standalone，还是Docker/K8s ?
这个异常出现的时机，与周期性的，还是跟CPU、内存，乃至网络流量变化相关？
在 2021-06-16 19:10:24，"yidan zhao" 写道：
>Hi, yingjie.
>If the network is not stable, which config parameter I should adjust.
>
>yidan zhao 于2021年6月16日周三 下午6:56写道：
>>
>> 2: I use G1, and no full gc occurred, young gc count:
郵箱更換，退訂
Regards,
Hau ChongAih
Flink CDC什么时候能够支持修改并行度，进行细粒度的资源控制？目前我也遇到flink sql
cdc写mysql遇到数据同步跟不上数据写入速度问题，何时能支持像mysql并行复制这种机制呢？
在 2021-06-16 17:27:14，"Leonard Xu" 写道：
>看起来和 Flink-CDC 关系不大，看异常栈是 ES 侧抛出的异常 version_conflict_engine_exception，
>可以查下这个异常，看下是不是有写（其他作业/业务 也在写同步表）冲突。
>
>祝好，
>Leonard
>
>> 在
邮箱变更，退订！
Ok, I will try.
Yingjie Cao 于2021年6月16日周三 下午8:00写道：
>
> Maybe you can try to increase taskmanager.network.retries,
> taskmanager.network.netty.server.backlog and
> taskmanager.network.netty.sendReceiveBufferSize. These options are useful for
> our jobs.
>
> yidan zhao 于2021年6月16日周三 下午7:10写道：
Maybe you can try to
increase taskmanager.network.retries,
taskmanager.network.netty.server.backlog and
taskmanager.network.netty.sendReceiveBufferSize. These options are useful
for our jobs.
yidan zhao 于2021年6月16日周三 下午7:10写道：
> Hi, yingjie.
> If the network is not stable, which config
I also searched many result in internet. There are some related
exception like
org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException,
but in my case it is
org.apache.flink.runtime.io.network.netty.exception.LocalTransportException.
It is different in
mark. 我也是第一个问题，暂时无解。
chaiyi 于2021年3月22日周一 下午12:28写道：
>
> 你好：
> 最近建立一个3台机子的flink集群，版本是 zk-3.6.2 + hadoop-3.3.0 +
> flink-1.11.2。3台机制是在同一个物理机上建立的虚拟机，应该来说不会出现网络波动导致的网络拒绝，但是为什么一直会出现网络拒绝
> 项目在运行一段时间以后，短则几个小时，长则3到5天，任务就会挂掉，一共出现了一下3种异常，全是网络连接方法的，请帮忙看看，是不是flink网络配置方面有问题。
> 1. 集群之间通信连接拒绝：
> 2021-03-03
Hi, yingjie.
If the network is not stable, which config parameter I should adjust.
yidan zhao 于2021年6月16日周三 下午6:56写道：
>
> 2: I use G1, and no full gc occurred, young gc count: 422, time:
> 142892, so it is not bad.
> 3: stream job.
> 4: I will try to config taskmanager.network.retries which is
2: I use G1, and no full gc occurred, young gc count: 422, time:
142892, so it is not bad.
3: stream job.
4: I will try to config taskmanager.network.retries which is default
0, and taskmanager.network.netty.client.connectTimeoutSec 's default
is 120s。
5: I checked the net fd number of the
??KeyedProcessFunctionprocessElementKeyBy??processElement100
FlinkSql WebIDE??
FlinkSQLSQL??SqlCli??
https://github.com/DataLinkDC/dlink
----
??:
flink1.12.1版本，设置 taskmanager.memory.process.size: 1024m。
运行时，Heap Maximum：146M，Non-Heap Maximum：744 MB，Heap 使用率大概在10%-30%之间。
想问下合理的Heap 使用率大概是多少？ 从而做进一步的资源优化。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
补充一种使用Flink api提交方式，参考：https://github.com/todd5167/flink-spark-submiter。
任务提交、状态获取继承统一的接口，上层服务在引用时，通过spi的方式进行加载即可。
缺点：
- 需要对Flink client源码、类加载机制有了解。
优点：
- 良好的外部集成
- 不需要额外部署服务
--
Sent from: http://apache-flink.147419.n8.nabble.com/
看起来和 Flink-CDC 关系不大，看异常栈是 ES 侧抛出的异常 version_conflict_engine_exception，
可以查下这个异常，看下是不是有写（其他作业/业务 也在写同步表）冲突。
祝好，
Leonard
> 在 2021年6月16日，17:05，mokaful <649713...@qq.com> 写道：
>
> 相同问题，请问有处理方式吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
背景：
source: kafka
flink 版本：1.10
avro版本：1.10.0
代码：
bsTableEnv.connect(new Kafka()
.version("universal")
.topic(params.get("read-topic"))
.startFromEarliest()
.properties(this.properties)
)
.withFormat(
相同问题，请问有处理方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi yidan,
1. Is the network stable?
2. Is there any GC problem?
3. Is it a batch job? If so, please use sort-shuffle, see [1] for more
information.
4. You may try to config these two options: taskmanager.network.retries,
taskmanager.network.netty.client.connectTimeoutSec. More relevant options
Hi, here is the text exception stack:
org.apache.flink.runtime.io.network.netty.exception.LocalTransportException:
readAddress(..) failed: Connection timed out (connection to
'10.35.215.18/10.35.215.18:2045')
at
flink cdc对接多主的mysql集群会报错如下，请问要怎么配置。感谢各位大佬。
2021-06-16 16:26:46 ERROR [blc-centos7-01:3306]
io.debezium.connector.mysql.BinlogReader:864 - Encountered change event
'Event{header=EventHeaderV4{timestamp=1623829662000, eventType=TABLE_MAP,
serverId=2, headerLength=19, dataLength=97,
Hi Yidan,
it seems that the attachment did not make it through the mailing list. Can
you copy-paste the text of the exception here or upload the log somewhere?
On Wed, Jun 16, 2021 at 9:36 AM yidan zhao wrote:
> Attachment is the exception stack from flink's web-ui. Does anyone
> have also
Attachment is the exception stack from flink's web-ui. Does anyone
have also met this problem?
Flink1.12 - Flink1.13.1. Standalone Cluster, include 30 containers,
each 28G mem.
@东东 帮忙分析个其他异常吧。异常如下图所示，我是standalone集群，每天一会一个报错，目前阶段是这个报错。
yidan zhao 于2021年6月16日周三 下午3:32写道：
>
> 嗯，你这个说法我同意。
>
> 东东 于2021年6月16日周三 下午2:34写道：
> >
> > 就你这个例子，只要buffer足够大，B在6min产生的数据都能放进buffer里，B就感受不到反压的影响，可以继续处理上游的数据啊，只要下一个窗口触发之前，C能处理完buffer中的数据，那么B全程都不会被限制。buffer在send和receive两端都是有的，B只关心自己的send
>
嗯，你这个说法我同意。
东东 于2021年6月16日周三 下午2:34写道：
>
> 就你这个例子，只要buffer足够大，B在6min产生的数据都能放进buffer里，B就感受不到反压的影响，可以继续处理上游的数据啊，只要下一个窗口触发之前，C能处理完buffer中的数据，那么B全程都不会被限制。buffer在send和receive两端都是有的，B只关心自己的send
> buffer还能不能写进去。
>
>
> 在 2021-06-16 13:32:52，"yidan zhao" 写道：
>
就你这个例子，只要buffer足够大，B在6min产生的数据都能放进buffer里，B就感受不到反压的影响，可以继续处理上游的数据啊，只要下一个窗口触发之前，C能处理完buffer中的数据，那么B全程都不会被限制。buffer在send和receive两端都是有的，B只关心自己的send
buffer还能不能写进去。
在 2021-06-16 13:32:52，"yidan zhao" 写道：
29 matches
Mail list logo
