使用hibench测试flink时，hibench的report目录下的hibench.report没有吞吐量相关的信息。
请问使用hibench对flink进行测试时，如何获取flink的吞吐量和处理时延呢。
根据介绍，identity是从kafka中读取数据，然后写回kafka。
在使用hibench中的identity程序对flink进行测试时，在hibench的conf目录下的flink.conf文件中将并行度设置为20。
提交任务后，在ui界面上发现只有一个子任务，即只有一个节点的一个slot中被分配了任务。请问如何在使用identity测试flink时，能有多个子任务呢？
（好像每次放图片都无法显示，就没有提供截图了）
再web ui页面上，可以看到相关数据大概3s个更新一次，比如每个算子的read-bytes。
但是自己通过api去获取数据的时候，这些数据却是大概6秒甚至10多秒更新一次，请问这是为什么呢？
通过api获取的read-bytes数据如下：
19:02:04 0 0 0 0
0 0 0
19:02:07 0 0 0
求助！
flink隔一段时间就会重启，重启时，ui界面中的 Bytes Received 达到600、700KB左右，40个任务 1个Failed 39
个Canceled，然后就会重启，不知道到底是哪里出了问题，怎么解决呢？
Root Exception内容如下：
2021-04-1210:29:03
java.lang.Exception
at
org.apache.flink.streaming.connectors.kafka.internals.LegacyFetcher.run(LegacyFetcher.java:222)
at
图片不知道为什么上传不了
在 2021-04-12 10:23:12，"penguin." 写道：
flink集群中提交一个job，一共40个task，每次跑了一会就会发生1个任务失败39个重启，第二张图中接受的字节达到了700KB左右的时候就会发生（ui界面中有个bytes
receive）。
不知道如何找出原因，求助！！谢谢各位！
[] - Network: 128.000mb (134217730 bytes)
INFO [] - JVMMetaspace: 256.000mb (268435456 bytes)
INFO [] - JVMOverhead: 192.000mb (201326592 bytes)
调为4GB后：
Penguin.
在 2021-04-12 10:04:32，"Xintong Song" 写道：
>>
>> 现在比如一个节点16核cpu 16g内存，4个slot；
>
>
>你这里
flink集群中提交一个job，一共40个task，每次跑了一会就会发生1个任务失败39个重启，第二张图中接受的字节达到了700KB左右的时候就会发生（ui界面中有个bytes
receive）。
不知道如何找出原因，求助！！谢谢各位！
得知flink的内存是隔离的，cpu不能隔离；
现在比如一个节点16核cpu 16g内存，4个slot；
通过调试和日志，发现每个slot拥有1个cpu，那么4个slot就占用4个cpu核心。且堆内存为512M。
这样的话其他12个cpu核心以及那么大的内存是没有被使用然后浪费了吗？
期待回复，多谢！
那请问对于每个节点的CPU、内存使用率以及节点之间的通信量如何进行实时监控获取数据呢？
在 2021-01-18 10:15:22，"赵一旦" 写道：
>slot好像只是逻辑概念，监控意义不大，没有资源隔离。
>
>penguin. 于2021年1月15日周五 下午5:06写道：
>
>> Hi，
>> flink集群中，能对TaskManager的每个TaskSlot进行监控吗？比如每个slot的cpu和内存使用率之类的指标。
>>
>>
>> penguin
Hello,
请问在flink集群中，
怎么对TaskManager的每个TaskSlot进行监控呢？比如每个slot的cpu和内存使用率以及slot通信量之类的指标。
有什么办法来获取节点间的通信量呢？
多谢！
penguin
Hi，
flink集群中，能对TaskManager的每个TaskSlot进行监控吗？比如每个slot的cpu和内存使用率之类的指标。
penguin
JBossJBPM Repository
https://repository.jboss.org/nexus/content/repositories/releases/
在 2021-01-13 15:11:16，"Carmen Free" 写道：
>建议你把Maven的settings.xml以及你项目的pom.xml也贴出来看看，大家才好帮你定位问题
>
>penguin. 于2021年1月13日周三 下午2:25写道：
>
>> 贴不了图，我直接放文字吧
>>
&
resolve com.nimbusds:lang-tag:1.5
▼Resolve plugins 14 errors
Cannot resolve plugin org.codehaus.mojo:build-helper-maven-plugin:
在 2021-01-13 13:42:27，"Carmen Free" 写道：
>hi，
>
>图看不见。
>
>penguin. 于2021年1月13日周三 下午1:19写道：
>
>> 已经在maven的setting文件中配置了好几个镜像了，还是这样。如下图
>>
>>
>>
>>
>>
>>
好像图放在正文里面有问题，放在附件里了
在 2021-01-13 13:42:27，"Carmen Free" 写道：
>hi，
>
>图看不见。
>
>penguin. 于2021年1月13日周三 下午1:19写道：
>
>> 已经在maven的setting文件中配置了好几个镜像了，还是这样。如下图
>>
>>
>>
>>
>>
>>
Hi,
图好像是有点问题，我重传一下
在 2021-01-13 13:42:27，"Carmen Free" 写道：
>hi，
>
>图看不见。
>
>penguin. 于2021年1月13日周三 下午1:19写道：
>
>> 已经在maven的setting文件中配置了好几个镜像了，还是这样。如下图
>>
>>
>>
>>
>>
>>
已经在maven的setting文件中配置了好几个镜像了，还是这样。如下图
如图，在网上查找配了好几个maven镜像了，求助！！！
Hi，
请问有人知道怎么单独编译flink-runtime模块吗？
然后这样是否能把更改的部分直接在flink-dist包中的org.apache.flink.runtime目录下进行替换？
整体编译一次实在太慢了。
谢谢！
penguin
求助！编译flink1.11.1源码时，报错：Failed to execute goal
com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install
node and npm) on project flink-runtime-web_2.11: Could not download Node.js:
Got error code 404 from the server.
按照网上说的修改了flink-runtime-web的pom文件依然是这个问题
能否 将集群部署在yarn上，然后通过实现yarn的接口来做呢？好像yarn是提供了一个可插拔的接口进行资源调度之类的。
在 2021-01-07 13:05:59，"赵一旦" 写道：
>没有的。
>
>penguin. 于2021年1月7日周四 下午1:04写道：
>
>> 赵一旦：
>> 所以目前是否有办法来实现在提交任务后，将这个任务的subtask调度到指定机器的某个slot来执行呢。
>>
>>
>>
>>
>>
>>
赵一旦：
所以目前是否有办法来实现在提交任务后，将这个任务的subtask调度到指定机器的某个slot来执行呢。
在 2021-01-07 12:57:35，"赵一旦" 写道：
>不一样的哈。不是一个层次的东西。
>调度平台指的是在指定时间自动帮你提交某个任务，或者每天定时提交某个任务等。
>
>后者是flink内部的机制，指提交任务后，这个任务的每个subtask应该使用哪台机器哪个slot去执行。
>
>penguin. 于2021年1月7日周四 下午12:50写道：
>
>>
赵一旦：
你说的任务调度平台是指通过这种平台来完全控制flink中的task到具体某个节点的调度吗？
我想的是flink自己内部的task到节点的调度。比如说通过修改flink现在的调度部分的代码来实现。
是不是这两种都可以用来实现 根据我们自己的需求来决定将task具体调度哪个节点中。
在 2021-01-07 12:24:42，"赵一旦" 写道：
>你说的是任务调度有2层含义。一种任务调度平台（这个很常见）。还是flink自身的task的schedule，这个是很复杂。
>
>penguin. 于20
我在知网的一篇论文中看到有作者做的flink任务调度，但是发了邮件很久也没人回复。
在 2021-01-07 10:21:27，"赵一旦" 写道：
>是的，之前有人给过我回复，说当前flink的调度信息不足，导致无法做到很理想的调度。
>
>penguin. 于2021年1月7日周四 上午10:11写道：
>
>>
>> 我在jira上看到好像有人在做，但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码，不过源码注释好像很少，很困难。
>&
我在jira上看到好像有人在做，但是好像无法获取到更多的信息。也不知道他们是怎么做的。主要应该是找到进行任务调度那块的代码，不过源码注释好像很少，很困难。
在 2021-01-06 13:06:20，"赵一旦" 写道：
>我不是很清楚，不过难度应该很大，不然社区早改了。当前任务经常导致机器资源不均衡，这个问题很常见。
>
>penguin. 于2021年1月6日周三 上午11:15写道：
>
>> Hi，请问大家知道怎么更改flink默认的任务调度方式吗？
Hi，请问大家知道怎么更改flink默认的任务调度方式吗？
hello，请问大家知道怎么更改flink默认的任务调度方式吗？
hello，请问大家知道怎么更改flink默认的任务调度方式吗？
27 matches
Mail list logo
