?????? Flink ???? RocksDB CPU ????

Hi, Congxian ?? 1?? Flink version 1.10 2?? subtask ??get ?? subtask ?? ?? subtask ?? 3?? sst 60M ?? sst butask ??

Re: Flink 使用 RocksDB CPU 打满

Hi 从火焰图看，RocksDB#get 操作占用的时间较多，contains 会调用 RocksDB 的 get 函数 1. 你使用的是哪个版本的 Flink？ 2. 不同 subtask 之间的数据是否均匀呢？这里主要想知道调用 RocksDB 的 get 函数调用频次是否符合预期 3. 如果我理解没错的话，有 snappy 的压缩，这个会有 IO 的操作（也就是从磁盘 load 数据），可能还需要看下为什么这个 subtask 的数据大量落盘 Best, Congxian fanrui <836961...@qq.com>

Re: PyFlink - detect if environment is a StreamExecutionEnvironment

Hi Xingbo, Thank you for clarifying that. I am indeed maintaining a different version of the code by commenting those lines, but I was just wondering if it was possible to detect the environment programmatically. Regards, Manas On Wed, Sep 2, 2020 at 7:32 AM Xingbo Huang wrote: > Hi Manas, > >

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

能不能过restful api拿到pushgateway中metric上报的时间？通过这个时间动态判断删除group xiao cai 于2020年9月1日周二 下午8:52写道： > Hi shizk233： > 我这边也复现了你说的情况，一模一样。 > > > 可以尝试使用定时调度任务检查flink任务的执行情况，当不再处于运行状态时，主动调用pushgateway的delete方法来删除pushgetway的metrics。 > > > > > 原始邮件 > 发件人: shizk233 > 收件人: user-zh@flink.apache.org > 发送时间:

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，我之前也想到了这个方法，但是Pushgateway中的metrics因为设置了randomJobNameSuffix：true参数，导致Pushgateway中的job名称都是随机生成的，例如这样： 他的名字是随机的，我该怎么用delete方法删除呢？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: PyFlink - detect if environment is a StreamExecutionEnvironment

Hi Manas, When running locally, you need `ten_sec_summaries.get_job_client().get_job_execution_result().result()` to wait job finished. However, when you submit to the cluster, you need to delete this code. In my opinion, the current feasible solution is that you prepare two sets of codes for

Re: Default Flink Metrics Graphite

Thanks all, I could see the metrics. On Thu, Aug 27, 2020 at 7:51 AM Robert Metzger wrote: > I don't think these error messages give us a hint why you can't see the > metrics (because they are about registering metrics, not reporting them) > > Are you sure you are using the right configuration

Task Chaining slots performance

Hi Team, https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/#task-chaining-and-resource-groups *Flink chaining my Tasks which is like: stream.map().filter().map() * *I think here the entire chain runs in the same slot.* *Documentation says flink does chahining for

Re: FileSystemHaServices and BlobStore

Judging from FLIP-19 (thank you Roman for the link), of 3 use cases (jars, RPC messages and log files) only jar files need HA guarantee, and in my particular case, job cluster with jar as part of image, it seems doesn't matter, I guess it explains why in my test I was able to recover from

Re: Editing Rowtime for SQL Table

Thanks for your replies Matthias and Timo. Converting the Table to DataStream, assigning a new Watermark & Rowtime attribute, and converting back to Table makes sense. One challenge with that approach is that Table to DataStream conversion could emit retractable data stream, however, I think,

Re: Using S3 as a streaming File source

Word of caution. Streaming from S3 is really cost prohibitive as the only way to detect new files is to continuously spam the S3 List API. On Tue, Sep 1, 2020 at 4:50 PM Jörn Franke wrote: > Why don’t you get an S3 notification on SQS and do the actions from there? > > You will probably need to

Re: Using S3 as a streaming File source

Why don’t you get an S3 notification on SQS and do the actions from there? You will probably need to write the content of the files to a no sql database . Alternatively send the s3 notification to Kafka and read flink from there.

Re: flink-1.11.1 Table API /SQL 无法写入hive orc表

没错，flink-sql-connector-hive-2.2.0可以支持Hive 2.0.0 ~ 2.2.0. 具体每个flink-sql-connector-hive可以支持的hive版本请参考官网 [1]。 关于TypeDescription.fromString的异常可能是遇到了已知问题 [2][3]。可以用最新1.11分支的代码试试看能不能解决。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#dependencies [2]

Using S3 as a streaming File source

Hi, I have a S3 bucket that is continuously written to by millions of devices. These upload small compressed archives. What I want to do is treat the tar gzipped (.tgz) files as a streaming source and process each archive. The archive contains three files that each might need to be processed.

Re: 请教 hive streaming 报错

Hi， 怀疑是类加载的问题的话可以尝试把所有依赖的jar都放到lib下面试试，保证这些依赖是同一个classloader加载的 On Tue, Sep 1, 2020 at 9:42 AM liangck wrote: > 遇到同样的问题，请问解决了吗。我是flink-connector-hive和hive-exec打进jar包里提交的。但是 > >

Re: Re: Questions of "State Processing API in Scala"

Hi Izual, thanks for contributing and improving the documentation. The PR will be picked up as part of our regular maintenance work. The communication will happen through PR conversations as soon as someone picks it up. Best, Matthias On Tue, Sep 1, 2020 at 8:44 AM izual wrote: > I tried to

Re: Flink 使用 RocksDB CPU 打满

备注一下： Flink 任务并行度 1024，运行几分钟，就会有四五个 subtask 出现上述现象，其余 subtask 正常。 正常的 subtask 打出的火焰图是正常的：代码中每一步都占用了一部分 CPU，而不是 MapState 的 contains 操作占用了了大量 CPU。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 使用 RocksDB CPU 打满

Hi，社区： Flink 使用 RocksDB CPU 打满，90+% CPU 耗在了 RocksDB，80+% CPU 耗在了 RocksDB 的 snappy 数据解压。本地 RocksDB 的 sst 文件仅 60M。不明白为什么会这样？ 火焰图链接：https://drive.google.com/file/d/183aiENLn5t22zSXX14mBLRZTZrjRO6Ar/view?usp=sharing Thanks fanrui -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

Hi shizk233： 我这边也复现了你说的情况，一模一样。 可以尝试使用定时调度任务检查flink任务的执行情况，当不再处于运行状态时，主动调用pushgateway的delete方法来删除pushgetway的metrics。 原始邮件 发件人: shizk233 收件人: user-zh@flink.apache.org 发送时间: 2020年9月1日(周二) 19:10 主题: Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据 Hi Xiao,

Re: flink cancel命令

Hi 可以看下 本地的 log 文件($FLINK_DIR/log 下）以及 jm log，看看有没有什么异常情况 Best, Congxian 462329521 <462329...@qq.com> 于2020年9月1日周二 下午3:41写道： > > Hello,我在flink1.8使用flinkcancel命令后，任务处于canceled状态，但是yarn上仍在running，请问是什么情况

Re: Idle stream does not advance watermark in connected stream

I can only agree with Dawid, who explained it better than me...  Aljoscha On 31.08.20 12:10, Dawid Wysakowicz wrote: Hey Arvid, The problem is that the StreamStatus.IDLE is set on the Task level. It is not propagated to the operator. Combining of the Watermark for a TwoInputStreamOperator

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

Hi Xiao, 我这边实践过程中发现，该参数只能删除jobmanager对应的metrics group，不能删除tm的。 我们开启了randomJobNameSuffix，该参数会让JM和TM的metrics信息分属不同metrics group。 感觉这可能是一个bug? xiao cai 于2020年9月1日周二 下午4:57写道： > Hi: > 可以试试在flink-conf.yaml中添加： > metrics.reporter.promgateway.deleteOnShutdown: true > > > Best, > Xiao > 原始邮件 > 发件人:

Re: TM SLOT资源共享

你说的资源共享是指slot sharing吗，同一个job的task默认都在一个slot group中，都是可以共享slot的。 但同一个task的多个并发实例不能共享slot，多个实例需要分配在不同的slot中。 另外，关于“slot中存在资源共享时，1个slot会有多个thread”。如果是指数据处理的thread，那我理解应该是1个slot只有1个thread。 liangji 于2020年9月1日周二 下午4:45写道： > >

Flink on k8s

hi，我在尝试flink on k8s部署，搭建了minikube，按照官方文档部署之后 1.在flink ui界面 看不到taskmanger的信息，任务提交的时候会提示没有slot，像是taskmanger没有注册到jobmanger 2.k8s dashboard上，taskmanger过不了一会就重启 请问下大家有遇过吗？不知道该怎么排查解决

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

“ Prometheus 已经采集的历史数据肯定不能清理，有问题还需要用这些数据定位问题。 ” Yaoting Gong 于2020年9月1日周二 下午6:24写道： > 清理gateway里面的数据，通过他的接口就行。 Prometheus 已经采集的历史数据肯定不能请离开，有问题才需要定位。 > > 我们是直接定时清理，运行周期和指标采集周期有一定关系，避免数据丢失。如果对flink > 进行封装，比如我们后期开发计算平台，是可以通过统一入口做封装，关闭、停止任务时精准清理，不过暂时还没有做 > > bradyMk 于2020年9月1日周二 下午5:41写道： > >>

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

清理gateway里面的数据，通过他的接口就行。 Prometheus 已经采集的历史数据肯定不能请离开，有问题才需要定位。 我们是直接定时清理，运行周期和指标采集周期有一定关系，避免数据丢失。如果对flink 进行封装，比如我们后期开发计算平台，是可以通过统一入口做封装，关闭、停止任务时精准清理，不过暂时还没有做 bradyMk 于2020年9月1日周二 下午5:41写道： > 目前我能想到的就是这个办法，但感觉有点曲线救国的意思，不知道还有没有更直接一点的方法 > > > > - > Best Wishes > -- > Sent from:

Re: flink json ddl解析

问题大概懂了，坐等Flink大佬回复 Dream-底限 于2020年9月1日周二 下午4:43写道： > hi > 就是json数组如果是这种：[1,2,3]，我可以直接array解析 > > 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array int,b string,c boolean>>,flink做ddl翻译解析json的时候会把row boolean>这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到数据 > > zilong xiao 于2020年9月1日周二

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

目前我能想到的就是这个办法，但感觉有点曲线救国的意思，不知道还有没有更直接一点的方法 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，您指的定时清理pushgateway里的数据就是定时重启pushgateway么？我这边目前采取的方法就是每天凌晨重启Pushgateway，能请问你这边是怎么重启么？固定时间么？还是有脚本监控任务，当任务挂掉就触发重启Pushgateway？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：关于FlinkSQL的窗口和触发

Hi: 可以试试增加如下配置： table.exec.emit.early-fire.enabled = true table.exec.emit.early-fire.delay = 1 Best, Xiao 原始邮件 发件人: Cayden chen<1193216...@qq.com> 收件人: user-zh 发送时间: 2020年9月1日(周二) 17:10 主题: 回复：关于FlinkSQL的窗口和触发 hi，目前不支持。sql语义只支持窗口结束触发计算 --原始邮件-- 发件人:

Re: Packaging multiple Flink jobs from a single IntelliJ project

Yes, the recommended way to proceed in your use case is to put all classes in a single JAR and to specify the main class to run to the flink client. Best, Flavio

回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

那是否可以在kill或者cancel的时候，利用脚本触发一次清理 ---原始邮件--- 发件人: "Yaoting Gong"http://apache-flink.147419.n8.nabble.com/

Flink SQL 为什么不支持 utf8mb4 字符集？

问下大家，我在 flink 1.11 sql client 中执行 ```sql CREATE TABLE `test16` ( `c_first` varchar(16) CHARACTER SET `UTF-16LE` )WITH ('connector' = 'blackhole'); ``` 是可以成功创建一张表的。 而执行 ```sql CREATE TABLE `test8` ( `c_first` varchar(16) CHARACTER SET `utf8mb4` )WITH ('connector' = 'blackhole'); ```

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，您说的这种方法貌似行不通，因为指标数据是没有被删除的，所以不会出现没数据的情况，按您这么查询，查出的列表将会一直有数据的，只是数据会一直不变 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

pushgateway 我理解是一个数据缓存，丢失并没有影响。所以我们是定时清理里面的数据，当然清理周期和flink发送周期错开 bradyMk 于2020年9月1日周二 下午4:23写道： > 请教一下大家： > 我用flink1.9.1，使用Prometheus Pushgateway > >

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，我已经设置了该参数，但是该参数是针对对cancel或者stop的作业有效，但是对kill掉的作业是不会删除掉Pushgateway中残留的指标数据的 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

??????????FlinkSQL????????????

hi??sql?? ---- ??: "user-zh"

Re: Re: Exception on s3 committer

Hi Ivan, For flink sink it might commit a single file multiple times. This happens if there are failover after committing one file and then met with a failover, the the job will restarted from the latest checkpoint, and the file's state will be get back to pending and committed again. In

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，我采用了您说的这种方式，但是会报这样的错误： "invalid expression type \"range vector\" for range query, must be Scalar or instant Vector" - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

所以，你的根本问题，其实是如何让同一个flink任务的两次运行实例，查出不一样的metrics，而不是拿着任务名，去查出所有实例的metrics，我的理解对吗？ ---原始邮件--- 发件人: "bradyMk"http://apache-flink.147419.n8.nabble.com/

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，这个指标我已经设置了，但是这个指标只是针对cancel或者stop某个作业时生效，但是用kill的方式，是删除不掉Pushgateway内残留的数据的 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

flink_jobmanager_job_uptime[1m:1s] ，意思是在过去一分钟的时间段内，每秒查询一次flink_jobmanager_job_uptime这个指标，查出来是一个列表，如果过去一分钟都没数据，则列表为空。 你可以尝试flink_jobmanager_job_uptime[1s:1s]这个写法，有没有效果我没试过 ---原始邮件--- 发件人: "bradyMk"http://apache-flink.147419.n8.nabble.com/

Re: FileSystemHaServices and BlobStore

Hi Alexey, Glad to hear that your are interested the K8s HA support. Roman's answer is just on point. "FileSystemBlobStore" is trying to store the user jars, job graph, etc. on the distributed storage(e.g. HDFS, S3, GFS). So when the JobManager failover, it could fetch the blob data from remote

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

Hi: 可以试试在flink-conf.yaml中添加： metrics.reporter.promgateway.deleteOnShutdown: true Best, Xiao 原始邮件 发件人: bradyMk 收件人: user-zh 发送时间: 2020年9月1日(周二) 16:50 主题: Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据 您好，我不是很懂您的意思，例如我这边有一个这样的指标：flink_jobmanager_job_uptime 监控一个任务的运行时长；

回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

flink_jobmanager_job_uptime[1m:1s] ，意思是在过去一分钟的时间段内，每秒查询一次flink_jobmanager_job_uptime这个指标，查出来是一个列表，如果过去一分钟都没数据，则列表为空。 你可以尝试flink_jobmanager_job_uptime[1m:1s]这个写法，有没有效果我没试过 ---原始邮件--- 发件人: "bradyMk"http://apache-flink.147419.n8.nabble.com/

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，我不是很懂您的意思，例如我这边有一个这样的指标：flink_jobmanager_job_uptime 监控一个任务的运行时长； 如果该任务被kill掉，那么这个指标的数值会变成一个不变的量，一直显示在grafana中。我不太会promeQL，我尝试这样： flink_jobmanager_job_uptime[1m]，这样是个非法查询命令，按照您的意思，应该怎么改呢？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

您好，我不是很懂您的意思，例如我这边有一个这样的指标：flink_jobmanager_job_uptime 监控一个任务的运行时长； 如果该任务被kill掉，那么这个指标的数值会变成一个不变的量，一直显示在grafana中。我不太会promeQL，我尝试这样： flink_jobmanager_job_uptime[1m]，这样是个非法查询命令，按照您的意思，应该怎么改呢？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

TM SLOT资源共享

https://ci.apache.org/projects/flink/flink-docs-release-1.11/concepts/flink-architecture.html#task-slots-and-resources 从这个小节得到以下结论（不确定是否准确。） 1、1个TM可以有多个slot 2、slot中不存在资源共享时，1个slot只会有一个thread 3、slot中存在资源共享时，1个slot会有多个thread 所以，想问下怎么确定是否能够资源共享？多谢 -- Sent from:

Re: flink json ddl解析

hi 就是json数组如果是这种：[1,2,3]，我可以直接array解析 如果json数组是这种：[1,"test",true]，如果我用array>程序是没办法运行的，如果我用array>,flink做ddl翻译解析json的时候会把row这一部分映射为解析jsonobject，但是array元素不是jsonobject会导致取不到数据 zilong xiao 于2020年9月1日周二 下午4:04写道： > 基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？ > > Dream-底限 于2020年9月1日周二 下午2:20写道： > > > hi、 > > >

Re: flink-1.11连接hive或filesystem问题

1.  为了保证数据正确性 stream 写文件依赖了 checkpoint 机制，你可以将你的间隔时间和 checkpoint 时间保持一致 2. 按逗号分隔是说 CSV format ? Best, Danny Chan 在 2020年8月31日 +0800 PM8:53，酷酷的浑蛋 ，写道： > 1. Create hive表(...)with(...) > 我发现写入hive只能根据checkpoint去提交分区？可以按照文件大小或者间隔时间来生成吗？ > > > 2. Create table (connector=filesystem，format=json) with(…)

回复：flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

修改grafana模板的查询语句，在promeQL后面加上[1m，1s]，这样过期太久的数据，就不会查到了 ---原始邮件--- 发件人: "bradyMk"http://apache-flink.147419.n8.nabble.com/

flink1.9.1采用Prometheus Pushgateway监控，当任务被kill掉，但grafana还是可以监控到数据

请教一下大家： 我用flink1.9.1，使用Prometheus Pushgateway 监控，最后在grafana上展示指标，现在遇到了一个问题，就是当flink任务被kill掉后，该任务指标仍然残留在pushgateway里面（虽然数值停止更新，但Prometheus还是会去拉数据），这样就导致了grafana中仍然可以一直看到数据，造成了很多漏报警或者误报警，请问大家对于这种问题的解决，有什么好的建议么？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink json ddl解析

基本类型包装一层会导致解析不出来 这个没太明白，可以举个列子吗？ Dream-底限 于2020年9月1日周二 下午2:20写道： > hi、 > 我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况 > > zilong xiao 于2020年9月1日周二 上午11:47写道： > > > like this: ARRAY String>>> > > > > Dream-底限 于2020年9月1日周二 上午11:40写道： > > > > > hi > > > > > > > >

flink cancel命令

Hello,我在flink1.8使用flinkcancel命令后，任务处于canceled状态，但是yarn上仍在running，请问是什么情况

Re: Flink not outputting windows before all data is seen

Teodor, I've concluded this is a bug, and have reported it: https://issues.apache.org/jira/browse/FLINK-19109 Best regards, David On Sun, Aug 30, 2020 at 3:01 PM Teodor Spæren wrote: > Hey again David! > > I tried your proposed change of setting the paralilism higher. This > worked, but why

PyFlink - detect if environment is a StreamExecutionEnvironment

Hi, I am trying to submit a pyFlink job in detached mode using the command: ../../flink-1.11.0/bin/flink run -d -py basic_streaming_job.py -j flink-sql-connector-kafka_2.11-1.11.0.jar The jobs are submitted successfully but the command does not return. I realized that was because I had the

Re:Re: Questions of "State Processing API in Scala"

I tried to fix the small mistake of sample code in State-Processor-API doc[1], could someone do a doc review[2] for me, thank you. 1: https://ci.apache.org/projects/flink/flink-docs-master/dev/libs/state_processor_api.html#keyed-state 2: https://github.com/apache/flink/pull/13266 At

回复： flink1.11连接mysql问题

你是说让我修改mysql配置？ 怎么可能允许我修改啊 在2020年09月1日 10:12，amen...@163.com 写道： 如果是mysql5.x以上的版本，url中autoReconnect参数会无效吧， 可以尝试下修改配置文件wait_timeout/interactive_out参数 best, amenhub 发件人： 酷酷的浑蛋 发送时间： 2020-08-31 20:48 收件人： user-zh@flink.apache.org 主题： 回复： flink1.11连接mysql问题

Re: flink json ddl解析

hi、 我先前也想这样用，但后来发现ddl中的row对应json中的object，基本类型包装一层会导致解析不出来，感觉应该在ddl加一个类型映射一下这种情况 zilong xiao 于2020年9月1日周二 上午11:47写道： > like this: ARRAY>> > > Dream-底限 于2020年9月1日周二 上午11:40写道： > > > hi > > > > >