回复：flink自动重启出错

改过任务吗? | | greemqq...@163.com | | 邮箱：greemqq...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组 | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap

Re:Re: flink jdbc source oom

这个当初提过自定义SQL 数据集，但是社区否定了这种做法- -，但是从功能上来说，我们也是实现的自定义SQL结果集，进行join 之类的操作，在大数据集，以及一些数据排序、剔除重复等场景有一定优势 在 2022-04-01 10:12:55，"Lincoln Lee" 写道： >@Peihui 当前社区的 jdbc table source 实现了这些接口: >ScanTableSource, >LookupTableSource, >SupportsProjectionPushDown, >SupportsLimitPushDown > >其中 lookup table

Re:回复：flink-sql，对于kafka 的一些额外参数如何配置

fka里面加上的，KafkaSourceOptions里面定义的， >看下你的kafka-client的版本，官方的是 2.4.1，如果版本一样，那只能先忽略了。 > > > > > >在 2022-03-22 17:10:52，"Michael Ran" dear all : > >目前用flink1.4 table api +kafka 的情况下，有各种警告，比如： > >The configuration 'partition.discovery.interval.ms' was supplied but isn't a >known config. > >这些额外的参数，在SQL WITH参数里面没定义，不知道各位时在哪个位置加入配置的？ > >有什么建议吗？ >感谢！

flink-sql，对于kafka 的一些额外参数如何配置

dear all : 目前用flink1.4 table api +kafka 的情况下，有各种警告，比如： The configuration 'partition.discovery.interval.ms' was supplied but isn't a known config. 这些额外的参数，在SQL WITH参数里面没定义，不知道各位时在哪个位置加入配置的？ 有什么建议吗？ 感谢！

Re:Re: 维度表变化，关联结果全部更新在Flink SQL该如何实现

可以考虑存储层 局部更新 在 2022-03-21 17:00:31，"zns" <865094...@qq.com.INVALID> 写道： >Cdc join > >> 2022年3月21日 14:01，JianWen Huang 写道： >> >> 事实表流A需关联维度表B做数据打宽。需求是当纬度表B发生变化时，关联结果需全部发生变化更新到最新。 >> 例子: >> 变化前： >> A流： >> name gender >> a male >> b male >> c female >> >> 纬度表B： >> name

Re:flink sql jdbc sink事务提交问题

jdbc 连接 mysql 的driver 记得默认就是AutoCommit。phoenix不太清楚 在 2022-02-15 13:25:07，"casel.chen" 写道： >最近在扩展flink sql jdbc >connector以支持phoenix数据库，测试debug的时候发现数据能够通过PhoenixStatement.executeBatch()写入，但因为没有提交事务，所以其他人看不到。

Re:jdbc connector ??????????????????????????????????????????????????????????????

?? 2022-02-14 15:40:11??"jianjianjianjianjianjianjianjian" <724125...@qq.com.INVALID> ?? ??jdbc connector

Re:数据库Table Schema 转换为 Flink Schema

table api 里面有 catalogTable 的实现 在 2022-01-24 16:50:25，"WuKong" 写道： >hi all: > 大家有没有了解， 社区或者其他渠道可以提供 将 数据库的建表语句（比如 Mysql Create table ） 自动转换为 Flink 的 > Schema 对象（org.apache.flink.table.api.Schema） ，求推荐 > > > >--- >Best, >WuKong

Re:Flink mysql cdc凌晨同步报错

贴失败原因吧，这个看不出来 在 2022-01-13 09:37:59，"Fei Han" 写道： > >@all: >Flink mysql cdc凌晨同步报错,流任务都失败了。报错如下： > >org.apache.flink.runtime.JobException: Recovery is suppressed by >FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=3, >backoffTimeMS=3) > >at

Re:Flink Kafka e2e exactly once问题询问

没测试过，如果kafka 确定自身会丢掉超时事务消息的前提下，比如10分钟超时丢消息。1.flink 发送消息A，进入第一阶段。2.flink 等待kafka 消息一阶段 ack信息 3.flink 收到ack消息，发送二阶段确认消息，并进行chk异常： 这个时候flink第二阶段消息确认，发送失败（同时flink应用因为各种原因挂了，超过10分钟）3.1 10分钟后，kakfa 丢弃事务超时的消息3.2 flink 重启，重新提交二阶段的事务id （但是由于kakfa

Re:咨询个Flink SQL的问题，如何去除null的字段

可以写两个insert 语句，后面用判断分开~。~ 在 2021-12-29 16:40:39，"RS" 写道： >Hi， >使用Flink SQL消费Kafka写ES，有时候有的字段不存在，不存在的不想写入ES，这种情况怎么处理呢？ > > >比如：源数据有3个字段，a,b,c >insert into table2 >select >a,b,c >from table1 >当b=null的时候，只希望写入a和c >当c=null的时候，只希望写入a和b >

flink 1.15 编译 dump files (if any exist) [date].dump, [date]-jvmRun[N].dump and [date].dumpstream.

dear all ： 有朋友遇到过编译flink 1.15 master 出现这个异常吗？ [ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:3.0.0-M5:test (default-test) on project flink-runtime: There are test failures. [ERROR] [ERROR] Please refer to

Re:kafka????????????????????

clean install ?? ?? 2021-12-17 17:41:32??"??" <2572805...@qq.com.INVALID> ?? >?? > >flinkKafka?? > >?? > >[ERROR] >org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReaderTest > Time elapsed: 1.398 s <<<

Re:Flink SQL DECIMAL精度问题

clickhouse 还提供 Decimal64 Decimal128 ，我也想知道38 这个是什么数据库的标准吗？ 在 2021-12-23 19:58:24，"Ada Wong" 写道： >最大精度为38，这个是有什么说法吗，为什么不是1000。如果我需要更高精度的DECIMAL我改怎么做？例如我需要DECIMAL(50, 18)

Re:Re:Re:sink jdbc超时问题（无心跳包）

心跳没有，只有重试参数：sink.max-retries 在 2021-12-20 12:14:37，"Jeff" 写道： > > > >会有？ 什么意思呢？ 我现在用的是1.13.2没有呀，相关配置也没。 > > > > > > > > > > > >在 2021-12-20 10:43:05，"Michael Ran" 写道： >>会有判断连接是否有效，以及重试的操作 >>在 2021-12-20 11:39:23，&quo

Re:sink jdbc超时问题（无心跳包）

会有判断连接是否有效，以及重试的操作 在 2021-12-20 11:39:23，"Jeff" 写道： >sink jdbc长时间未有数据写入后，再写数据时会出现连接超时问题，请问flink jdbc connector是否有像连接池那样的心跳功能？

Re:Flink1.14 table api & sql针对递增维度聚合 ttl是如何处理的

你要的是 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/config/ 参数： table.exec.state.ttl这个吗？ 在 2021-12-11 13:56:21，"guanyq" 写道： >请大佬指导下： >需求: 通过flink sql 统计每天各个省份的订单受理量，显然这种维度统计时递增，如何设置ttl，只想让维度存储1周的数据。 >维度递增很可能会导致内存溢出，请教下flink sql ttl 配置在官网哪里有说明么。 > > > > > > > > > >

Re:Re: 关于异步 AsyncTableFunction CompletableFuture 的疑问？

无法保证顺序，并没有看到任何保证顺序的操作，还是有其他逻辑保证顺序吗？ > > >Async operator 就是为了提高无需保序的操作（例如很多 etl 查维表就不关心顺序）的效率才引入的，如果对顺序有强需求就不能用 async >operator。 > >Michael Ran 于2021年12月7日周二 10:33写道： > >> deal all： >> 目前在看table api 中，自定义的异步 join 方法 AsyncTableFunction#eval >> 方

关于异步 AsyncTableFunction CompletableFuture 的疑问？

deal all： 目前在看table api 中，自定义的异步 join 方法 AsyncTableFunction#eval 方法时，发现接口提供的是： public void eval(CompletableFuture> future,Object... keys) {...} 目前遇到两个问题： 1. 直接用 futrue.complate(rowdata) 传递数据，只是实现了发送是异步，异步join 得自己实现，这个理解对吗？ 2. 像join hbase

Re:flink????????????????????

jdbc scan ?? 2021-12-02 14:40:06??"" ?? >

Re:Re: flink sql中如何使用异步io关联维表？

Hello，咨询一下，目前connector-hbase 的异步join，是能保证顺序的吗？ 在 2021-03-05 11:10:41，"Leonard Xu" 写道： >目前Flink SQL 中的connector都没实现异步io关联维表，接口是上已经支持了的，如果是自己实现可以参考[1] >另外，HBase connector 社区有人正在支持异步io关联维表，预计1.13可以使用[2] > >祝好 >

Re:flink 以阿里云 oss 作为 checkpoint cpu 过高

应该和OSS没关系吧，毕竟只是个存储。 我们CPU 你先看看消耗在哪个线程或者方法类呗 在 2021-10-08 16:34:47，"Lei Wang" 写道： flink 程序以 RocksDB 作为 stateBackend， aliyun OSS 作为 checkpoint 数据最终的物理位置。 我们的监控发现节点 cpu 间隔性地变高，这个间隔时间恰好就是程序的 checkpoint 时间间隔。 这个可能的原因是什么？会跟 OSS 有关吗？ 谢谢， 王磊

Re:flinksql有计划支持mysql catalog吗？

https://github.com/apache/flink/pull/16962还没合并 在 2021-10-12 10:17:15，"赵旭晨" 写道： >目前flink的jdbccatalog只支持PG，有计划支持mysql的吗？由于公司的元数据存储统一用mysql，不太可能再引进PG，或者反过来问，flink社区到目前为止不支持mysqlcatalog的原因是什么？有什么顾虑么？

Re:Flink-1.12 sql 同一个Job 下 如何控制 多个SQL的执行顺序

插入 tidb 接收binlog，再次写入 在 2021-10-14 15:59:54，"WuKong" 写道： >Hi： > 目前遇到一个问题，我想在一个Job下 ，有两个SQL 分步都是 读取同一个Source Kafka 数据， 一个是插入Tidb 落数据， > 另一个是写入下游Kafka， 目前想控制 先插入DB 然后再写入下游Kafka, 请问有什么方案可以实现这种方式？ > > > >--- >Best, >WuKong

Re:Flinksql关联维表数据延迟咨询

先看看瓶颈在哪儿？ join的话，理论上你cache全表之后就会快起来。sink 瓶颈，可以扩大并发数（sink端压力不大的情况） 在 2021-09-16 14:40:17，"邓 雪昭" 写道： >各位老师好， > > 我目前使用Flinksql构建了一个应用，数据源是kafka，关联了一张23w数据的维表（存放在Tidb），该维表和流中的数据关联会有一些发散（业务逻辑），使用了lookup.cache.maxprows＝25，ttl＝3600s，目前输出到kafka，延迟很严重，处理时间会领先事件时间几十分钟并且还会持续扩大，请问有什么好的解决办法吗？ > >

Re:Re: flink sql streaming情况如何解决数据倾斜问题

按 key1 key2 分开统计，然后合并一下 在 2021-09-08 11:04:59，"yidan zhao" 写道： >我们流量大概4w的qps，如何根据key1+key2进行pv统计（SQL任务比较简单）。 > >但是key2的分布比较极端，有些可能90%集中的。 > >Shuo Cheng 于2021年9月7日周二 下午7:30写道： > >> 最好具体描述下什么场景的倾斜, sql 上也有一些解倾斜的手段 >> >> On 9/7/21, yidan zhao wrote: >> > 如题，目前非sql情况本身实现灵活，有很多方案。 >> >

Re:Flink HIve 文件，上游Kafak数据很大的时候，无法完成checkpoint

batch 和数量小点呗 ~。~ 在 2021-08-12 10:09:21，"周瑞" 写道： 您好，Flink Hive 当上游的Kafka数据量特别大的时候，发现checkpoint一直无法完成，5分钟后报错了。请问这个问题要怎么解决

Re:Re:Re:Re: Over窗口聚合性能调优问题

图看不到，建议你展开算子，看看背压在什么地方 在 2021-08-10 20:27:51，"Wanghui (HiCampus)" 写道： 单个来看，GC并非很频繁，但是背压是HIGH -邮件原件- 发件人: Michael Ran [mailto:greemqq...@163.com] 发送时间: 2021年8月10日 20:24 收件人: user-zh@flink.apache.org 主题: Re:Re: Over窗口聚合性能调优问题 看看GC 情况呢，后端写入速度呢？ 有背压吗？ 在 2021-07-3

Re:Re: Over窗口聚合性能调优问题

看看GC 情况呢，后端写入速度呢？ 有背压吗？ 在 2021-07-30 19:44:19，"Tianwang Li" 写道： >（小的）tumbling window + （大的）over window >这样会不会好一些。 > > >Wanghui (HiCampus) 于2021年7月30日周五 下午3:17写道： > >> Hi all: >>我在测试Over窗口时，当窗口是5秒~15s级别时，处理速度能够达到2000/s。 >> 但是当我把窗口调整为10分钟以上时，处理速度从2000开始急速下降，几分钟后下降至230/s。 >> 请问下： >>

Re:回复：回复：flink sql 依赖隔离

额，混用多个UDF没法，本身就依赖冲突了，一般公共的UDF我们都统一的。 私人的和 公共的冲突了- -再单独和他们讨论 在 2021-07-26 11:43:49，"silence" 写道： >就是单独引用的啊，但任务逻辑比较复杂时会同时混用多个udf这个是没法避免的啊 > > >---------- >发件人：Michael Ran >发送时间：2021年7月23日(星期五) 17:42 >收件人：user

Re:Re:请教各位大佬，flink读取hdfs文件时的疑问

你尝试下 用java 读取文件过程中，改文件名 或者移动文件。会异常 在 2021-07-26 15:19:39，"wanggaoliang" <18838915...@163.com> 写道： 在 2021-07-26 14:56:00，"wanggaoliang" <18838915...@163.com> 写道： flink读取hdfs文件时，FileInputFormat.java类中，acceptFile()方法默认过滤掉了以"_"和"."开头的文件，那如果读入了in-progress文件和.pending文件，

Re:回复：flink sql 依赖隔离

，避免和主jar以及其他udf之间的依赖冲突 >---------- >发件人：Michael Ran >发送时间：2021年7月22日(星期四) 20:07 >收件人：user-zh ; silence >主　题：Re:flink sql 依赖隔离 > >通过任务进行隔离引用呗。你们美团已经是k8s了吧？ >在 2021-07-05 14:06:53，"silence" 写道： >>请教大家目前flink sql有没有办法做到依赖隔离 >>比如connector，format，udf(这个最重要)等， >

Re:flink时态表：两个Hbase左关联有报错情况

java.util.concurrent.ExecutionException: java.lang.NoClassDefFoundError: org/apache/flink/hbase/shaded/org/apache/commons/io/IOUtils缺jar 在 2021-07-14 09:39:53，"xie_guo...@163.com" 写道： >您好，有关flinkSQL时态表左关联时遇到了问题。 >具体场景： > >

Re:flink ??????????????

?? ?? 2021-07-13 17:31:19??"" <1510603...@qq.com.INVALID> ?? >Hi All?? > > > ??Flink >checkpoint??2min??

Re:请教on yarn per job 作业采集日志进行监控方案

简单的可以先监控任务状态，重启次数这种，消息延迟等这种能直接api拿到值的， 其他指标的比较麻烦，特别是task多了，算子多，还要合并 在 2021-07-21 11:32:31，"yihan xu" 写道： >原本作业基本处于半裸奔的状态，最近线上出了一次小事故后，在考虑如何实时采集作业日志或者metric再配置告警。 >网上初步搜了一下，好像就是prometheus+grafana或者elk。 > >请教各位大佬的项目目前都是用什么方式，我们小公司就我一个人搞flink，半路出家水平也有限，请大佬们推荐个易维护坑少点的方式？谢谢。 > >发自我的iPhone > >

Re:Re: flink sql 依赖隔离

我看阿里不是传到OSS，然后每个任务 image 拉取下来的时候顺便就把jar 拉进来了。完全隔离的，jar 也方便管理 在 2021-07-22 23:45:14，"Jeff Zhang" 写道： >Zeppelin 支持依赖的动态加载 >https://www.yuque.com/jeffzhangjianfeng/gldg8w/rn6g1s >https://www.yuque.com/jeffzhangjianfeng/gldg8w/dthfu2 > > >Michael Ran 于2021年7月22日周四 下午8:07

Re:flink sql 依赖隔离

通过任务进行隔离引用呗。你们美团已经是k8s了吧？ 在 2021-07-05 14:06:53，"silence" 写道： >请教大家目前flink sql有没有办法做到依赖隔离 >比如connector，format，udf(这个最重要)等， >很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。 >目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划

Re:Re: flink大窗口性能问题

并行度改大，窗口时间小点呗 在 2021-07-15 11:52:12，"Wanghui (HiCampus)" 写道： >并行度增大也可以吗？ > > > >On 2021/07/15 02:45:18, "Michael Ran" mailto:g...@163.com>> >wrote: > >> 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少> > >> 在 2021-07-15 10:23:25，"Hui Wang&quo

Re:flink大窗口性能问题

要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少 在 2021-07-15 10:23:25，"Hui Wang" <463329...@qq.com.INVALID> 写道： >flink大窗口缓存数据量过大导致jvm频烦full gc，并且处理速度极低，最终OOM，该如何调优

Re:?????? flink sql??????????????????

k8s ?? ?? 2021-06-16 18:22:29??"??" <809097...@qq.com> ?? >FlinkSql WebIDE?? >FlinkSQLSQL??SqlCli?? > https://github.com/DataLinkDC/dlink > > > >

Re:Re: 如何使用kafka的KafkaDynamicTableFactory ，替换他的json format

ng > >On Thu, Jun 17, 2021 at 2:35 PM Michael Ran wrote: > >> dear all ： >> 目前有个小需求，由于binlog数据不同，不方便直接使用 format="json"，想自定义format进行处理。 >> 但是根据 “implements DeserializationFormatFactory, >> SerializationFormatFactory” >> 这样自定义format之后,只能处

如何使用kafka的KafkaDynamicTableFactory ，替换他的json format

dear all ： 目前有个小需求，由于binlog数据不同，不方便直接使用 format="json"，想自定义format进行处理。 但是根据 “implements DeserializationFormatFactory, SerializationFormatFactory” 这样自定义format之后,只能处理binlog的原始数据，我还想拿kafka的offset、partition等信息。我看kafka原生的DynamicKafkaDeserializationSchema 有方法

Re:?????? Flink ????????join

join ?? 2021-06-07 16:35:10??"Jason Lee" ?? > > >??Flink > SQL Join > > >?? >| | >JasonLee >| >|

Re:关于 flinksql 维表的问题

可以设置ttl，但是做不到固定时间 更新 在 2021-05-22 16:08:58，"WeiXubin" <18925434...@163.com> 写道： >我想实现将MySQL中的 A 表数据预先查询出来进行缓存，用于给流表 B 进行 join关联。接下来定时查询并更新 A 表内的缓存数据，请问目前 >FlinkSQL 可以实现吗？ > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re:Re:flink sql写mysql中文乱码问题

数据库的字段字符编码 在 2021-05-18 18:19:31，"casel.chen" 写道： >我的URL连接串已经使用了 useUnicode=truecharacterEncoding=UTF-8 结果还是会有乱码 > > > > > > > > > > > > > > > > > >在 2021-05-18 17:21:12，"王炳焱" <15307491...@163.com> 写道：

Re:Re: Table-api sql 预检查

org.apache.flink.table.api.TableException: Unsupported operation: org.apache.flink.table.operations.ddl.CreateTableOperation At 2021-04-30 10:19:49, "HunterXHunter" <1356469...@qq.com> wrote: >tableEnv.explainSql(""); > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: Table-api sql 预检查

从代码逻辑里面肯定能抓出来，就是觉得这个预检查的功能可以作为API 开放出来 在 2021-04-29 12:29:26，"Shengkai Fang" 写道： >Hi. > >可以看看 TableEnvironment#execute逻辑，如果能够将sql 转化成 `Transformation`，那么语法应该没有问题。 > >Best, >Shengkai > >Michael Ran 于2021年4月29日周四 上午11:57写道： > >> dear all : >>

Table-api sql 预检查

dear all : 用table api 提交多个SQL 的时候，有什么API 能提前检查SQL 的错误吗？ 每次都是提交执行的时候才报错。 理论上里面在SQL解析部分就能发现，有现成的API吗？还是说需要自己去抓那部分解析代码，然后封装出API。 如果没有，希望能提供这个功能，blink 应该是有的。 Thanks ！

Re:flink 背压问题

不至于吧，中间有错误吧。。 在 2021-04-29 11:45:17，"Bruce Zhang" 写道： >我的数据源每一秒发送一条数据，下游算子每六秒才能处理完成入库，我测试时使用的是一个并行度，数据发送完毕后，在库里只有前三条发送和后两条发送的数据，中间的数据全部丢失了。应该是背压机制的问题，这是什么原因呢

Re:?????? flink sql????kafka join??????????????????????

?? ?? 2021-04-22 11:21:55??"" ?? >Tidb??Tidb??TiDBstructured-streaming?? >?? > > > >

Re:flink mysql cdc????

CDCbinlog ?? 2021-04-22 14:22:18??"" <1353637...@qq.com> ?? >??flink mysql cdc >1.flink mysql

Re:flink connector用户密码

好像并不能- -，想支持的话，你在密码那里加个参数，支持一个加密解密的参数就行。重新打包 在 2021-04-02 16:58:30，"guoyb" <861277...@qq.com> 写道： >比如jdbc connector MySQL > > >create table xxx >() >with( >" user name"=" root" >," password"="123456" >) >; >用户密码可以怎么配置，可以不用明文这种方式。

Re:flink 使用yarn部署，报错：Maximum Memory: 8192 Requested: 10240MB. Please check the 'yarn.scheduler.maximum-allocation-mb' and the 'yarn.nodemanager.resource.memory-mb' configuration values

超过了 yarn 容器 配置吧 At 2021-03-20 10:57:23, "william" <712677...@qq.com> wrote: >org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't >deploy Yarn session cluster >at >org.apache.flink.yarn.YarnClusterDescriptor.deploySessionCluster(YarnClusterDescriptor.java:425) >

Re:提交两个SQL任务，其中一个不生效。

StatementSet 用用 在 2021-03-11 09:37:27，"eriendeng" 写道： >提交两个SQL，后面的SQL不生效，这是为什么呢？后面的看起来会变成前一个的HA。 >Job1：Kafka Topic1 -> Kafka Topic2 >Job2：Kafka Topic2 -> Postgre > >不是很明白这个原因，是不是有哪里没配置好呢？ > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: flink sql 这种实时计算结果如何与离线计算的结果做数据比对？

1.两套逻辑结果，只能定时任务做check2.同一套逻辑，就要具体分析了，只要不是一个人、一套代码逻辑出来的，都有可能出问题 在 2021-03-09 12:51:50，"Smile" 写道： >对，离线和实时的计算语义本来就是不一样的，所以这个地方也没有特别完美的解决方案，一般都是 case by case 看一下。 >有一些显而易见的问题比如 Join 是否关联成功这种还是比较容易查，其他的确实不太好判断。 > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: 频繁发生 'ResourceManager leader changed to new address null' 异常导致任务重启

看看当时的负载呢？有没有过高的情况，是什么原因。然后监控下网络和磁盘 在 2021-03-09 14:57:43，"yidan zhao" 写道： >而且大家推荐怎么设置呢，我可能默认就G1了。不清楚G1是否也需要精调。 >我目前设置的内存还是比较大的。（50G的，100G的TaskManager都有），这么大heap，是否需要特别设置啥呢？ > >或者是否有必要拆小，比如设置10Gheap，然后把taskmanager数量提上去。 > >yidan zhao 于2021年3月9日周二 下午2:56写道： > >> 好的，我会看下。 >> 然后我今天发现我好多个集群GC

Re:回复：消息积压如何优化

到source。你看算子的metrics也能只能看进入的量，出去的量，sink的出去的量是第三方flink > ui上应该也看不到，这样如何排查是哪个算子的具体问题？你们是有什么好的方法吗？ > > >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 > > >在2021年03月5日 14:22，Michael Ran 写道： >看看哪个算子问题，增加那个算子并发。 或者优化那个算子执行。 先找找原因 >在 2021-03-05 11:0

Re:消息积压如何优化

看看哪个算子问题，增加那个算子并发。 或者优化那个算子执行。 先找找原因 在 2021-03-05 11:05:14，"allanqinjy" 写道： > > >hi, >由于消息队列量特别大，在flink接入以后被压严重。除了修改并行度以外还有没有其他的优化方案!!! >| | >allanqinjy >| >| >allanqi...@163.com >| >签名由网易邮箱大师定制 >

Re:flink TableEnvironment.sqlUpdate不支持update 多表关联更新吗

SQL 也不能这样吧- - At 2021-03-03 16:43:49, "JackJia" wrote: >Hi 诸位同仁： >诸同仁好，flink TableEnvironment.sqlUpdate是不是不支持update 多表关联更新？ > > >如下代码： >bbTableEnv.sqlUpdate("update order_tb a, min_max_usertime_tb b set a.mark=-2 " >+ >" where a.mac=b.mac and extract(epoch from a.usertime)/7200

Re:回复：编译Flink1.11的flink-runtime-web失败

flink-test-utils-junit 单独编译下。 缺什么编译什么就行 在 2021-03-03 10:57:27，"Natasha" 写道： >hi Michael, >我拉取flink 1.11 realse分支后，可以看到flink-runtime-web中的版本就是1.11-SNAPSHOT。 > > > > > >--原始邮件-- >发件人:

Re:Re: flink 1.12.2-rc2 被挖矿

网络层面 不会直接到公网才对，是开了什么吧？ 在 2021-03-02 13:04:41，"macdoor" 写道： >我不是安全专家，不知道如何才能确认是 flink 的问题，但从现象看跟之前 flink 1.10 >遇到的问题非常类似，建议你们能有这方面的测试用例，也能把测试结果提供出来 > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:????Flink1.11??flink-runtime-web????

?? -SNAPSHOT ??jar??release ?? ?? ?? 2021-03-03 10:34:23??"Natasha" ?? hi??all Flink1.11flink-runtime-web??cd flink-runtime-web?? Cannot resolve org.apache.flink:flink-test-utils-junit:1.11-SNAPSHOT?? Cannot resolve

Re:flink on k8s日志时间戳时区问题

k8s 设置的 在 2021-02-19 09:37:28，"casel.chen" 写道： >目前是UTC时区的，怎样才能设置成当地的东8区呢？谢谢！ > > >2021-02-19 01:34:21,259 INFO akka.event.slf4j.Slf4jLogger >[] - Slf4jLogger started >2021-02-19 01:34:22,155 INFO akka.remote.Remoting >[]

Re:对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

以前做过，自定义sink，更新值小于 存储值的时候不更新 在 2021-01-25 16:00:28，"LakeShen" 写道： >Hi 社区， > >之前遇到一个问题，在 Flink 里面，对于一个数据流（能够撤回的）进行聚合时，当这个数据流有大量撤回时，最终聚合值会变小。这种情况之前有看到说加一个 >mini batch 来减轻这种情况的影响，还有别的方法能够解决这个问题吗? > >Best, >LakeShen

Re:flink sql是否有json_to_map函数，或者实现方法是怎么样的？

特定的的map也是需要类型的，如果你在乎类型建议里面统一以字符串的udtf实现，后续再进行转换 在 2021-01-21 18:35:18，"Jeff" 写道： >hi all, > > >有没有什么办法可以将json转成map呢？类似于str_to_map函数。 > > >版本：flink 1.11 >planner: blink sql > > >需求背景： UDF函数通过http请求获得了json字符串，希望能够直接使用json内字段， >UDTF可以满足一部分要求，但不灵活，因为定义UDTF时需要指定输出字段及类型，限制很大。

Re:Re: Re: Flink写hdfs提交任务就报错。Recoverable writers on Hadoop are only supported for HDFS

riter用这种方式试试 > > > >赵一旦 于2021年1月21日周四 下午6:37写道： > >> @Michael Ran >> 然后有什么解决方案吗，我这个是使用flink的streamFileSink方式写hdfs的时候出现的异常。 >> >> Michael Ran 于2021年1月21日周四 下午5:23写道： >> >> > 这里应该是用了hdfs 的特定API吧，文件系统没兼容public >> > HadoopRecoverable

Re:Re: Flink写hdfs提交任务就报错。Recoverable writers on Hadoop are only supported for HDFS

这里应该是用了hdfs 的特定API吧，文件系统没兼容public HadoopRecoverableWriter(org.apache.hadoop.fs.FileSystem fs) {...} 在 2021-01-21 17:18:23，"赵一旦" 写道： >具体报错信息如下： > >java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are >only supported for HDFS >at

Re:答复: Re:Flink Jdbc sink写入多表如何实现

通过key 分成不同 view ，然后不同的view 写不同的表可以吧 在 2021-01-19 17:59:54，"范超" 写道： >我这边自己的做法是，根据不同的行为时间，将source拆流，然后一个事件对应一个sink >Sink的逻辑处理都是一致的，只不过配置的表不同。 > >-邮件原件- >发件人: hailongwang [mailto:18868816...@163.com] >发送时间: 2020年11月3日 星期二 0:21 >收件人: user-zh@flink.apache.org >主题: Re:Flink Jdbc sink写入多表如何实现 >

Re:Re:Re:flinksql 消费kafka offset问题

额，不用checkpoint 会比较麻烦。 以前自定义sink 的时候，会把消息信息到sink 位置进行提交。 上游source 也得改造，拉取位置也得统一，比如走redis 数据库等等 在 2021-01-15 12:41:25，"air23" 写道： >我的意思 是不使用checkpoint。 >使用'scan.startup.mode' = 'group-offsets' 去维护offset > > > > > > > > > > > > > > > >

Re:flinksql 消费kafka offset问题

下游sink还没有完成, offset 不是在checkpoint 里面的吗？下次启动会从你ck的位置恢复才对。除非你sink 是异步操作，告诉上游你sink 完成了，实际你sink失败了 在 2021-01-15 10:29:15，"air23" 写道： >flink消费kafka 只能使用checkpoint去维护offset吗 > >我这边使用'scan.startup.mode' = 'group-offsets' > >如果中间报错了 或者停止任务，但是我下游sink还没有完成， >下次启动直接跳过这个报错的数据，会丢数据，谢谢回复

Re:Re: 请问大神们flink-sql可以指定时间清除内存中的全部State吗？

group by [时间字段] 我们也有类似场景，每天数据的时间是不一样的，这样不会导致今天的数据累加才对啊？ 在 2021-01-14 15:06:26，"Jark Wu" 写道： >为啥不用天级别的tumble window？ 自动就帮你清楚 state 了 > >On Wed, 6 Jan 2021 at 13:53, 徐州州 <25977...@qq.com> wrote: > >>

Re:Re: flink sql 更新mysql字段

我们是自定义SQL。 但是不同SQL 更新部分字段，会有锁冲突，是能单条减少冲突量。 批量会死锁 在 2020-09-28 21:36:11，"Leonard Xu" 写道： >Hi > >Insert 到指定字段是个通用的需求，社区已经有一个issue[1] 在跟踪了，你可以关注下 > > >祝好 >Leonard >[1] https://issues.apache.org/jira/browse/FLINK-18726 > > >> 在

Re:Re: flink on yarn容器异常退出

看看是不是任务出错，或者内存超了 在 2020-10-13 14:12:08，"Dream-底限" 写道： >hi >先前我是一个container申请四个core，经常遇到分配完applicationid然后任务处于standby后就挂掉了，现在申请四个container，每个container一个core后正常启动任务了 > >Congxian Qiu 于2020年10月13日周二 下午1:12写道： > >> Hi >> 容易异常退出是指 container 退出吗？可以看下 JM/TM log 是否有相应信息，如果没有，可以尝试从 yarn 侧看下日志为什么 >>

Re:??????flink sql count distinct??????????

?? 2020-10-19 08:03:46??"??" ?? >??user_id > > > >| | >?? >| >| >??xiongyun...@163.com >| > >?? > >??2020??10??17?? 16:24??867127831

Re:Re: checkpoint rocksdb hdfs 如何协调，保证数据不丢失

s-release-1.11/ops/state/large_state_tuning.html > >祝好， >By Soda > > >On Tue, 29 Sep 2020 at 11:06, Michael Ran wrote: > >> dear all : >> 我们checkpoint 信息默认保存在rocksdb上，但是rocksdb >> 是一个单机系统，性能OK，要做到不丢失还是要备份到hdfs分布式文件系统上。 >> >>

Re:Re: flink1.11流式写入hive速度慢的问题

不知道现在flink 能否直接获取hive 文件写入。以前直接用jdbc 写hive 速度本来就快不起来，每次都要生成文件。 如果先写文件，文件写好了再进行一次load 就会快很多 在 2020-10-09 15:55:15，"Jingsong Li" 写道： >Hi， >是Hive表吧？ >https://issues.apache.org/jira/browse/FLINK-19121 在1.11.3中才fix，这个是影响性能的 > >可以下载最新的1.11分支的Hive依赖来试下：

Re:Re: Re: Re: 了解下大家生产中都用什么任务调度系统呢

~.~ 不是有几百个star 嘛。海豚 这个到apache 社区会强大些 在 2020-09-29 16:45:30，"赵一旦" 写道： >看了下，hera算了，虽然文档看起来还行，但是5个star，不敢用。 >海豚这个看起来还不错，可以试试看。 > >Michael Ran 于2020年9月29日周二 上午10:43写道： > >> ~。~ hera、海豚都行 >> 在 2020-09-29 09:58:45，"chengyanan1...@foxmail.com" <

checkpoint rocksdb hdfs 如何协调，保证数据不丢失

dear all : 我们checkpoint 信息默认保存在rocksdb上，但是rocksdb 是一个单机系统，性能OK，要做到不丢失还是要备份到hdfs分布式文件系统上。 问题是： 1. 如果仅保存在rocksdb，那么单机物理损坏，数据是会丢失的。 2. 如果仅保存hdfs，那么性能可能跟不上 3.如果先保存到rocksdb,再定时备份到hdfs，那么是多久备份一次？中间出现物理损坏，还是会出现一端时间的丢失。 4.

Re:Re: Re: 了解下大家生产中都用什么任务调度系统呢

~。~ hera、海豚都行 在 2020-09-29 09:58:45，"chengyanan1...@foxmail.com" 写道： > >Apache DolphinScheduler 你值得拥有 > >https://dolphinscheduler.apache.org/zh-cn/ > > > >发件人： 赵一旦 >发送时间： 2020-09-28 20:47 >收件人： user-zh >主题： Re: 了解下大家生产中都用什么任务调度系统呢 >感觉ooize成熟但不想用，xml写起来难受。 >azkaban也需要单独上传。 >

Re:Re: Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

t; >To @LItteFall : > >没有对应的issue，因为是在修复changlog >issue[1]时在这个issue里一起修复的，代码可以看下TableBufferReducedStatementExecutor里reduceBuffer保证是对同key上得不同操作顺序执行的。 > >To @Michael Ran: > >update 怎么触发的 delete 哦？ > >LItteFall 是在数据库的表中触发了update操作，然后数据库的binlog通过 CDC工具 canal 以 canal-json

Re:Re:HistoryServer完成任务丢失的问题

你的意思是，日志彻底消失了？完全找不到？ 不会是你任务有问题，压根就没成功，没产生吧。 理论上日志不可能平白无故消失的 在 2020-09-27 17:03:45，"xiao cai" 写道： >是的，默认是10s一次，但是这个是去jobmanager的归档目录里拉取的间隔。 >问题是cancel的那次job，并没有上传日志信息到归档目录里。 > > > 原始邮件 >发件人: Michael Ran >收件人: user-zh >发送时间: 2020年9月27日(周日) 16:45 >主题: Re:History

Re:??????flink sql count????

??count ?? having xxx ,filter ?? 2020-09-27 17:01:06??"zya" ?? >??sum??mysql?? > > > > > >---- >??:

Re:flink sql count????

??null 0?? ?? sum(if(name like '%',1 , 0)) ?? 2020-09-27 16:53:56??"zya" ?? >?? >sqlcountcountcount >??hive??count(if(name like '%',1 , null))??flink

Re:HistoryServer完成任务丢失的问题

history 记得是定时拉取的，有延迟过去 在 2020-09-27 16:40:27，"xiao cai" 写道： >Hi: >flink 1.11.0 >我启动了一个任务，当这个任务进行checkpoint的时候，我在webui中点击了cancel，任务在yarn中的状态时killed，但是再到history >server中却找不到这个任务。同时我尝试了再yarn中kill >application的方式，也是无法发现。这个问题有点随机，不是每次都会出现，有时候执行cancel，在history >server又能看到。希望了解history

Re:Flink SQL如何设置checkpoint的TTL

table api 有类似：tableEnv.getConfig().setIdleStateRetentionTime(Time.days(1), Time.days(2)); 在 2020-09-27 15:47:11，"xiao cai" 写道： >Hi: >目前想了解下载Flink SQL下该如何设置checkpoint的TTL。 >非常感谢指教 > > >Best, >xiao.

Re:Re: flink多流关联

一般有个等待时间，比如join不上，你设置等待1小时没来，就xxx... 在 2020-09-27 15:30:58，"Dream-底限" 写道： >hi、 >我想问一下就是多个流关联输出的时间点是所有维度全部关联上了才输出吗，比如abcd四个流，abc关联上了但这时d的数据还没有到，这个是不触发输出的吧 > >Michael Ran 于2020年9月27日周日 下午2:38写道： > >> 会有相互等待，或者先后不一致的情况，要业务自己衡量等待时间 >> 在 2020-09-27 12:09:23，"

Re:Re:Re: Re: Flink SQL撤回流问题

>却一直增加的情况。感觉这样不是很合理，因为随着数据量的增加，迟早会出现数值越界的情形。 > > > 原始邮件 >发件人: Michael Ran >收件人: user-zh >发送时间: 2020年9月27日(周日) 14:37 >主题: Re:Re: Re: Flink SQL撤回流问题 > > >没有传入id，始终是1 ？ 那就是第一次insert update 之后，生成的1.后面都是insert into >table(dt,num) values(dt,新数量) ON DUPLICATE KEY UPD

Re:Re: FlinkSQL是否支持设置窗口trigger实现continuious trigger呢

额，不是5分钟窗口，10秒一个步长往前滑动吗？ 我以为滚动是5分钟窗口 5分钟一输出呢。。 在 2020-09-27 14:43:57，"赵一旦" 写道： >不是滑动窗口哈。是滚动窗口，每10秒触发一次输出。滑动窗口的化逻辑就变了。 > >Michael Ran 于2020年9月27日周日 下午2:39写道： > >> 滑动窗口 >> 在 2020-09-27 13:25:37，"赵一旦" 写道： >> >如题，不使用DatastreamAPI，使用FlinkSQL能否实现五分钟窗口，每10秒输出一次呢？ >>

Re:FlinkSQL是否支持设置窗口trigger实现continuious trigger呢

滑动窗口 在 2020-09-27 13:25:37，"赵一旦" 写道： >如题，不使用DatastreamAPI，使用FlinkSQL能否实现五分钟窗口，每10秒输出一次呢？

Re:flink多流关联

会有相互等待，或者先后不一致的情况，要业务自己衡量等待时间 在 2020-09-27 12:09:23，"Dream-底限" 写道： >hi >我们这面想用flink在实时数仓上面做些事情，进行调研后发现数仓可能有多张表进行join、现flink有两种实现方案：第一种是流表lookup时态表，但时态表更新可能会延迟导致查询结果不准确，并且io可能过大；第二种是双流关联，但是如果说有五张表进行join的话，除了状态太大还有其他问题吗，或者说有多流相互等待的问题吗

Re:Re: Re: Flink SQL撤回流问题

:08写道： > 场景如下： > >source table: kafka > > sink table: mysql schem(id, dt, cnt) > > > insert : > >insert into sink > > select dt,count(distinct id) from source group by dt; > > >> > 这时mysql对应sink表中有一条数据(1, 2020-09-25, 100)，随着事件消费，cnt字段会不断变化，id，dt保持

Re:Re:Re: Flink SQL撤回流问题

select dt,count(distinct id) from source group by dt; > > > >这时mysql对应sink表中有一条数据(1, 2020-09-25, 100)，随着事件消费，cnt字段会不断变化，id，dt保持不变 > show >create table sink可以发现auto_increment在不断的变大。 > 当超过id的取值范围，就会报错了。 > > > 原始邮件 > >发件人: Michael Ran > 收件人: user-zh >> 发送时间

Re:Flink SQL撤回流问题

详细场景描述下呢 在 2020-09-27 11:48:36，"xiao cai" 写道： >Hi: >使用Flink SQL撤回流写入MySQL，表的auto_increment >越来越大是为什么，我的输出结果只有一条，mysql表里也只有一条数据，自增主键id的值一直为1，但是auto_increment却越来越大。求解答。

Re:Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

update 怎么触发的 delete 哦？ 在 2020-09-14 11:37:07，"LittleFall" <1578166...@qq.com> 写道： >Flink 版本： >flink:1.11.1-scala_2.12 >连接器 >mysql-connector-java-8.0.21 >flink-sql-connector-kafka_2.12-1.11.1 >flink-connector-jdbc_2.12-1.11.1 > >Flink SQL： > >CREATE TABLE source_user_name ( >loan_no int, >

Re:Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

update 怎么触发的 delete 哦？ 在 2020-09-14 11:37:07，"LittleFall" <1578166...@qq.com> 写道： >Flink 版本： >flink:1.11.1-scala_2.12 >连接器 >mysql-connector-java-8.0.21 >flink-sql-connector-kafka_2.12-1.11.1 >flink-connector-jdbc_2.12-1.11.1 > >Flink SQL： > >CREATE TABLE source_user_name ( >loan_no int, >

Re:Re: flink canal-json 如何获取每条数据是updata insert delete

我们也想用，能暴露一个出来不- - 在 2020-09-25 10:39:12，"Jark Wu" 写道： >如果要抽取对应的 type，需要用 format = json， 把 json 的完整数据结构在 DDL 中声明出来（包括 type)。 > >目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete，而这个 change >flag 目前是不对用户暴露的。 > >Best, >Jark > >On Fri, 25 Sep 2020 at 09:39, air23 wrote: > >> 你好 >> flink

Re:flink1.10.0任务失败但是application仍然在yarn运行不会自动kill

Connection timed out: nb-bdh-hadoop.slave14/10.10.5.14:21913是不是连接超时，请求没发送过去？ 在 2020-08-12 13:57:52，"魏烽" 写道： >各位好： > >Flink1.10.0版本发现偶发任务失败后但是web ui仍然挂着该任务并没有停止，日志如下： > >请问有遇到一样的情况的嘛 > >[INFO] 2020-07-28 16:34:00.938 - [taskAppId=TASK-38-97-193]:[106] - -> >2020-07-28 16:33:52,863 INFO

Re:flink????kafka??????????

checikpoint state complate ?? ?? 2020-07-30 10:56:52??"??" <201782...@qq.com> ?? >flink1.11kafkagroup >offset??kafka tooloffset??flink

Re:Re: flink sqlUpdate,如何获取里面的字段，字段类型，with 等3个属性

roperties。 >如果要拿到properties，可以通过catalog的接口得到 [1]。 >如果要自定义实现source/sink，可以参考 [2] > >[1] >https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/catalogs.html >[2] >https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sourceSinks.html > &

Re:flink stream如何为每条数据生成自增主键

id 生成器吧 在 2020-07-22 15:51:44，"tiantingting5...@163.com" 写道： > >flink stream如何为每条数据生成自增主键？？时间戳貌似不行，同一时间戳可能会产生多条数据，无法区分数据的现后顺序。 > > >tiantingting5...@163.com

  1   2   >