Re: mysql sink connection timeout

2020-06-30 Thread shizk233
Hi LakeShen, 感谢!就是这个!我这就去试一下 Thanks, Xuhui Mao LakeShen 于2020年6月30日周二 下午2:06写道: > Hi shizk233, > > 可以看下这个 Jira , https://issues.apache.org/jira/browse/FLINK-16681。 > > 这个就是长时间没有数据,导致 connection 断开问题。 > > Best, > LakeShen > > shizk233 于2020年6月30日周二 下午1:34写道: > > > Hi Zhong Tang, > > > >

Re: mysql sink connection timeout

2020-06-30 Thread LakeShen
Hi shizk233, 可以看下这个 Jira , https://issues.apache.org/jira/browse/FLINK-16681。 这个就是长时间没有数据,导致 connection 断开问题。 Best, LakeShen shizk233 于2020年6月30日周二 下午1:34写道: > Hi Zhong Tang, > >我查看了该jira有关的重连pr,https://github.com/apache/flink/pull/8429 > ,但该pr主要通过重连机制来规避网络问题导致的连接失效, >

关于RichReduceFunction和RichAggregateFunction

2020-06-30 Thread BenChen
Hi all, 在flink里面尝试使用RichReduceFunction和RichAggregateFunction,但是收到了UnsupportedOperationException。 看了下源代码,在reduce和aggregate方法里面会检测到是RichFunction的话就会直接抛异常。同时ReduceFunction和AggregateFunction是作为ReducingState和AggregatingState的属性,作为函数的聚合方法,真正让用户使用state是要放到reduce和aggregate对应的WindowFunction参数里面去。

?????? flink batch on yarn????????

2020-06-30 Thread ????
Thanks for help ---- ??:"Jingsong Li"

flink SQL如何将秒转换为timestamp

2020-06-30 Thread zilong xiao
有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd hh:mm:ss'))

Re: flink SQL如何将秒转换为timestamp

2020-06-30 Thread zilong xiao
好的,我试试~ 王松 于2020年6月30日周二 下午5:35写道: > 可以试试这样写: > TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss')) > > zilong xiao 于2020年6月30日周二 下午4:30写道: > > > > 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 > > > > TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as

关于local cluster的问题

2020-06-30 Thread naisili Yuan
Hi all 我这边有写一个java服务去自动拉起本地flink cluster(单机模式)用来调试使用。我是直接调用的bin/start-cluster.sh脚本。 现在问题是每次重新发布服务之后,发现这个启动的会话jobmanager会自动增加一个,导致slots总数越来越高。研究半天始终没找到原因,希望获得帮助! flink版本1.10.0

Re: 关于local cluster的问题

2020-06-30 Thread 17610775...@163.com
hi 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个? Best JasonLee 发件人: naisili Yuan 发送时间: 2020-06-30 18:29 收件人: user-zh 主题: 关于local cluster的问题 Hi all 我这边有写一个java服务去自动拉起本地flink cluster(单机模式)用来调试使用。我是直接调用的bin/start-cluster.sh脚本。 现在问题是每次重新发布服务之后,发现这个启动的会话jobmanager会自动增加一个,导致slots总数越来越高。研究半天始终没找到原因,希望获得帮助!

Re: 关于local cluster的问题

2020-06-30 Thread naisili Yuan
不好意思没说清楚,跟提交任务没关系,只是执行start-cluster.sh后taskmanager就自动加一 发自我的iPhone > 在 2020年6月30日,18:54,"17610775...@163.com" <17610775...@163.com> 写道: > > hi > 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个? > > > > Best > JasonLee > > 发件人: naisili Yuan > 发送时间: 2020-06-30 18:29 > 收件人: user-zh > 主题: 关于local cluster的问题 >

??????????RichReduceFunction??RichAggregateFunction

2020-06-30 Thread Yichao Yang
Hi ??stateuid keybyBloomFilter Best, Yichao Yang ---- ??:"BenChen"

Re: flink SQL如何将秒转换为timestamp

2020-06-30 Thread 王松
可以试试这样写: TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss')) zilong xiao 于2020年6月30日周二 下午4:30写道: > 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 > > TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd > hh:mm:ss')) >

Re: flink SQL如何将秒转换为timestamp

2020-06-30 Thread 17610775...@163.com
hi t as TO_TIMESTAMP(FROM_UNIXTIME(ts/1000,'-MM-dd HH:mm:ss')) 这样设置就可以了. Best JasonLee 发件人: zilong xiao 发送时间: 2020-06-30 16:29 收件人: user-zh 主题: flink SQL如何将秒转换为timestamp 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导 TO_TIMESTAMP(DATE_FORMAT(CAST(itime *

??????????RichReduceFunction??RichAggregateFunction

2020-06-30 Thread BenChen
?? uid keybyreduce??aggregatestateBloomFilterWindowFunction??stateprocess | | BenChen | | haibin...@163.com | ?? ??2020??06??30??

?????? ????flink sql????

2020-06-30 Thread zya
sinksink ---- ??:"Benchao Li"

作业因为异常restart后,频繁OOM

2020-06-30 Thread GuoSmileSmil
hi all, 我使用的Flink版本为1.10.1,使用的backend是rocksdb,没有开启checkpoint,运行在kubernetes平台上,模式是standalone。 目前遇到的问题是作业如果因为网络抖动或者硬件故障导致的pod被失联而fail,在pod重生后,作业自动restart,作业运行一段时间(半小时到1小时不等)很容易出现其他pod因为oom被os kill的现象,然后反复循环,pod 被kill越来越频繁。目前的解决方法是手动销毁这个集群,重新构建一个集群后重启作业,就恢复正常。

????flink sql????

2020-06-30 Thread zya
Hi ?? ??flink sqlsource??kafka??sink??mysql?? ??mysql??keymysqlflink1.10??

Re: 关于flink sql问题

2020-06-30 Thread Benchao Li
应该做一个维表Join就可以了。 zya 于2020年6月30日周二 下午9:02写道: > Hi 各位,有个问题想请教一下: > 目前我有一个功能想使用flink sql来完成,source是kafka,sink是mysql, > > 在写入mysql的时候,我希望能先根据key获取mysql中的数据进行判断,然后决定如何写入数据,请问flink1.10目前能实现这种功能吗? -- Best, Benchao Li

回复:作业因为异常restart后,频繁OOM

2020-06-30 Thread SmileSmile
补充一下,内核版本为 3.10.x,是否会是堆外内存cache没被回收而导致的内存超用? | | a511955993 | | 邮箱:a511955...@163.com | 签名由 网易邮箱大师 定制 在2020年06月30日 23:00,GuoSmileSmil 写道: hi all, 我使用的Flink版本为1.10.1,使用的backend是rocksdb,没有开启checkpoint,运行在kubernetes平台上,模式是standalone。

回复:作业因为异常restart后,频繁OOM

2020-06-30 Thread SmileSmile
作业如果正常运行,堆外内存是足够的。在restart后才会出现频繁重启的情况,重构集群才能恢复正常 | | a511955993 | | 邮箱:a511955...@163.com | 签名由 网易邮箱大师 定制 在2020年06月30日 23:39,LakeShen 写道: 我在较低版本,Flink on k8s ,也遇到 OOM 被 kill 了。 我感觉可能是 TaskManager 堆外内存不足了,我目前是 Flink 1.6 版本,Flink on k8s , standalone per job 模式,堆外内存默认没有限制~。

Re: 作业因为异常restart后,频繁OOM

2020-06-30 Thread LakeShen
我在较低版本,Flink on k8s ,也遇到 OOM 被 kill 了。 我感觉可能是 TaskManager 堆外内存不足了,我目前是 Flink 1.6 版本,Flink on k8s , standalone per job 模式,堆外内存默认没有限制~。 我的解决方法增加了一个参数:taskmanager.memory.off-heap: true. 目前来看,OOM被 kill 掉的问题没有在出现了。希望能帮到你。 Best, LakeShen SmileSmile 于2020年6月30日周二 下午11:19写道: > > 补充一下,内核版本为

Flink Training - why cannot keyBy hour?

2020-06-30 Thread Eleanore Jin
Hi experts, I am going through Ververica flink training, and when doing the lab with window (https://training.ververica.com/exercises/windows), basically it requires to compute within an hour which driver earns the most tip. The logic is to 0. keyBy driverId 1. create 1 hour window based on

flink1.10 用flinksql 写hbase,报错:UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

2020-06-30 Thread tiantingting5...@163.com
你好, flink1.10,用flinkSQL写hbase,报错:UpsertStreamTableSink requires that Table has a full primary keys if it is updated. 看到网上的资料说是,upsertSink的primary key是通过query来推断的,而我的query无法推断出PK,所以报错。说是需要1.10的临时解决方法是加一层group by,使得query可以推断出 primary key。 但是,我添加group by以后还是报错,这个问题该怎么解决呢??到底query是如何推断PK的??

?????? flink sql if ????????????

2020-06-30 Thread kcz
tks ---- ??:"Benchao Li"

Re: 关于flink sql问题

2020-06-30 Thread Benchao Li
我理解你只需要把这同一个Mysql表再做一个维表即可。可以写两次DDL,一个给维表用,一个给sink用。 如果你就觉得它是实时变化的,你可以把维表的cache关掉,保证每次都是获取Mysql中最新的数据就可以了吧? 当然了,在DDL的时候并没有区分这个表是维表还是sink表,具体它是什么类型,只是根据你在SQL里面怎么使用来决定的。 理论上来讲,你一个DDL可以同时做维表也可以做Sink。(只是它们可能有些配置会不同,分开写两个DDL应该是更清晰一些) zya 于2020年6月30日周二 下午11:26写道: >

回复:【Flink的transformations】

2020-06-30 Thread 17626017841
hi, 除了source、sink、union之类有特有的Transformation,大部分算子都属于OneInputTransformation 原始邮件 发件人: 忝忝向仧<153488...@qq.com> 收件人: user-zh 发送时间: 2020年6月29日(周一) 22:29 主题: 【Flink的transformations】 Hi,all:

??????????????????restart????????OOM

2020-06-30 Thread SmileSmile
oommetaspace ??os kill?? | | a511955993 | | ??a511955...@163.com | ?? ??2020??07??01?? 11:32??kcz ?? 1.10.0??1.11.0classloader??

Re: flink sql if 函数使用问题

2020-06-30 Thread Benchao Li
看报错,应该是你的IF的后面两个参数的类型不同吧。这里应该让后面两个参数的类型也相同的,要不然IF函数的返回值类型就不好确定了。 kcz <573693...@qq.com> 于2020年7月1日周三 上午11:03写道: > flink-1.10.1 blink_planner > if使用时候限制了返回的数据类型吗? > Cannot apply 'IF' to arguments of type 'IF( 'IF( 我想创建DDL时候,因为字段可能有空,所以如果为空了我想设置一个默认值,但是报错提示是只支持返回数据类型。 -- Best, Benchao Li

flink sql if ????????????

2020-06-30 Thread kcz
flink-1.10.1 blink_planner if Cannot apply 'IF' to arguments of type 'IF(

Re: 作业因为异常restart后,频繁OOM

2020-06-30 Thread 徐骁
很早以前遇到这个问题, standalone 模式下 metaspace 释放不掉, 感觉是一个比较严重的 bug https://issues.apache.org/jira/browse/FLINK-11205 这边有过讨论 SmileSmile 于2020年6月30日周二 下午11:45写道: > 作业如果正常运行,堆外内存是足够的。在restart后才会出现频繁重启的情况,重构集群才能恢复正常 > > > | | > a511955993 > | > | > 邮箱:a511955...@163.com > | > > 签名由 网易邮箱大师 定制 > >

?????? ????????????restart????????OOM

2020-06-30 Thread kcz
1.10.0??1.11.0classloader?? OK??OOMmetaspaceOOM?? ----