Hi LakeShen,
感谢！就是这个！我这就去试一下
Thanks,
Xuhui Mao
LakeShen 于2020年6月30日周二 下午2:06写道：
> Hi shizk233,
>
> 可以看下这个 Jira ， https://issues.apache.org/jira/browse/FLINK-16681。
>
> 这个就是长时间没有数据，导致 connection 断开问题。
>
> Best,
> LakeShen
>
> shizk233 于2020年6月30日周二 下午1:34写道：
>
> > Hi Zhong Tang,
> >
> >
Hi shizk233,
可以看下这个 Jira ， https://issues.apache.org/jira/browse/FLINK-16681。
这个就是长时间没有数据，导致 connection 断开问题。
Best,
LakeShen
shizk233 于2020年6月30日周二 下午1:34写道：
> Hi Zhong Tang,
>
>我查看了该jira有关的重连pr，https://github.com/apache/flink/pull/8429
> ，但该pr主要通过重连机制来规避网络问题导致的连接失效，
>
Hi all，
在flink里面尝试使用RichReduceFunction和RichAggregateFunction，但是收到了UnsupportedOperationException。
看了下源代码，在reduce和aggregate方法里面会检测到是RichFunction的话就会直接抛异常。同时ReduceFunction和AggregateFunction是作为ReducingState和AggregatingState的属性，作为函数的聚合方法，真正让用户使用state是要放到reduce和aggregate对应的WindowFunction参数里面去。
Thanks for help
----
??:"Jingsong Li"
有一个字段itime，类型为int，意为当前时间的秒值，如何将该字段转换成timestamp？以下是我的想法，不知是否正确，求遇到过类似问题的大佬指导
TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd
hh:mm:ss'))
好的，我试试~
王松 于2020年6月30日周二 下午5:35写道：
> 可以试试这样写：
> TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss'))
>
> zilong xiao 于2020年6月30日周二 下午4:30写道：
>
> >
> 有一个字段itime，类型为int，意为当前时间的秒值，如何将该字段转换成timestamp？以下是我的想法，不知是否正确，求遇到过类似问题的大佬指导
> >
> > TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as
Hi all
我这边有写一个java服务去自动拉起本地flink cluster（单机模式）用来调试使用。我是直接调用的bin/start-cluster.sh脚本。
现在问题是每次重新发布服务之后，发现这个启动的会话jobmanager会自动增加一个，导致slots总数越来越高。研究半天始终没找到原因，希望获得帮助！
flink版本1.10.0
hi
你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个?
Best
JasonLee
发件人： naisili Yuan
发送时间： 2020-06-30 18:29
收件人： user-zh
主题： 关于local cluster的问题
Hi all
我这边有写一个java服务去自动拉起本地flink cluster（单机模式）用来调试使用。我是直接调用的bin/start-cluster.sh脚本。
现在问题是每次重新发布服务之后，发现这个启动的会话jobmanager会自动增加一个，导致slots总数越来越高。研究半天始终没找到原因，希望获得帮助！
不好意思没说清楚，跟提交任务没关系，只是执行start-cluster.sh后taskmanager就自动加一
发自我的iPhone
> 在 2020年6月30日，18:54，"17610775...@163.com" <17610775...@163.com> 写道：
>
> hi
> 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个?
>
>
>
> Best
> JasonLee
>
> 发件人： naisili Yuan
> 发送时间： 2020-06-30 18:29
> 收件人： user-zh
> 主题： 关于local cluster的问题
>
Hi
??stateuid
keybyBloomFilter
Best,
Yichao Yang
----
??:"BenChen"
可以试试这样写：
TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss'))
zilong xiao 于2020年6月30日周二 下午4:30写道：
> 有一个字段itime，类型为int，意为当前时间的秒值，如何将该字段转换成timestamp？以下是我的想法，不知是否正确，求遇到过类似问题的大佬指导
>
> TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd
> hh:mm:ss'))
>
hi
t as TO_TIMESTAMP(FROM_UNIXTIME(ts/1000,'-MM-dd HH:mm:ss')) 这样设置就可以了.
Best
JasonLee
发件人： zilong xiao
发送时间： 2020-06-30 16:29
收件人： user-zh
主题： flink SQL如何将秒转换为timestamp
有一个字段itime，类型为int，意为当前时间的秒值，如何将该字段转换成timestamp？以下是我的想法，不知是否正确，求遇到过类似问题的大佬指导
TO_TIMESTAMP(DATE_FORMAT(CAST(itime *
??
uid
keybyreduce??aggregatestateBloomFilterWindowFunction??stateprocess
| |
BenChen
|
|
haibin...@163.com
|
??
??2020??06??30??
sinksink
----
??:"Benchao Li"
hi all，
我使用的Flink版本为1.10.1，使用的backend是rocksdb，没有开启checkpoint，运行在kubernetes平台上，模式是standalone。
目前遇到的问题是作业如果因为网络抖动或者硬件故障导致的pod被失联而fail，在pod重生后，作业自动restart，作业运行一段时间（半小时到1小时不等）很容易出现其他pod因为oom被os
kill的现象，然后反复循环，pod 被kill越来越频繁。目前的解决方法是手动销毁这个集群，重新构建一个集群后重启作业，就恢复正常。
应该做一个维表Join就可以了。
zya 于2020年6月30日周二 下午9:02写道：
> Hi 各位，有个问题想请教一下：
> 目前我有一个功能想使用flink sql来完成，source是kafka，sink是mysql，
>
> 在写入mysql的时候，我希望能先根据key获取mysql中的数据进行判断，然后决定如何写入数据，请问flink1.10目前能实现这种功能吗？
--
Best,
Benchao Li
补充一下，内核版本为 3.10.x，是否会是堆外内存cache没被回收而导致的内存超用？
| |
a511955993
|
|
邮箱：a511955...@163.com
|
签名由 网易邮箱大师 定制
在2020年06月30日 23:00，GuoSmileSmil 写道：
hi all，
我使用的Flink版本为1.10.1，使用的backend是rocksdb，没有开启checkpoint，运行在kubernetes平台上，模式是standalone。
作业如果正常运行，堆外内存是足够的。在restart后才会出现频繁重启的情况，重构集群才能恢复正常
| |
a511955993
|
|
邮箱：a511955...@163.com
|
签名由 网易邮箱大师 定制
在2020年06月30日 23:39，LakeShen 写道：
我在较低版本，Flink on k8s ，也遇到 OOM 被 kill 了。
我感觉可能是 TaskManager 堆外内存不足了，我目前是 Flink 1.6 版本，Flink on k8s , standalone per
job 模式，堆外内存默认没有限制~。
我在较低版本，Flink on k8s ，也遇到 OOM 被 kill 了。
我感觉可能是 TaskManager 堆外内存不足了，我目前是 Flink 1.6 版本，Flink on k8s , standalone per
job 模式，堆外内存默认没有限制~。
我的解决方法增加了一个参数：taskmanager.memory.off-heap: true.
目前来看，OOM被 kill 掉的问题没有在出现了。希望能帮到你。
Best,
LakeShen
SmileSmile 于2020年6月30日周二 下午11:19写道：
>
> 补充一下，内核版本为
Hi experts,
I am going through Ververica flink training, and when doing the lab with
window (https://training.ververica.com/exercises/windows), basically it
requires to compute within an hour which driver earns the most tip.
The logic is to
0. keyBy driverId
1. create 1 hour window based on
tks
----
??:"Benchao Li"
我理解你只需要把这同一个Mysql表再做一个维表即可。可以写两次DDL，一个给维表用，一个给sink用。
如果你就觉得它是实时变化的，你可以把维表的cache关掉，保证每次都是获取Mysql中最新的数据就可以了吧？
当然了，在DDL的时候并没有区分这个表是维表还是sink表，具体它是什么类型，只是根据你在SQL里面怎么使用来决定的。
理论上来讲，你一个DDL可以同时做维表也可以做Sink。（只是它们可能有些配置会不同，分开写两个DDL应该是更清晰一些）
zya 于2020年6月30日周二 下午11:26写道：
>
hi，
除了source、sink、union之类有特有的Transformation，大部分算子都属于OneInputTransformation
原始邮件
发件人: 忝忝向仧<153488...@qq.com>
收件人: user-zh
发送时间: 2020年6月29日(周一) 22:29
主题: 【Flink的transformations】
Hi,all:
oommetaspace ??os kill??
| |
a511955993
|
|
??a511955...@163.com
|
??
??2020??07??01?? 11:32??kcz ??
1.10.0??1.11.0classloader??
看报错，应该是你的IF的后面两个参数的类型不同吧。这里应该让后面两个参数的类型也相同的，要不然IF函数的返回值类型就不好确定了。
kcz <573693...@qq.com> 于2020年7月1日周三 上午11:03写道：
> flink-1.10.1 blink_planner
> if使用时候限制了返回的数据类型吗？
> Cannot apply 'IF' to arguments of type 'IF( 'IF( 我想创建DDL时候，因为字段可能有空，所以如果为空了我想设置一个默认值，但是报错提示是只支持返回数据类型。
--
Best,
Benchao Li
flink-1.10.1 blink_planner
if
Cannot apply 'IF' to arguments of type 'IF(
很早以前遇到这个问题, standalone 模式下 metaspace 释放不掉, 感觉是一个比较严重的 bug
https://issues.apache.org/jira/browse/FLINK-11205 这边有过讨论
SmileSmile 于2020年6月30日周二 下午11:45写道：
> 作业如果正常运行，堆外内存是足够的。在restart后才会出现频繁重启的情况，重构集群才能恢复正常
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955...@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
>
27 matches
Mail list logo
