flink sql CREATE TABLE kafka sinkcheckpointsql
sinkexactly-once?? ??
??
Consistency guarantees: By default, a Kafka sink ingests data with
at-least-once guarantees into a Kafka topic if the query is executed with
checkpointing enabled.??
start-cluster.sh每次就是会启动一个Standalone集群的,由于都是一个flink conf,所以新起的JM
肯定会因为端口冲突起不来,TM会注册在之前已经running的JM上。
如果你只是测试,用完以后,需要stop-cluster.sh停掉
如果是想在一个JVM里面进行测试,那可以用MiniCluster,所有的组件都会以线程模式启动
Best,
Yang
naisili Yuan 于2020年6月30日周二 下午7:09写道:
> 不好意思没说清楚,跟提交任务没关系,只是执行start-cluster.sh后taskmanager就自动加一
>
> 发自
tks
-- --
??: "Benchao Li"
你好,
flink1.10,用flinkSQL写hbase,报错:UpsertStreamTableSink requires that Table has a
full primary keys if it is updated.
看到网上的资料说是,upsertSink的primary
key是通过query来推断的,而我的query无法推断出PK,所以报错。说是需要1.10的临时解决方法是加一层group by,使得query可以推断出
primary key。
但是,我添加group by以后还是报错,这个问题该怎么解决呢??到底query是如何推断PK的??
以下是我的sq
我理解你只需要把这同一个Mysql表再做一个维表即可。可以写两次DDL,一个给维表用,一个给sink用。
如果你就觉得它是实时变化的,你可以把维表的cache关掉,保证每次都是获取Mysql中最新的数据就可以了吧?
当然了,在DDL的时候并没有区分这个表是维表还是sink表,具体它是什么类型,只是根据你在SQL里面怎么使用来决定的。
理论上来讲,你一个DDL可以同时做维表也可以做Sink。(只是它们可能有些配置会不同,分开写两个DDL应该是更清晰一些)
zya 于2020年6月30日周二 下午11:26写道:
> 请问下,sink写出的表能做维表吗,因为sink会一直写入,做维表的话
看报错,应该是你的IF的后面两个参数的类型不同吧。这里应该让后面两个参数的类型也相同的,要不然IF函数的返回值类型就不好确定了。
kcz <573693...@qq.com> 于2020年7月1日周三 上午11:03写道:
> flink-1.10.1 blink_planner
> if使用时候限制了返回的数据类型吗?
> Cannot apply 'IF' to arguments of type 'IF( 'IF( 我想创建DDL时候,因为字段可能有空,所以如果为空了我想设置一个默认值,但是报错提示是只支持返回数据类型。
--
Best,
Benchao Li
oommetaspace ??os kill??
| |
a511955993
|
|
??a511955...@163.com
|
??
??2020??07??01?? 11:32??kcz ??
1.10.0??1.11.0classloader??
OK??OO
1.10.0??1.11.0classloader??
OK??OOMmetaspaceOOM??
-- --
??: ""https://issues.apache.org/jira/brows
很早以前遇到这个问题, standalone 模式下 metaspace 释放不掉, 感觉是一个比较严重的 bug
https://issues.apache.org/jira/browse/FLINK-11205 这边有过讨论
SmileSmile 于2020年6月30日周二 下午11:45写道:
> 作业如果正常运行,堆外内存是足够的。在restart后才会出现频繁重启的情况,重构集群才能恢复正常
>
>
> | |
> a511955993
> |
> |
> 邮箱:a511955...@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年06月30日
flink-1.10.1 blink_planner
if
Cannot apply 'IF' to arguments of type 'IF(
hi,
除了source、sink、union之类有特有的Transformation,大部分算子都属于OneInputTransformation
原始邮件
发件人: 忝忝向仧<153488...@qq.com>
收件人: user-zh
发送时间: 2020年6月29日(周一) 22:29
主题: 【Flink的transformations】
Hi,all:
请教下,Flink的应用程序首先都会转为逻辑映射也就是transformations,我看org.apache.flink.streaming.api.transformations包下面目前有17种Transforma
Hi experts,
I am going through Ververica flink training, and when doing the lab with
window (https://training.ververica.com/exercises/windows), basically it
requires to compute within an hour which driver earns the most tip.
The logic is to
0. keyBy driverId
1. create 1 hour window based on event
作业如果正常运行,堆外内存是足够的。在restart后才会出现频繁重启的情况,重构集群才能恢复正常
| |
a511955993
|
|
邮箱:a511955...@163.com
|
签名由 网易邮箱大师 定制
在2020年06月30日 23:39,LakeShen 写道:
我在较低版本,Flink on k8s ,也遇到 OOM 被 kill 了。
我感觉可能是 TaskManager 堆外内存不足了,我目前是 Flink 1.6 版本,Flink on k8s , standalone per
job 模式,堆外内存默认没有限制~。
我的解决方法增加了一个参数:taskma
我在较低版本,Flink on k8s ,也遇到 OOM 被 kill 了。
我感觉可能是 TaskManager 堆外内存不足了,我目前是 Flink 1.6 版本,Flink on k8s , standalone per
job 模式,堆外内存默认没有限制~。
我的解决方法增加了一个参数:taskmanager.memory.off-heap: true.
目前来看,OOM被 kill 掉的问题没有在出现了。希望能帮到你。
Best,
LakeShen
SmileSmile 于2020年6月30日周二 下午11:19写道:
>
> 补充一下,内核版本为 3.10.x,是否
sinksink
-- --
??: "Benchao Li"
补充一下,内核版本为 3.10.x,是否会是堆外内存cache没被回收而导致的内存超用?
| |
a511955993
|
|
邮箱:a511955...@163.com
|
签名由 网易邮箱大师 定制
在2020年06月30日 23:00,GuoSmileSmil 写道:
hi all,
我使用的Flink版本为1.10.1,使用的backend是rocksdb,没有开启checkpoint,运行在kubernetes平台上,模式是standalone。
目前遇到的问题是作业如果因为网络抖动或者硬件故障导致的pod被失联而fail,在pod重生后,作业自动restart,
应该做一个维表Join就可以了。
zya 于2020年6月30日周二 下午9:02写道:
> Hi 各位,有个问题想请教一下:
> 目前我有一个功能想使用flink sql来完成,source是kafka,sink是mysql,
>
> 在写入mysql的时候,我希望能先根据key获取mysql中的数据进行判断,然后决定如何写入数据,请问flink1.10目前能实现这种功能吗?
--
Best,
Benchao Li
hi all,
我使用的Flink版本为1.10.1,使用的backend是rocksdb,没有开启checkpoint,运行在kubernetes平台上,模式是standalone。
目前遇到的问题是作业如果因为网络抖动或者硬件故障导致的pod被失联而fail,在pod重生后,作业自动restart,作业运行一段时间(半小时到1小时不等)很容易出现其他pod因为oom被os
kill的现象,然后反复循环,pod 被kill越来越频繁。目前的解决方法是手动销毁这个集群,重新构建一个集群后重启作业,就恢复正常。
如果单纯heap的状态后台,作业restart不会出现这样的问题。
Hi ??
??flink
sqlsource??kafka??sink??mysql??
??mysql??keymysqlflink1.10??
不好意思没说清楚,跟提交任务没关系,只是执行start-cluster.sh后taskmanager就自动加一
发自我的iPhone
> 在 2020年6月30日,18:54,"17610775...@163.com" <17610775...@163.com> 写道:
>
> hi
> 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个?
>
>
>
> Best
> JasonLee
>
> 发件人: naisili Yuan
> 发送时间: 2020-06-30 18:29
> 收件人: user-zh
> 主题: 关于local cluster的问题
>
hi
t as TO_TIMESTAMP(FROM_UNIXTIME(ts/1000,'-MM-dd HH:mm:ss')) 这样设置就可以了.
Best
JasonLee
发件人: zilong xiao
发送时间: 2020-06-30 16:29
收件人: user-zh
主题: flink SQL如何将秒转换为timestamp
有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导
TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000
hi
你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个?
Best
JasonLee
发件人: naisili Yuan
发送时间: 2020-06-30 18:29
收件人: user-zh
主题: 关于local cluster的问题
Hi all
我这边有写一个java服务去自动拉起本地flink cluster(单机模式)用来调试使用。我是直接调用的bin/start-cluster.sh脚本。
现在问题是每次重新发布服务之后,发现这个启动的会话jobmanager会自动增加一个,导致slots总数越来越高。研究半天始终没找到原因,希望获得帮助!
flink版
Hi all
我这边有写一个java服务去自动拉起本地flink cluster(单机模式)用来调试使用。我是直接调用的bin/start-cluster.sh脚本。
现在问题是每次重新发布服务之后,发现这个启动的会话jobmanager会自动增加一个,导致slots总数越来越高。研究半天始终没找到原因,希望获得帮助!
flink版本1.10.0
好的,我试试~
王松 于2020年6月30日周二 下午5:35写道:
> 可以试试这样写:
> TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss'))
>
> zilong xiao 于2020年6月30日周二 下午4:30写道:
>
> >
> 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导
> >
> > TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3
可以试试这样写:
TO_TIMESTAMP(FROM_UNIXTIME(itime, '-MM-dd HH:mm:ss'))
zilong xiao 于2020年6月30日周二 下午4:30写道:
> 有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导
>
> TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd
> hh:mm:ss'))
>
??
uid
keybyreduce??aggregatestateBloomFilterWindowFunction??stateprocess
| |
BenChen
|
|
haibin...@163.com
|
??
??2020??06??30?? 15:55?
有一个字段itime,类型为int,意为当前时间的秒值,如何将该字段转换成timestamp?以下是我的想法,不知是否正确,求遇到过类似问题的大佬指导
TO_TIMESTAMP(DATE_FORMAT(CAST(itime * 1000 as TIMESTAMP(3)), '-MM-dd
hh:mm:ss'))
Hi
??stateuid
keybyBloomFilter
Best,
Yichao Yang
-- --
??: "BenChen"
Hi all,
在flink里面尝试使用RichReduceFunction和RichAggregateFunction,但是收到了UnsupportedOperationException。
看了下源代码,在reduce和aggregate方法里面会检测到是RichFunction的话就会直接抛异常。同时ReduceFunction和AggregateFunction是作为ReducingState和AggregatingState的属性,作为函数的聚合方法,真正让用户使用state是要放到reduce和aggregate对应的WindowFunction参数里面去。
目前我的
29 matches
Mail list logo