我写的是upsert呀。。。
insert into 我也测试了,也不行。
是MySQL数据库本身里面的表需要建立一个主键吗?还是只有flink里面建表的时候写就行呢?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请问使用mysql数据库时,使用flinksql,已经设置主键的情况下,相同主键的记录没有更新,而是越来越多,
是目前不支持还是我使用的方法不对呢?
版本:flink 1.11.1
关键的2个sql如下
create table open_and_close_terminal_minute_1 (
request_date varchar
,terminal_no varchar
,logon_time varchar
,logout_time varchar
,insert_time varchar
,P
请问使用mysql数据库时,使用flinksql,已经设置主键的情况下,相同主键的记录没有更新,而是越来越多,
是目前不支持还是我使用的方法不对呢?
版本:flink 1.11.1
关键的2个sql如下
create table open_and_close_terminal_minute_1 (
request_date varchar
,terminal_no varchar
,logon_time varchar
,logout_time varchar
,insert_time varchar
,P
重新搞了一下,找到原因了
1、没有配置hbase的host
Reading reply sessionid:0x3000484bfd0001d, packet:: clientPath:null
serverPath:null finish
2、protobuf-java版本过高
java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
这个2个问题一直没发现,是因为报错的信息只有debug级别里面有,我之前的日志级别是info,希望后续如果可能的话,把相关的报错的信息提高级别就更好识别啦
--
S
Hi,社区的各位大家好:
我在使用Hbase作为维表,进行temporal join时无法获取数据,
具体表现就是任务可以运行,但是没有符合条件的数据输出。
flink版本是1.11.1,Hbase版本是1.2.0-cdh5.15.1
1、我测试了,如果去掉关联条件只读取kafka源:
insert into testhbase
select cast(applog.terminalNo as varchar)
from applog
,是能够输出数据,
但是一旦加上关联条件,就无法输出了。
2、请问目前hbase支持使用sql进行scan或者查
nts设置:
<http://apache-flink.147419.n8.nabble.com/file/t793/conf.png>
hdfs上面大小:
<http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png>
页面上看到的大小:
<http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png>
Congxian Qiu wrote
> Hi 鱼子酱
> 能否把在使用增量 checkp
感谢!
flink1.11.1版本里面,我尝试了下面两种backend,目前运行了20多个小时,
能够看到状态的大小在一个区间内波动,没有发现一直增长的情况了。
StateBackend backend =new
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
StateBackend backend =new
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getV
n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state,还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend,以及非增量模式的rocksdb等?如果在所有state backend场景下,
> state都是一直上涨的,那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
>&
k.147419.n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state,还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend,以及非增量模式的rocksdb等?如果在所有state backend场景下,
> state都是一直上涨的,那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
k.147419.n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state,还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend,以及非增量模式的rocksdb等?如果在所有state backend场景下,
> state都是一直上涨的,那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
9.n8.nabble.com/file/t793/222.png>
Congxian Qiu wrote
> Hi
> SQL 部分不太熟,根据以往的经验,对于 event time 情况下 window 的某个算子 state 越来越大的情况,或许可以检查下
> watermark[1]
>
> [1]
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/monitoring/debugging_event_time.html
>
> B
Hi,社区的各位大家好:
我目前生产上面使用的是1.8.2版本,相对稳定
为了能够用sql统一所有相关的作业,同时我也一直在跟着flink最新版本进行研究,
截止目前先后研究了1.10.1 1.11.1共2个大版本
在尝试使用的过程中,我发现了通过程序,使用sql进行group操作时,checkpoint中的数据量一直在缓慢增加
状态后端使用的是rocksdb 的增量模式
StateBackend backend =new
RocksDBStateBackend("hdfs:///checkpoints-data/",true);
设置了官网文档中找到的删除策略:
Tabl
12 matches
Mail list logo