Re: FlinkSQL中创建表,视图等一些元数据信息都是存放在什么地方(没看到像Hive那样使用mysql存储元数据信息)

2020-12-07 文章 Leonard Xu
Hi, Flink 的元数据存放在catalog中的,也支持多种catalog(embedded, HIve,JDBC,自定义catalog),默认Flink使用内置的GenericInMemoryCatalog,这个是in memory的catalog,元数据都在这里,生产环境上可以使用HiveCatalog 祝好 Leonard [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/catalogs.html

关于检查点对任务性能的影响

2020-12-07 文章 赵一旦
如题,开启和不开启检查点对任务的性能影响有多大。 分对齐和不对齐检查点,对性能影响区别大吗? 如果说对性能影响本身不大,是不是频率可以设置稍高点,比如5分钟一波,甚至1分钟一波,如何一次检查点在10s左右。 10s/1min这种貌似不合理,但我想的是,如果检查点对性能影响本身不大,我完全可以这么设置,可以保证任务重启恢复的时候最近的检查点不至于落后太多时间?

FlinkSQL中创建表,视图等一些元数据信息都是存放在什么地方(没看到像Hive那样使用mysql存储元数据信息)

2020-12-07 文章 邮件帮助中心

Re: 关于 stream-stream Interval Join 的问题

2020-12-07 文章 Benchao Li
hi macia, 事件时间的interval join是需要用watermark来驱动的。你可以确认你的watermark是正常前进的么? macia kk 于2020年12月8日周二 上午1:15写道: > 抱歉,是 >-30 and <+30 > > 贴的只是demo,我的疑问是,既然是 Left Join,所以无所有没有Jion上右边,左边肯定会输出的,不至于一天条没有 > > 赵一旦 于2020年12月7日 周一23:28写道: > > > 准确点,2个条件之间没and?2个都是>? > > > > macia kk 于2020年12月7日周一 下午10:30写道: >

[flink-1.10.2] 异步IO结果DataStream 该如何注册为table??

2020-12-07 文章 Tianwang Li
Flink版本:1.10.2 使用RichAsyncFunction 异步IO 操作,结果DataStream 不能注册为table。 本地测试的结果是一直重复输出数据。 请问一下DataStream 处理之后,怎么才能注册为 Table。 --- 代码如下: // 异步redis处理 RedisAsyncFunction asyncFunction = new RedisAsyncFunction(node, aggProcessorArgs); // 获取异步处理流 DataStream result =

Re: 回复: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 Jark Wu
数据库两阶段提交,保证 exactly once 语义,社区正在支持,感兴趣的可以在 https://issues.apache.org/jira/browse/FLINK-15578 下面讨论。 Best, Jark On Tue, 8 Dec 2020 at 09:14, hdxg1101300...@163.com wrote: > > > > > hdxg1101300...@163.com > > 发件人: hdxg1101300...@163.com > 发送时间: 2020-12-07 18:40 > 收件人: user-zh > 主题: 回复: Re: flink

Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 Jark Wu
hailong 说的定义成 STRING 是在1.12 版本上支持的, https://issues.apache.org/jira/browse/FLINK-18002 1.12 这两天就会发布,如果能升级的话,可以尝试一下。 Best, Jark On Tue, 8 Dec 2020 at 11:56, wxpcc wrote: > 可以使用字符串的方式,或者自定义 String类型format,内部结构再通过udf去做后续的实现 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: ScanTableSource 为什么不支持SupportsFilterPushDown的问题

2020-12-07 文章 Leonard Xu
Hi, 在1.11中,planner 并没有支持下表中的各种PushDown, 所以这里做了check,这是planner层面不支持的。在1.12里,planner层面已经支持了这些PushDown,所以这些check都没有了,用户可以自定义 connector 并实现各种PushDown,比如,1.12中已经支持了kafka source上的watermarkPushdown。 因此,有这类需求建议基于1.12开发。 祝好, Leonard > > Hi: > 由于业务需要,我想在flink1.11.2中自定义一个ScanTableSource,

Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 wxpcc
可以使用字符串的方式,或者自定义 String类型format,内部结构再通过udf去做后续的实现 -- Sent from: http://apache-flink.147419.n8.nabble.com/

ScanTableSource 为什么不支持SupportsFilterPushDown的问题

2020-12-07 文章 jy l
Hi: 由于业务需要,我想在flink1.11.2中自定义一个ScanTableSource, 并想实现SupportsFilterPushDown特性。 但是在摸索的过程中发现,以下代码确似乎禁止使用SupportsFilterPushDown特性。 val unsupportedAbilities = List( classOf[SupportsFilterPushDown], classOf[SupportsLimitPushDown], classOf[SupportsPartitionPushDown],

Re: Flink 1.11版本LeaseRenewer线程不释放

2020-12-07 文章 zilong xiao
附一张有问题container的线程监控图 [image: image.png] zilong xiao 于2020年12月8日周二 上午11:03写道: > Hi Paul, > 线程名称是一模一样的,都是user1@cluserA,HDFS client版本对于用户来说是透明的,作业使用的是Flink > 1.11版本,该Flink版本使用HDFS版本好像是2.8.1,在Flink中和集群有持续交互的就只能想到checkpoint,开了DEBUG日志也没能找到root > cause。。 > > 另外 您说的“线程个数应该和用到的 HDFS

Re: 分组查询时,select的字段是否一定要都在group by中吗?

2020-12-07 文章 鑫 刘
传统上 SQL 都会要求 select group 中 select 的列要么是统计列,要么是 group by ,列是定义结果集的,不是直接对应表字段(想一下如果 from 自一个结果集)。以前 MySQL 可以 group by pk only ,后来高版本也改掉了。 From: Leonard Xu Sent: Tuesday, December 1, 2020 6:34 AM To: user-zh Subject: Re: 分组查询时,select的字段是否一定要都在group by中吗? Hi,

Re: Flink 1.11版本LeaseRenewer线程不释放

2020-12-07 文章 zilong xiao
Hi Paul, 线程名称是一模一样的,都是user1@cluserA,HDFS client版本对于用户来说是透明的,作业使用的是Flink 1.11版本,该Flink版本使用HDFS版本好像是2.8.1,在Flink中和集群有持续交互的就只能想到checkpoint,开了DEBUG日志也没能找到root cause。。 另外 您说的“线程个数应该和用到的 HDFS 集群数目相同”不是很理解,作业只能提交到一个具体的集群吧? Paul Lam 于2020年12月8日周二 上午10:45写道: > 我记得 LeaseRenewer 是 JVM

Re: Flink 1.11版本LeaseRenewer线程不释放

2020-12-07 文章 Paul Lam
我记得 LeaseRenewer 是 JVM 级别的,线程个数应该和用到的 HDFS 集群数目相同。 你看看它们具体的线程名是不是完全相同(比如都是 user1@cluserA)?还有 HDFS client 的版本是什么? Best, Paul Lam > 2020年12月7日 18:11,zilong xiao 写道: > > 在生产中发现有个别Flink SQL 1.11作业的container线程数很高,查看Thread Dump发现有很多名为LeaseRenewer >

回复: 回复: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 hdxg1101300...@163.com
hdxg1101300...@163.com 发件人: hdxg1101300...@163.com 发送时间: 2020-12-07 18:40 收件人: user-zh 主题: 回复: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交 你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback,是可以做到端对端精确一次的;我个人认为这样可以 想和别人交流一下。奈何没有人,就想在社区里问问 hdxg1101300...@163.com 发件人: Leonard Xu 发送时间: 2020-12-07

Re: 关于 stream-stream Interval Join 的问题

2020-12-07 文章 macia kk
抱歉,是 >-30 and <+30 贴的只是demo,我的疑问是,既然是 Left Join,所以无所有没有Jion上右边,左边肯定会输出的,不至于一天条没有 赵一旦 于2020年12月7日 周一23:28写道: > 准确点,2个条件之间没and?2个都是>? > > macia kk 于2020年12月7日周一 下午10:30写道: > > > 不好意思,我上边贴错了 > > > > SELECT * > > FROM A > > LEFT OUT JOIN B > > ON order_id > > Where A.event_time > B.event_time

Re:Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 hailongwang
理论上定义成 String 是可以拿到这个 JsonObject string 的值的。你调试看看为什么为 null? 如果确定为 null 的话,这个应该是 1.11 的一个 bug。 PS:我在 1.12 上测试了下,嵌套的定义成 String 可以拿到这个值。 在 2020-12-07 14:42:12,"xiao cai" 写道: >String不行,取出来的值是null > > > Original Message >Sender: silence >Recipient: user-zh >Date: Monday, Dec 7, 2020 14:26

Re: 关于 stream-stream Interval Join 的问题

2020-12-07 文章 赵一旦
准确点,2个条件之间没and?2个都是>? macia kk 于2020年12月7日周一 下午10:30写道: > 不好意思,我上边贴错了 > > SELECT * > FROM A > LEFT OUT JOIN B > ON order_id > Where A.event_time > B.event_time - 30 s > A.event_time > B.event_time + 30 s > > event_time 是 Time Attributes 设置的 event_time > > 这样是没有输出的。 > > > > interval

Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 Leonard Xu
> 你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback,是可以做到端对端精确一次的; 不是,我是在回答你Flink 在写入关系数据库是可以实现端到端一致的,需要的方式需要实现两阶段提交,这个思路是可行的。你说的简单地回滚是没法保证exactly-once语义的。 > hdxg1101300...@163.com > > 发件人: Leonard Xu > 发送时间: 2020-12-07 17:00 > 收件人: user-zh > 主题: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交 > Hi, >

Re: 关于 stream-stream Interval Join 的问题

2020-12-07 文章 macia kk
不好意思,我上边贴错了 SELECT * FROM A LEFT OUT JOIN B ON order_id Where A.event_time > B.event_time - 30 s A.event_time > B.event_time + 30 s event_time 是 Time Attributes 设置的 event_time 这样是没有输出的。 interval join 左右表在 state 中是缓存多久的? hailongwang <18868816...@163.com> 于2020年12月7日周一

Re: Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 赵一旦
貌似也不行。推荐你把context细化,一层一层细化,直到某个字段为单层Map的时候使用Map。 即放弃部分数据的灵活性,完全的无限嵌套是不行的。 xiao cai 于2020年12月7日周一 下午9:33写道: > 如果我只是想要返回jsonObject.toString的内容呢?不需要解析嵌套结构 > > > Original Message > Sender: 赵一旦 > Recipient: user-zh > Date: Monday, Dec 7, 2020 21:13 > Subject: Re: Re: FlinkSQL如何定义JsonObject数据的字段类型 >

Flink 1.11.2运行一段时间后,会报ResourceManager leader changed to new address null的异常

2020-12-07 文章 史 正超
8 个slot,8个并行度,jm是2G,tm配置的是8G,其它的任务配置是 ``` SET 'execution.checkpointing.interval' = '5min'; SET 'execution.checkpointing.min-pause' = '10s'; SET 'min.idle.state.retention.time' = '1d'; SET 'max.idle.state.retention.time' = '25h'; SET 'checkpoint.with.rocksdb' = 'true'; set

Re: Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 xiao cai
如果我只是想要返回jsonObject.toString的内容呢?不需要解析嵌套结构 Original Message Sender: 赵一旦 Recipient: user-zh Date: Monday, Dec 7, 2020 21:13 Subject: Re: Re: FlinkSQL如何定义JsonObject数据的字段类型 flink sql 支持不了这个需要。最多支持到Map,Map内部继续嵌套是不支持的。 hailongwang <18868816...@163.com> 于2020年12月7日周一 下午8:03写道: > > > Schema

Re:Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 xiao cai
Schema不确定,下游可以当做JsonString来处理,不同的业务下游处理各自上游的业务,这是由业务两端自己沟通确定的。但是通用的平台这边转的时候是不知道这个规则的,所以需要有一个字段,来统一提供一个字段给外部业务方填充、传递。 Original Message Sender: hailongwang<18868816...@163.com> Recipient: user-zh Date: Monday, Dec 7, 2020 19:52 Subject: Re:Re: FlinkSQL如何定义JsonObject数据的字段类型 Schema

关于dataStream 转成kafka流表 新建的表是否可以保存到已存在的catalog里面

2020-12-07 文章 夜思流年梦
Hi 开发者好: 目前有此场景: 业务已经有埋点上报的数据在kafka ,现在想使用对应的kafka数据 转换成 table, 由于这个 kafka的数据格式不是json格式,所以没法直接使用 flink-sql 的kafka-connector 用sql DDL的方式建kafka 表; 现在在尝试对kafka的数据做一次 map转换,返回 json格式,然后再基于此json格式 创建 kafka 流表 但是这种做法好像无法把表的元数据持久化,即在其他session无法读取到建的这个表; 是否有对应的方法,通过对kafka流做一定转换 ,然后再转换成 可以持久化到对应

Re: 回复: re:Re: 回复:一个关于实时合并数据的问题

2020-12-07 文章 赵一旦
其实我那个问题是针对502347601讲的,10亿 -> ckpt性能问题,是否有什么经验或者实验说明。 至于bradyMk你说的8个key和100个key那个不算的哈。8个key和100个key这不能反映性能的哈,8个key限制了并行度,同时也会导致很大的数据倾斜。你起码要保证比如1w个key去和10亿个key对比,这样才能说明是否对ckpt性能有影响。 你说的8个key会反压,肯定是并行不够,或者数据倾斜啦。 xuhaiLong 于2020年12月7日周一 上午11:53写道: > 这个我也不太清楚,没有做过对应的是测试。 > > > @吴磊 想到一个问题,如果

Re: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 赵一旦
不可以把。即使是使用2阶段提交,那就意味着你需要将写入Mysql的频率降低到和检查点一致,或者将检查点频率提升到和你对Mysql数据的实施性要求一致。 hdxg1101300...@163.com 于2020年12月7日周一 下午6:40写道: > 你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback,是可以做到端对端精确一次的;我个人认为这样可以 > 想和别人交流一下。奈何没有人,就想在社区里问问 > > > > hdxg1101300...@163.com > > 发件人: Leonard Xu > 发送时间: 2020-12-07 17:00 > 收件人:

Re: Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 赵一旦
flink sql 支持不了这个需要。最多支持到Map,Map内部继续嵌套是不支持的。 hailongwang <18868816...@163.com> 于2020年12月7日周一 下午8:03写道: > > > Schema 不太确定的话,那么下游怎么用这个数据呢? > > > Best, > Hailong > > 在 2020-12-07 15:21:16,"xiao cai" 写道: > >ROW需要写明具体的字段类型,比如: > >ROW<`id` string, …>,但是我并没有办法知道jsonObject中具体的schema > > > > > > Original

Re:flink sql 任务滑动窗口失效

2020-12-07 文章 hailongwang
方便发下完整的 SQL 不? 在 2020-12-07 16:31:42,"xushanshan" <1337220...@qq.com> 写道: >业务场景: >滑动窗口大小5分钟,滑动频率1分钟,使用事件事件做watermark,发现滑动窗口的计算结果输出包含delete状态的数据且窗口计算的触发频率不是配置的1分钟,问题的原因是什么? > > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re:关于 stream-stream Interval Join 的问题

2020-12-07 文章 hailongwang
Hi, 其中 条件是 `Where A.event_time < B.event_time + 30 s and A.event_time > B.event_time - 30 s ` 吧 可以参考以下例子[1],看下有木有写错。 [1]

Re:Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 hailongwang
Schema 不太确定的话,那么下游怎么用这个数据呢? Best, Hailong 在 2020-12-07 15:21:16,"xiao cai" 写道: >ROW需要写明具体的字段类型,比如: >ROW<`id` string, …>,但是我并没有办法知道jsonObject中具体的schema > > > Original Message >Sender: 李轲 >Recipient: user-zh >Date: Monday, Dec 7, 2020 16:14 >Subject: Re: FlinkSQL如何定义JsonObject数据的字段类型 > >

回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 熊云昆
是线程安全的,mapstate也是keyed state,同一个key的state肯定是同一个线程处理的 | | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2020年12月07日 18:18,bradyMk 写道: 这面还想多请教一下: 我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳,刚刚发现某一条数据读出了两条一样的时间戳,我推断是第一个线程读出来后还没等覆盖掉,第二个线程又读了一遍,导致出现两条一样的时间戳; 所以想请问flink中MapState是线程安全的吗? - Best

回复: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 hdxg1101300...@163.com
你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback,是可以做到端对端精确一次的;我个人认为这样可以 想和别人交流一下。奈何没有人,就想在社区里问问 hdxg1101300...@163.com 发件人: Leonard Xu 发送时间: 2020-12-07 17:00 收件人: user-zh 主题: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交 Hi, > 在 2020年12月7日,16:46,hdxg1101300...@163.com 写道: > >flink

flink sql 任务滑动窗口失效

2020-12-07 文章 xushanshan
业务场景: 滑动窗口大小5分钟,滑动频率1分钟,使用事件事件做watermark,发现滑动窗口的计算结果输出包含delete状态的数据且窗口计算的触发频率不是配置的1分钟,问题的原因是什么? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
这面还想多请教一下: 我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳,刚刚发现某一条数据读出了两条一样的时间戳,我推断是第一个线程读出来后还没等覆盖掉,第二个线程又读了一遍,导致出现两条一样的时间戳; 所以想请问flink中MapState是线程安全的吗? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 1.11版本LeaseRenewer线程不释放

2020-12-07 文章 zilong xiao
在生产中发现有个别Flink SQL 1.11作业的container线程数很高,查看Thread Dump发现有很多名为LeaseRenewer 的线程处于TIMED_WAITING状态,目前只能复现其现象,但是无法定位原因,不知道社区是否有类似经历的小伙伴呢? Flink version: 1.11 State backend:filesystem checkpoint interval: 60s

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
好的~谢谢大佬解答~ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 Yun Tang
配置一下 RocksDB 的native metrics,看下block cache以及 write buffer的实际使用内存。 另外,Flink中一个state会使用一个RocksDB的column family,而write buffer和block cache是一套column family 一套,所以你的operator 内的state数目多,slot内的keyed operator多,都会导致内存成倍增长 [1]

Re: flink sql实时计算UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 Leonard Xu
Hi, 你是不是没有订阅flink的用户邮件列表,所以有些邮件你看不到。 你可以发送任意内容的邮件到user-zh-subscr...@flink.apache.org 即可订阅用户邮件列表,订阅后邮件列表里大家的提问和回答你都可以看见了。 [1] https://flink.apache.org/zh/community.html > 在 2020年12月7日,16:50,Leonard Xu 写道: > > Hi, > >> 在 2020年12月7日,16:41,爱成绕指柔

flink sql????????UpsertStreamTableSink

2020-12-07 文章 ??????????
?? flink1.10??hbase Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. s""" |INSERT INTO ${databaseName}.response_time_sink

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
Hi~ 可是我这边write buffer以及block cache等参数设置的都不大,都远远小于我分给tm的内存,可为什么还会报超出内存的错误呢? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql????????UpsertStreamTableSink

2020-12-07 文章 ??????????
?? flink1.10??hbase Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. s""" |INSERT INTO ${databaseName}.response_time_sink

flink sql????????UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 ??????????
?? flink1.10??hbase Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. s""" |INSERT INTO ${databaseName}.response_time_sink

Re: 回复: 生产hive sql 迁移flink 11 引擎,碰到的问题

2020-12-07 文章 莫失莫忘
找到配置module的地方了。在 sql-client-defaults.yaml 配置 module 就可以了。但是我的hive是 Hive 1.1.0-cdh5.13.1 版本的。不支持listBuiltInFunctions()。报错 Listing built in functions are not supported until Hive 1.2.0。所以还是无法使用 hive的内置函数 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 Leonard Xu
Hi, > 在 2020年12月7日,16:46,hdxg1101300...@163.com 写道: > >flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交; >自己实现sink开启数据库事务,遇到错误回滚并抛出异常,是否可以实现数据精确一次 Flink 写入关系型数据库是可以做到端到端的一致性的,默认是不支持的,需要实现两阶段提交,按照你的思路是可行的。另外社区也有人在做这个feature[1],已经有PR了,你可以参考,预计会在1.13里支持。 祝好, Leonard [1]

Re: flink sql实时计算UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 Leonard Xu
Hi, > 在 2020年12月7日,16:41,爱成绕指柔 <1194803...@qq.com> 写道: > > Exception in thread "main" org.apache.flink.table.api.TableException: > UpsertStreamTableSink requires that Table has a full primary keys if it is > updated. 这个错误是在query 没法推断出主键,而 hbase sink 是一个upsert sink, 需要PK来实现upsert语义。

flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交

2020-12-07 文章 hdxg1101300...@163.com
大家好: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次,还是需要实现2p2提交; 自己实现sink开启数据库事务,遇到错误回滚并抛出异常,是否可以实现数据精确一次 谢谢! hdxg1101300...@163.com

flink sql????????UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 ??????????
?? flink1.10??hbase Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. s""" |INSERT INTO ${databaseName}.response_time_sink

flink sql????????UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 ??????????
?? flink1.10??hbase Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is updated. at

flink sql????????UpsertStreamTableSink requires that Table has a full primary keys if it is updated

2020-12-07 文章 ??????????
?? flink1.10??hbasehttp://apache-flink.147419.n8.nabble.com/; Exception in thread "main" org.apache.flink.table.api.TableException: UpsertStreamTableSink requires that Table has a full primary keys if it is

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 Yun Tang
RocksDB只是将数据可以存储在磁盘上,Flink再周期性将磁盘上数据上传到HDFS,内存中还是有LSM的write buffer以及block cache,也还是需要使用内存的 建议升级Flink版本到1.10+,引入了managed memory功能,理论上对于内存控制是要好很多的。 祝好 唐云 From: bradyMk Sent: Monday, December 7, 2020 11:27 To: user-zh@flink.apache.org Subject: Re: 答复:

Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 xiao cai
ROW需要写明具体的字段类型,比如: ROW<`id` string, …>,但是我并没有办法知道jsonObject中具体的schema Original Message Sender: 李轲 Recipient: user-zh Date: Monday, Dec 7, 2020 16:14 Subject: Re: FlinkSQL如何定义JsonObject数据的字段类型 可以试试ROW 发自我的iPhone > 在 2020年12月7日,15:43,xiao cai 写道: > > String不行,取出来的值是null > > > Original

Re: FlinkSQL如何定义JsonObject数据的字段类型

2020-12-07 文章 李轲
可以试试ROW 发自我的iPhone > 在 2020年12月7日,15:43,xiao cai 写道: > > String不行,取出来的值是null > > > Original Message > Sender: silence > Recipient: user-zh > Date: Monday, Dec 7, 2020 14:26 > Subject: Re: FlinkSQL如何定义JsonObject数据的字段类型 > > > 可以用string -- Sent from: