答复: 退订

2021-07-30 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,是发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 发件人: 谢振爵 日期: 星期五, 2021年7月30日 15:11 收件人: user-zh 主题: 退订 退订

答复: 退订

2021-07-30 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,是发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 发件人: 赵珠峰 日期: 星期五, 2021年7月30日 15:15 收件人: user-zh@flink.apache.org 主题: 退订 退订 本邮件载有秘密信息,请您恪守保密义务。未经许可不得披露、使用或允许他人使用。谢谢合作。 This email contains confidential information. Recipient is obliged to keep the

答复: 退订

2021-07-29 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,是发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 发件人: 闫健儒 日期: 星期四, 2021年7月29日 16:57 收件人: user-zh@flink.apache.org 主题: 退订 退订

答复: 退订

2021-07-29 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 就可以了 发件人: zhangjunjie1130 日期: 星期四, 2021年7月29日 16:38 收件人: user-zh@flink.apache.org 主题: 退订 退订 | | zhangjunj | |

答复: flink 1.12如何使用RateLimiter

2020-12-10 文章 zhao liang
我这里有个场景是这样的,kafka里已经有一段时间的数据,读取的时候会一股脑的都读进来,我想模拟数据是刚进来的状态,比如数据是5秒一条,我就5秒钟读1条 发件人: Danny Chan 日期: 星期四, 2020年12月10日 10:44 收件人: user-zh@flink.apache.org 主题: Re: flink 1.12如何使用RateLimiter 您好 请问是什么场景呢 ?限速的目的是什么 ? 18757141558 <18757141...@163.com> 于2020年12月9日周三 下午6:49写道: > 在源码中找到

Source 定时执行sql,只执行一次就close了source

2020-08-27 文章 zhao liang
HI,我需要定时从MySQL中读取维表的数据,但是source的方法执行一遍就结束了,按open、run、close按序执行一遍,我在open方法中定义了ScheduledExecutorService来实现定时读取数据,但是job异常的时候这个线程无法被cancled,恢复策略会无线重启job,导致线程越来越多,想问问定时读维表有什么好的实现方法吗?

答复: flink sql在实时数仓中,关联hbase维表频繁变化的问题

2020-08-17 文章 zhao liang
第三条我有个大概的想法,kafka数据把原有时间戳减去一个你觉得足够的延迟时间,生成一个新的时间戳,flink用这个时间做watermark,原有时间保留用来和habse进行匹配。 发件人: Jim Chen 日期: 星期一, 2020年8月17日 16:36 收件人: user-zh 主题: flink sql在实时数仓中,关联hbase维表频繁变化的问题 大家好: 我们现在在用flink sql在做实时数仓,架构大概是kafka关联hbase维表,然后写入clickhouse。hbase维表是频繁变化的 现在遇到的几个比较棘手的问题:

答复: 关于FlinkSQL的一些最佳实践咨询

2020-08-12 文章 zhao liang
请问table api要重构是哪个FLIP,我想关注下 发件人: Shengkai Fang 日期: 星期四, 2020年8月13日 11:09 收件人: user-zh@flink.apache.org 主题: Re: 关于FlinkSQL的一些最佳实践咨询 针对(3)社区建议使用sql api, table api现在正准备重构。 靳亚洽 于2020年8月13日周四 上午11:00写道: > 针对2, 我们公司采用的是通过提交一个解析flink sql的jar包,把sql作为jar包的参数来执行的。采用接口机将用户的udf > jar包和平台提供的解析flink

答复: 关于FLinkSQL如何创建类json无限扩展的表结构问题

2020-08-11 文章 zhao liang
Hi,你图挂了,换个图床试试呢 发件人: Zhao,Yi(SEC) 日期: 星期二, 2020年8月11日 16:04 收件人: user-zh@flink.apache.org 主题: 关于FLinkSQL如何创建类json无限扩展的表结构问题 刚刚进一步发现一个方法可以做动态扩展的类型。代码如下: [cid:image001.png@01D66FF8.F697E2D0] 这种情况下,首先表有一个字段d,然后d是json无限嵌套的类型都可以。 此处有第一个疑问:如何不要d这个字段,让顶层就是一个无限扩展的map结构呢?

答复: 请教flink计算一些报表需求的实现(附带任务图)

2020-08-10 文章 zhao liang
针对第5条,似乎只能让source并行度和kafka的topic的分区一致才行,另外针对最后你说的每个任务的字段和类型都不一样,那把这些信息都当做维表信息使用,你已经拆分任务了,那每个任务跑指定的一些维表数据,你的图看着有种在重复计算的样子,不知道你的具体任务信息,可否按5分钟和小时两个大算子进行统计汇聚,topn当sideooutpu输出 发件人: lfgy <15029270...@163.com> 日期: 星期二, 2020年8月11日 00:11 收件人: user-zh@flink.apache.org 主题: 请教flink计算一些报表需求的实现(附带任务图)

答复: 【Flink sql 1.10.0问题】

2020-07-26 文章 zhao liang
看不见图,最好别发图,以文字发 发件人: 忝忝向�� <153488...@qq.com> 日期: 星期日, 2020年7月26日 22:05 收件人: user-zh 主题: 【Flink sql 1.10.0问题】 Hi,all: Flink 1.10.0 sql提交报错如下,请问是什么原因呢? 谢谢. [cid:37FA1919@1626B468.F28B1D5F]

答复: 回复:答复: flink state

2020-07-15 文章 zhao liang
条件的key存入这个broadcast state,并在其他算子计算的时候使用这个broadcast state,比如需要这些key来做 文档中提到的nonbroadcast side是无法修改broadcast state的,是read-only, 似乎无法直接去实现 --原始邮件-- 发件人: "zhao liang"https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/stream/state/broadca

答复: flink state

2020-07-14 文章 zhao liang
我这边有个类似的实现,需要根据维表数据改变stream的处理,自定义了一个source(从MySQL中定时刷维表数据),kafka的stream union这个维表数据流, 额外增加一个数据类型(维表类型或者事实数据)进行数据的处理,后续算子将这个维表进行不同的处理并存到对应算子的state中。 发件人: Congxian Qiu 日期: 星期二, 2020年7月14日 14:03 收件人: user-zh 主题: Re: flink state Hi Robert Boardcast state[1] 是否满足你的需求呢?另外也可以看下这篇文章[2] [1]

答复: 如何 远程通知 flink 开启任务

2019-12-03 文章 zhao liang
这个查下文档的 RestAPI,里面有启动任务的接口 发件人: 李军 日期: 星期三, 2019年12月4日 10:06 收件人: user-zh 主题: 如何 远程通知 flink 开启任务 请教一个问题: 目前想用flink做批处理,但是不知道任务启动后,怎么通知flink 开始跑任务。 就比如像发个请求一样的通知; 再或者是任务接受到数据了就开始处理吗??