Re: HA切换

Hi wuzhixin, HA 切换时会重启 job，Flink 社区版目前的实现是这样的 可以了解下 Blink, 我们在社区版基础上优化了 master failover 的策略，可以避免重启 job 马 敬源 于2019年4月2日周二 上午9:45写道： > Hi，wuzhixin： > 尝试改一下flink-conf.yaml 这个配置： > > jobmanager.execution.failover-strategy: individual > > > 来自 Outlook > >

答复: 批流结合

是什么样的离线数据？要如何累加到实时流？ 发件人: 492341344 发送时间: 2019年4月2日 10:06 收件人: user-zh 主题: 批流结合 各位好，项目中有一批历史离线的统计数据，需要累加到实时流的统计中。请问有什么好的方案吗？

?????? flink on yarn ha ??????????

hadoop fs.defaultFS hdfs://hacluster/ dfs.client.failover.proxy.provider.hacluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider hadoop??namenode??

?????? ??????????????Flink????

Re: 远程提交代码到Flink集群

Hi, 由于你提供的细节并不多，无法很好地理解你的需求 你的作业中没有自定义代码 (例如 java/scala 代码) 吗？如果有的话，就必须上传 jar，Flink 接受的是编译后的字节码，并不提供编译功能 PS：我理解"自动化"和"上传 jar"并没有直接联系 文报 <1010467...@qq.com> 于2019年4月2日周二 下午2:40写道： > 谢谢各位的回复。 > > >

??????????: ????????

??blink sql

答复: flink-connector-redis连接器

源码里面是不支持expire， 你可以自己覆盖源码的接口，自定义方法 发件人: 周美娜 发送时间: 2019年4月1日 20:48 收件人: user-zh@flink.apache.org 主题: flink-connector-redis连接器 请问：flink 的redis connector作为sink时 不支持Expire命令吗？

Re: 方案询问

Hi, 推荐可以维护两个 MapState 分别缓存尚未匹配的两种订单。一条订单数据进来首先查找另一种订单的 MapState，若找到则输出合并的数据并删除对应的 entry，否则放入所属订单类型的 MapState。 Best, Paul Lam > 在 2019年4月2日，13:46，1900 <575209...@qq.com> 写道： > > 现在有个需求，从kafka接收订单信息，每条订单信息有1-2条数据（一般第一条是订单初始状态数据，第二条是订单终态数据）；时间间隔不等（一般5秒以内）， > 如何能将数据进行合并，最终合并成一条数据？ > > >

????????

kafka1-25?? ?? ??keyby

Re: flink on yarn ha 高可用问题

Hi, 这问题其实跟 Flink 无关，请了解下 HDFS nameservice。正确配置 HDFS 后，在 Flink 中填写路径时就不需要写死 name node 地址了 天之痕 <575209...@qq.com> 于2019年4月2日周二 上午11:29写道： > 请问该怎么处理，我目前在hadoop中配置了 > > > > fs.defaultFS > > hdfs://hacluster/ > > > > > > > dfs.client.failover.proxy.provider.hacluster >

Re:回复： 远程提交代码到Flink集群

获取生成的图是可以的，env.，但是有一个问题，你图中使用的各种依赖恐怕无法如期提交到各个节点上，所以运行的时候还是得打包的JAR的……我建议此事就不折腾了吧。 在 2019-04-02 14:39:45，"文报" <1010467...@qq.com> 写道： >谢谢各位的回复。 > >

????: ????: ????????

table ??join?? ?? baiyg25...@hundsun.com 492341344 ?? 2019-04-02 14:42 user-zh ?? ??: ??blink

????????

Re:方案询问

keyby不会“开启的窗口太多”，而是会产生较多的状态。 在 2019-04-02 13:46:48，"1900" <575209...@qq.com> 写道： >现在有个需求，从kafka接收订单信息，每条订单信息有1-2条数据（一般第一条是订单初始状态数据，第二条是订单终态数据）；时间间隔不等（一般5秒以内）， >如何能将数据进行合并，最终合并成一条数据？ > > >现在有一个考虑，根据订单号keyby分组后处理，这样的话是不是开启的窗口太多了？

答复: blink开源版本维表关联时开启缓存方式

感谢大佬解答，我尝试了一下已经基本实现了缓存。期待能早日用上flink原生的维表缓存功能 发送自 Windows 10 版邮件应用 发件人: Kurt Young 发送时间: Friday, March 29, 2019 5:33:57 PM 收件人: user-zh@flink.apache.org 主题: Re: blink开源版本维表关联时开启缓存方式

?????? ????????

MapState ?? 1. 2.watermarkeventtime, 3.CoGroupFunction

请教，如何把 RetractStream 不更新的数据 sink 出来

HI,请教一个问题，SQL API,non  window join 生成的 RetractStream，如何把不更新的数据 sink 出来（系统会自动清理掉超时的数据，我的需求是SINK 出来后再清理的掉），不知道Side Outputs 是否可以，如果可以该怎么做，如果不可以，有没有其它的方法，具体该怎么做，谢谢！

??Flink SQL??????????env.yaml

??Flink SQL ??yaml, hive??'\036' [root@server2 bin]# /home/hadoop/flink-1.7.2/bin/sql-client.sh embedded -e /home/hadoop/flink_test/env.yaml

答复: 回复： 方案询问

这样写好复杂。弊端和性能方面具体就不清楚，但肯定是可比MapState弱一点的 写个简单的MapState demo吧，如下： env .addSource(flinkKafkaConsumer) .process(new ProcessFunction() { private static final long serialVersionUID = -8357959184126038977L; private MapState accumulateState; @Override public void

Re: 远程提交代码到Flink集群

https://eng.uber.com/athenax/ uber开源的athenax项目就是将JobGraph直接提交到集群，你可以参考下 > 在 2019年4月3日，上午11:33，文报 <1010467...@qq.com> 写道： > > 感谢各位的来信。 > >

请教大佬们，blink提交yarn集群的问题

我在fink-conf.yaml文件中配置了principal和keytab，可以提交到带有kerberos认证的yarn集群中，现在我有两个问题： 1.同一客户机切换到不同的yarn集群时，提交作业之前需要改变HADOOP_CONF_DIR，krb5.conf和fink-conf.yaml的配置。这样做有点不太方便，也不太好处理同时提交的问题。 blink目前能否通过提交命令传参的方式来切换票据，或者有没有什么使用上的建议呢？ 2.我看到文档上说，缓存票据目前只支持在yarn上的独立集群，这句话的意思是指目前缓存票据只能用在flink yarn session模式中吗？ 发送自

?????? ??????????????Flink????

Re: 1.7.1版本getDistributedCache().getFile("key")失败问题

Hi, 按照你给出的部分代码，看不出问题所在，按道理是不应该的 建议给出更详细的信息，可以考虑以下几个方面 1. 完整可复现的代码（可以放到附件中），方便其他同学复现问题 2. 具体使用版本 PS: 如果你确认不是你测试环境/代码的问题，甚至可以直接建 jira issue 来反馈 bug，参见 https://flink.apache.org/how-to-contribute.html#file-a-bug-report 天边的云 于2019年4月3日周三 下午3:24写道： > 如题，按照官方例子 >

回复： 1.7.1版本getDistributedCache().getFile("key")失败问题

我看社区已经有人反馈了此问题，看上去像是1.6对BlobServer做了改动导致的？ https://issues.apache.org/jira/browse/FLINK-10370?jql=project%20%3D%20FLINK%20AND%20text%20~%20%22registerCachedFile%22 在2019年4月3日 16:26，Biao Liu 写道： Hi, 按照你给出的部分代码，看不出问题所在，按道理是不应该的 建议给出更详细的信息，可以考虑以下几个方面 1. 完整可复现的代码（可以放到附件中），方便其他同学复现问题 2. 具体使用版本 PS:

Re: 1.7.1版本getDistributedCache().getFile("key")失败问题

不要用 detached job-mode 就好了呀，用 session mode 天边的云 于2019年4月3日周三 下午4:55写道： > Hi，除了DistributedCache机制。flink on yarn还有什么方法可以解决 在TaskManager中读取配置文件路径的办法吗？ > 在2019年4月3日 16:39，Biao Liu 写道： > Hi, 该 issue 中 Till 已经进行了说明，看起来是 detached job-mode 的 bug，目前社区版确实对 job-mode > 支持的不太好，坑比较多，建议不要使用 > > 天边的云

1.7.1版本getDistributedCache().getFile("key")失败问题

如题，按照官方例子 env9.registerCachedFile("hdfs://xxx/key", "key"); ... .map( new RichMapFunction() { @Override public String map(String value) throws Exception { return value; } @Override public void open(Configuration parameters) { DistributedCache

Re: 1.7.1版本getDistributedCache().getFile("key")失败问题

Hi, 该 issue 中 Till 已经进行了说明，看起来是 detached job-mode 的 bug，目前社区版确实对 job-mode 支持的不太好，坑比较多，建议不要使用 天边的云 于2019年4月3日周三 下午4:28写道： > 我看社区已经有人反馈了此问题，看上去像是1.6对BlobServer做了改动导致的？ > > https://issues.apache.org/jira/browse/FLINK-10370?jql=project%20%3D%20FLINK%20AND%20text%20~%20%22registerCachedFile%22 > > >

回复： 1.7.1版本getDistributedCache().getFile("key")失败问题

Hi，除了DistributedCache机制。flink on yarn还有什么方法可以解决 在TaskManager中读取配置文件路径的办法吗？ 在2019年4月3日 16:39，Biao Liu 写道： Hi, 该 issue 中 Till 已经进行了说明，看起来是 detached job-mode 的 bug，目前社区版确实对 job-mode 支持的不太好，坑比较多，建议不要使用 天边的云 于2019年4月3日周三 下午4:28写道： 我看社区已经有人反馈了此问题，看上去像是1.6对BlobServer做了改动导致的？

1.7.1版本getDistributedCache().getFile("key")失败问题

如题，按照官方例子 env9.registerCachedFile("hdfs://xxx/key", "key"); ... .map( new RichMapFunction() { @Override public String map(String value) throws Exception { return value; } @Override public void open(Configuration parameters) { File file =

Re: [PROGRESS UPDATE] [DISCUSS] Flink-Hive Integration and Catalogs

Thanks, Shaoxuan! I've sent a Chinese version to user-zh at the same time yesterday. >From feedbacks we received so far, supporting multiple older hive versions is definitely one of our focuses next. *More feedbacks are welcome from our community!* On Tue, Mar 19, 2019 at 8:44 PM Shaoxuan Wang

Re: Re: flink ha模式进程hang！！！

如果没有清理此前的 zk 数据的话，有可能是此前你把 high-availability.storageDir 配置成 /flink/ha/zookeeper，随后清理了 hdfs 但是 zk 上还有过期的 handler 的信息 Best, tison. Han Xiao 于2019年3月26日周二 上午9:33写道： > Hi，早上好，谢谢您的回复，以下是我的配置项及参数： > > flink-conf.yaml > common： > jobmanager.rpc.address: test10 > jobmanager.rpc.port: 6123 >

Re: flink疑问

split之后 做 select > 在 2019年3月26日，上午10:09，baiyg25...@hundsun.com 写道： > > 一个算子出来两个流好像不能吧。 > 要想实现你说的，可以先基于A流过滤生成要进行B算子的流，基于A流过滤生成要进行C算子的流。 > > > > baiyg25...@hundsun.com > > 发件人： IORI > 发送时间： 2019-03-26 09:46 > 收件人： user-zh > 主题： flink疑问 >

Re: Re: flink ha模式进程hang！！！

Hi，早上好，谢谢您的回复，以下是我的配置项及参数： flink-conf.yaml common： jobmanager.rpc.address: test10 jobmanager.rpc.port: 6123 jobmanager.heap.size: 1024m taskmanager.heap.size: 1024m taskmanager.numberOfTaskSlots: 2 parallelism.default: 2 taskmanager.tmp.dirs: /app/tools/flink-1.7.2/tmp High Availability：

????: flink????

?? ??AB??AC?? baiyg25...@hundsun.com IORI ?? 2019-03-26 09:46 user-zh ?? flink

回复: blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？

看一下这里，是不是你想要的。。。 http://fetching118.com/article/5.html 邓成刚【qq】 发件人： 陈韬 发送时间： 2019-03-26 08:20 收件人： user-zh 主题： blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？ blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？ 谢谢

答复: flink疑问

使用 Split 算子把流根据特定条件拆分成两个或者更多，然后在用select算子从拆分流中选择对应的拆分流做处理即可。 可以看看文档上，有介绍用法 https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/ 发件人: baiyg25...@hundsun.com 发送时间: 2019年3月26日 10:10 收件人: user-zh 主题: 回复: flink疑问 一个算子出来两个流好像不能吧。 要想实现你说的，可以先基于A流过滤生成要进行B算子的流，基于A流过滤生成要进行C算子的流。

Re: fw:Blink SQL报错

cc 姬平老师帮忙看下这个问题。 On Mon, 25 Mar 2019 at 19:23, bigdatayunzhongyan < bigdatayunzhong...@aliyun.com> wrote: > @Bowen @jark 有时间帮忙看下 > 谢谢！ > > *发件人：* bigdatayunzhongyan > *发送时间：* 2019-03-25 19:17:22 > *收件人：* user-zh-help > *主题：* Blink SQL报错 > Hi,all: > 问题详见附件： > 环境信息： > 环境

回复：blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？

你可以看看这份文档： https://files.alicdn.com/tpsservice/4824447b829149c86bedd19424d05915.pdf 在2019年03月26日 08:52，邓成刚【qq】 写道： 看一下这里，是不是你想要的。。。 http://fetching118.com/article/5.html 邓成刚【qq】 发件人： 陈韬 发送时间： 2019-03-26 08:20 收件人： user-zh 主题： blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？

Re: flink疑问

split 吴志新高级Java开发 商业计算部http://pic.mmkj.site/360.jpg; width="180" height="25">中国 北京 朝阳区农展馆南路13号 瑞辰国际中心8层8F, Ruichen Int'l Center, No. 13, Nongzhanguan South Rd, Chaoyang District, Beijing, China M /手机 E / 邮箱 H /

Re: flink疑问

大家都好热情啊~ @IORI，这个问题取决于你是要把一个流复制成两个流分别套用不用的处理逻辑呢，还是说是要把数据根据一定的规则分开成两个流。 如果是复制的话，用@邓成刚 的方法就可以 如果是要进行数据分割的话，那用split或者sideoutput都行 Best, Kurt On Tue, Mar 26, 2019 at 10:45 AM Yun Chen wrote: > split官方好像是不建议使用了，建议使用 Side Outputs > > >

flink????

ABsink,Creducesinkoperator

????: ????: flink????

DataStream ds = DataStream ds1 = ??ds ?? B ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2SINK DataStream ds2 = ??ds ?? C ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2 ?0?2SINK

回复: flink疑问

split官方好像是不建议使用了，建议使用 Side Outputs https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/side_output.html 下面是示例参考 val xOutputTag = OutputTag[String]("xx-side-output") val xxOutputTag = OutputTag[String]("xx-side-output") val xxx = xxx.process(new ProcessFunction[String,

blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？

blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？ 谢谢

Re: Re: flink ha模式进程hang！！！

是不是跟这个访问控制有关？ high-availability.zookeeper.client.acl: open baiyg25...@hundsun.com 发件人： Han Xiao 发送时间： 2019-03-26 09:33 收件人： user-zh@flink.apache.org 主题： Re: Re: flink ha模式进程hang！！！ Hi，早上好，谢谢您的回复，以下是我的配置项及参数： flink-conf.yaml common： jobmanager.rpc.address: test10 jobmanager.rpc.port: 6123

blink开源版本维表关联时开启缓存方式

我在ppt里面看到这些内容，但是在开源的blink里面没有找到相关的配置，请问各位老师应该如何开启缓存策略？ [cid:image001.png@01D4E4BC.02091040] 发送自 Windows 10 版邮件应用

Re: RocksDB中指定nameNode 的高可用

Hi, HDFS 本身可以解决该问题，可以搜一下 “HDFS HA nameservice”，可以避免写死 name node 地址 Yun Tang 于2019年3月26日周二 下午5:29写道： > Hi > > Flink高可用相关配置的存储目录，当存储路径配置成HDFS时，相关namenode高可用性由HDFS支持，对上层完全透明。 > > 祝好 > 唐云 > > From: 戴嘉诚 > Sent: Tuesday, March 26, 2019 16:57 > To:

?????? flink savepoints ?? checkpoints??????

flink??flink??kafka??kafka??flink??kafkaconsumer ??kafkaproducer??flink??kafka offset??group.id??group.idkafka??api

回复: 实现 UpsertStreamTableSink, BatchTableSink 接口代码

这里面决定 update 或 delete 的 Boolean型值 怎么赋？ 这里的  Boolean 值 是流类型决定，如果流是APPEND，则为true, update,为false，你直接打印流会有这个字段 不知道我的理解是否正确，期待大佬解答。。。 邓成刚【qq】   发件人： baiyg25...@hundsun.com 发送时间： 2019-03-26 18:02 收件人： user-zh 主题： 实现 UpsertStreamTableSink, BatchTableSink 接口代码 大家好！         伙伴们，附件有实现 blink 中

blink消费kafka出现诡异的情况，困扰很久了，哪位大佬知道怎么回事

HI,各位大佬：       发现一个很诡异的问题：使用SQL API时，在窗口上group by，JOB 5分钟后会timeout，但如果改成select * 就能正常消费kafka。。。 说明：本地模式和提交JOB均存在此异常 相关信息： blink 1.5.1 kafka 1.1.1 flink-connector-kafka-0.11_2.11-1.5.1-sql-jar.jar 消费正常的code: String sql = "select * from table1" Table sip_distinct_event_id = tableEnv.sqlQuery(

如何实现 UpsertStreamTableSink , BatchTableSink 接口

大家好！ 有没有伙伴对 blink 中 flink-table 模块下的 UpsertStreamTableSink , BatchTableSink 这两个接口比较熟悉？或者对TableSink这块处理原理比较熟悉？我想实现这两个接口，以实现JDBC更新功能，自己看源码只能看懂表面，希望熟悉的伙伴能给些指导。。。 baiyg25...@hundsun.com

RocksDB中指定nameNode 的高可用

　　嘿，我想询问一下，flink中的RocksDB位置  我指定了hdfs路径，但是，这里是强指定nameNode的地址，但是我的hdfs是有个两个nameNode地址的，这里能否有个功能，当active nameNode挂掉了，类似hdfs的HA那样，能无缝切换nameNode地址吗？不然，当nameNode挂掉了， 我指定的flink也会一并挂掉

Re: Re: flink ha模式进程hang！！！

这个问题早上的时候已经解决，就是因为zk中有残余的失败jobGraph，删除即可恢复群集。 真的非常谢谢您，以后还要多和您请教学习。 Thank you for your reply！ 发件人： Zili Chen 发送时间： 2019-03-26 09:46 收件人： user-zh@flink.apache.org 主题： Re: Re: flink ha模式进程hang！！！ 如果没有清理此前的 zk 数据的话，有可能是此前你把 high-availability.storageDir 配置成 /flink/ha/zookeeper，随后清理了 hdfs 但是 zk

Re: Re: flink ha模式进程hang！！！

非常谢谢您的解答，这个问题是zk中有失败任务的jobGraph，导致每次启动群集就会去检索，删除zk中残余后重启即可解决。 Thank you for your reply！ 发件人： baiyg25...@hundsun.com 发送时间： 2019-03-26 09:40 收件人： user-zh 主题： Re: Re: flink ha模式进程hang！！！ 是不是跟这个访问控制有关？ high-availability.zookeeper.client.acl: open baiyg25...@hundsun.com 发件人： Han Xiao 发送时间：

re:回复：fw:Blink SQL报错

收到，感谢姬平老师的专业解答。 谢谢各位！ 发件人： 胥平勇(姬平) 发送时间： 2019-03-26 15:01:15 收件人：  bigdatayunzhongyan 抄送：  user-zh; Bowen Li 主题： 回复：fw:Blink SQL报错 Hi bigdatayunzhongyan： 1. SQL语法不支持： 这个可以参照代码里面TpcDsBatchExecPlanTest的单测，我们使用的sql query也都放在了工程里。看看是不是有些query的语法有些区别。 2. 执行方式： 我们自己benchmark的时候采用的是依赖tableEnv 

Re: RocksDB中指定nameNode 的高可用

Hi Flink高可用相关配置的存储目录，当存储路径配置成HDFS时，相关namenode高可用性由HDFS支持，对上层完全透明。 祝好 唐云 From: 戴嘉诚 Sent: Tuesday, March 26, 2019 16:57 To: user-zh@flink.apache.org Subject: RocksDB中指定nameNode 的高可用 　　嘿，我想询问一下，flink中的RocksDB位置

实现 UpsertStreamTableSink, BatchTableSink 接口代码

大家好！ 伙伴们，附件有实现 blink 中 flink-table 模块 UpsertStreamTableSink, BatchTableSink 接口代码 ，自实现类放在 flink-jdbc 模块 org.apache.flink.api.java.io.jdbc 包下。大神们帮忙看看呗！ 江湖救急啊！ 目前实现后，在代码中调用，报异常： Exception in thread "main" org.apache.flink.table.api.TableException: Arity [4] of result

Re: 回复: 实现 UpsertStreamTableSink, BatchTableSink 接口代码

不好意思，我理解错了，更正一下： APPEND 流是没有这个字段的，只有更新流才有，true 表示 APPEND ，false 表示 update，这个值应该是流发出数据时自己带的，不是人为赋值的。。。   发件人： 邓成刚【qq】 发送时间： 2019-03-26 18:27 收件人： user-zh 主题： 回复: 实现 UpsertStreamTableSink, BatchTableSink 接口代码 这里面决定 update 或 delete 的 Boolean型值 怎么赋？   这里的  Boolean 值 是流类型决定，如果流是APPEND，则为true,

增加 JDBC Sink 更新策略接口

大家好！ 可爱的flink贡献者，能不能增加个JDBC Sink 更新策略接口？目前只有增量插入，实际中对更新需求还是非常普遍的，目前要想支持更新，只能自己修改源码增加，这样感觉不是很友好。棒棒的贡献者，期待JDBC Sink 更新策略接口的出现。 基于flink工作的伙伴们，如果有谁实现了JDBC Sink 更新策略接口，希望能分享下代码，感谢！ baiyg25...@hundsun.com

mail list test

mail list test

Re: blink sql中如何清除state中的数据

B 可以带上一个 delete 的标记, join 之后用 where 过滤掉 492341344 于2019年3月25日周一 上午9:23写道： > 我觉得应该不行，原因有两点：1.淘汰时间设置多少不确定。2.会淘汰其他没有被delete的数据,但是这些数据很久没更新过。 > -- 原始邮件 -- > 发件人: "greemqqran"; > 发送时间: 2019年3月23日(星期六) 上午8:53 > 收件人: "492341344"; > 抄送: "user-zh"; > 主题: 回复: blink

?????? blink sql??????????state????????

1.2.delete??,?? -- -- ??: "greemqqran"; : 2019??3??23??(??) 8:53 ??: "492341344"; : "user-zh"; : : blink

Re: flink ha模式进程hang！！！

能提供你的 ha 配置吗？特别是 high-availability.storageDir，我怀疑是不是没有配置这个啊 Best, tison. Han Xiao 于2019年3月25日周一 下午7:26写道： > 各位朋友大家好，我是flink初学者，部署flink ha的过程中出现一些问题，麻烦大家帮忙看下； > 启动flink ha后，jobmanager进程直接hang，使用的flink 1.7.2版本，下面log中有一处出现此错误 File does > not exist:

flink-question is about two streams(from kafka) union all then distinct

Hi, everyone. I have a question. I would like to ask you a question.   Problem Description:      I have two tables (streams from kafka),Both tables define rowTime attributes in EVENTTIME        table1(EVENTTIME,NEW_EVENT_ID,F4,F6)      table2(EVENTTIME,NEW_EVENT_ID,F2,F3)    now,I would like to

fw:Blink SQL报错

@Bowen @jark 有时间帮忙看下 谢谢！ 发件人： bigdatayunzhongyan 发送时间： 2019-03-25 19:17:22 收件人：  user-zh-help 主题： Blink SQL报错 Hi,all:         问题详见附件： 环境信息：         环境 hadoop2.7.2 blink hive1.2.1         参数 ./bin/yarn-session.sh -n 50 -s 2 -jm 3072 -tm 4096 -d ./bin/sql-client.sh embedded -s application_      

关于sql优化规则问题

HI,flink SQL API，能不能指定应用哪些sql优化规则，我发现，双流在WINDOWS 下去重，再关联之前的流的场景下，优化规则10多分钟都跑不完（通过jstack 查看），最后OOM了，之前澄水帮我看了下，调整了参数  export JVM_ARGS='-Xss8m' 还是没有用，建议 注释掉 FilterSetOpTransposeRule和ProjectSetOpTransposeRule。。。

Re: 增加 JDBC Sink 更新策略接口

我的做法是，在MysqlSink中，使用replace into，然后根据数据会根据唯一键，自己考虑新增还是更新。 希望能对你有点价值吧 > 在 2019年3月25日，下午3:58，baiyg25...@hundsun.com 写道： > > 大家好！ > >可爱的flink贡献者，能不能增加个JDBC Sink > 更新策略接口？目前只有增量插入，实际中对更新需求还是非常普遍的，目前要想支持更新，只能自己修改源码增加，这样感觉不是很友好。棒棒的贡献者，期待JDBC > Sink 更新策略接口的出现。 > >基于flink工作的伙伴们，如果有谁实现了JDBC

flink- question about tables union all

HI,all,         Ask a question, the number of fields in each table is not the same, but some fields are the same. In the case of union all distinct after selecting the same field, how can we ensure that the data of multiple tables are in the same time range? Based on EVENTTIME, thank you!    

回复: blink sql中如何清除state中的数据

用时间淘汰可行不？ 发自vivo智能手机 > 你好，实时数仓中A,B两个表join,如果A是一条带有delete操作的数据过来，与B表中的某条数据能join上， > 请问怎么把A表中state存的那条数据清除掉，不清除的话，如果B表中来一条数据就能跟A那条delete的数据 > join上，我想要的是不能join上。

flink on yarn ???? ????????

env.enableCheckpointing(5000); ??yarn ??job 1.?? 2.hdfs??

Re: flink on yarn 模式 日志问题

Hi, 首先，Flink 框架的日志应该不多，不知道具体涉及到 checkpoint 的是哪些 log 呢？(建议以后提问给出尽可能详细的信息，例如使用版本和 log 文件) 1. log 是通过 log4j/logback 等第三方系统控制，conf 文件夹中有相应配置文件，可以调整整体或单个 logger 的 level，建议查阅相关系统资料 2. Flink on YARN 模式下，一般访问 log 是通过 Flink web UI 跳转查看。如果坚持想找到具体 log 文件，Application 结束前在本地文件，可通过 container 进程启动命令看到具体 log

flink on yarn ????????????

flink on yarn ha ??flink1.7.2??hadoop2.8.5 ??5??flinkCPU48G flink?? jobmanager.heap.size: 2048m taskmanager.heap.size: 2048m taskmanager.numberOfTaskSlots: 4 run a job on flink

?????? flink on yarn ???? ????????

?? flink1.7.2??hadoop??2.8.5,flink on yarn ha?? run a job on yarn 1.env.enableCheckpointing(5000); 2019-04-04 13:23:50,176 INFO

请教关于Keyed() 方法的问题。

大家好， 先说本人的理解，keyed(..).flatmap(mapFunc()) 其中，每个具体mapFunc处理的数据，应该是相同的key数据。不知理解是否正确。 我的具体情况是 我对数据对校验处理。首先根据设备id (uuid) 分组，然后针对不同分组进行数据校验。 部分代码如下： rowData.filter(legalData _) .map(data => BehaviorComVO(getText(data, "id"), getText(data, "uuid"), getText(data, "session_id"), getText(data,

flink on yarn ha ??????????

flink on yarn ha?? state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints??namenode?? namenode??hostname,namenode,standby,flinkcheckpointactive hadoop

??????flink-connector-redis??????

redis?? -- -- ??: "??"<15957136...@163.com>; : 2019??4??1??(??) 8:22 ??: "user-zh"; : flink-connector-redis?? ??flink ??redis connectorsink?? ??Expire

回复: HA切换

Hi，wuzhixin： 尝试改一下flink-conf.yaml 这个配置： jobmanager.execution.failover-strategy: individual 来自 Outlook 发件人: wuzhixin 发送时间: 2019年4月1日 16:37 收件人: user-zh@flink.apache.org 主题: HA切换 Hi all：

Re: flink on yarn ha 高可用问题

hdfs ha mode 下配置 logical name ( https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html ) flink 中访问配置的 hdfs logical name (同时需要确保 flink task 运行环境 hdfs-client 中也包含了 hdfs ha 配置的 hdfs logical name 和实际指向的 namedone 映射关系) 天之痕 <575209...@qq.com>

Re: Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

感谢大家的回复！下一步我会整理好各位的反馈并转达给我们的团队。 同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 [image: image.png] On Wed, Mar 20, 2019 at 8:39 AM ChangTong He wrote: > >- *各位在使用哪个版本的Hive？有计划升级Hive吗？* > > 目前我维护的两套批处理系统分别是CDH5.10.0 > >

Re: Re:[进度更新] [讨论] Flink 对 Hive 的兼容 和 Catalogs

感谢 博闻的回复，由于邮件中不能添加图片。这个钉钉图片显示出来是broken的。我将钉钉二维码图片转换成百度图库的链接地址了，链接如下： https://graph.baidu.com/resource/1021841c75097798b444301553925752.jpg 欢迎各位加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 前进 Bowen Li 于2019年3月30日周六 下午1:14写道： > 感谢大家的回复！下一步我会整理好各位的反馈并转达给我们的团队。 > > 同时欢迎加入 Flink-Hive 官方用户钉钉群讨论和反馈问题 > [image:

Re: Flink Job 监控

Hi, 可以了解下 RESTful API https://ci.apache.org/projects/flink/flink-docs-release-1.7/monitoring/rest_api.html cheng 于2019年3月28日周四 下午5:08写道： > 我们目前是用standalone 模式部署的集群，请问这个job state 有关于job是否挂掉或者重启的指标？我看官方文档好像没找到。 > > > 在 2019年3月28日，下午4:51，浪人 <1543332...@qq.com> 写道： > > > >

??????????????Flink????

Flink???(Flinkjarweb??)

问下大家，有做好的blink的docker image镜像吗？能够共享下坐标或者dockerfile，谢谢

问下大家，有做好的blink的docker image镜像吗？能够共享下坐标或者dockerfile，谢谢

【问题】inputqueueLength/inputqueueLength一直和并行度一样？怎么降低这个值

??????????Blink ????kafka??????????

-- -- ??: "qq??"; : 2019??3??28??(??) 5:02 ??: "user-zh"; : Blink kafka?? ??Blink kafka 30

?????? Flink Job ????

?? flink ui job ?? job ?? -- -- ??: "cheng"; : 2019??3??28??(??) 5:08 ??: "user-zh"; : Re: Flink Job standalone job state

??????Flink Job ????

job created??running??cancelling??canceled??failed??RESTARTING job -- -- ??: "cheng"; : 2019??3??28??(??) 4:38 ??: "user-zh"; : Flink Job

Re: 远程提交代码到Flink集群

Flink的ClassLoader就是普通的URLClassLoader，只是加载顺序是ChildFirst。 不建议你用直接更新classes文件去解决版本更新问题，因为你可能用了很大的力气去解决一个伪需求。 可以用脚本通过Flink提供的rest 接口来实现jar包上传等动作，甚至可以将CI和部署结合起来。 我曾今做过类似的事情，你可以参考下： https://blog.csdn.net/xianzhen376/article/details/88529527 On 2019/03/28 13:06:41, "文报" <1...@qq.com> wrote: > 各位好！> >

Re: blink消费kafka出现诡异的情况，困扰很久了，哪位大佬知道怎么回事

通过测试发现，不是sql 脚本的问题，是并行度的问题，30个并行度不行，改成5就OK了。。。 env.setParallelism(5);   发件人： 邓成刚【qq】 发送时间： 2019-03-26 18:17 收件人： user-zh 主题： blink消费kafka出现诡异的情况，困扰很久了，哪位大佬知道怎么回事 HI,各位大佬：       发现一个很诡异的问题：使用SQL API时，在窗口上group by，JOB 5分钟后会timeout，但如果改成select * 就能正常消费kafka。。。 说明：本地模式和提交JOB均存在此异常 相关信息： blink 1.5.1

Flink Job 监控

各位好！ 请教下各位，Flink Job 在生产上运行时，关于job运行状态的监控和告警一般是采用什么方案处理的？ 比如监控job是否在正常运行，如果发现job 挂掉了 或者重启了 就进行告警。我这边有将一些metric 推到prometheus 但是好像没有发现关于job是否挂掉的metric。 希望有做过这种方案的朋友能赐教下，谢谢了！！

Flink Job 监控

各位好！ 请教下各位，Flink Job 在生产上运行时，关于job运行状态的监控和告警一般是采用什么方案处理的？ 比如监控job是否在正常运行，如果发现job 挂掉了 或者重启了 就进行告警。我这边有将一些metric 推到prometheus 但是好像没有发现关于job是否挂掉的metric。 希望有做过这种方案的朋友能赐教下，谢谢了！！

??????Flink Job ????

??flinkclusterflink??job state,??yarn??yarn -- -- ??: "cheng"; : 2019??3??28??(??) 4:38 ??: "user-zh"; : Flink Job Flink Job

Re: Flink Job 监控

我们目前是用standalone 模式部署的集群，请问这个job state 有关于job是否挂掉或者重启的指标？我看官方文档好像没找到。 > 在 2019年3月28日，下午4:51，浪人 <1543332...@qq.com> 写道： > > 如果是使用flink集成cluster可以监控flink的job state,如果是yarn是超脱模式可以监控yarn的状态。 > > > > > -- 原始邮件 -- > 发件人: "cheng"; > 发送时间: 2019年3月28日(星期四) 下午4:38 >

关于Blink 消费kafka并行度问题

请教一下，Blink 消费kafka数据时，把并行度设置 30 ，就会出现Timeout，JOB跑不起来，应该是没有消费到数据，把并行度调 到 5就没问题，另外，JOB用到4个TOPic,每个30个PARTITION，但是把这同样JOB提交给FLINK 设置 30 并行度 就可以跑起来，有哪位大佬知道什么情况吗？

Re: 远程提交代码到Flink集群

有一个小巧的go cli, 支持直接部署jar包到flink manager上。 https://github.com/ing-bank/flink-deployer 希望能帮到你！ Kaibo Zhou 于2019年3月29日周五 上午11:08写道： > 可以用 flink 提供的 Restful API 接口，upload 上传 jar 包然后 run。 > > 参考： > > https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jars-upload > 和

Re: blink开源版本维表关联时开启缓存方式

Hi, Blink开源的时候把Cache的实现暂时拿掉了，你可以根据自己的需要自己实现一个cache。 Best, Kurt On Wed, Mar 27, 2019 at 4:44 PM 苏 欣 wrote: > 我在ppt里面看到这些内容，但是在开源的blink里面没有找到相关的配置，请问各位老师应该如何开启缓存策略？ > > > > 发送自 Windows 10 版邮件 应用 > > >

请教一下Blink资源分配问题

请教一下Blink资源分配问题： blink 任务并行度设置 20  提示0个满足：Batch request 40 slots, but only 0 are fulfilled. 调整到 3 并行度 提示：Batch request 6 slots, but only 4 are fulfilled.， 但是我的TASK SLOTS有配 48，没有其它任务， 按理説没有资源问题啊,集群配置情况： 其它的都是默认配置： taskmanager.numberOfTaskSlots: 24 jobmanager.heap.size: 20480m # The heap size

Re: 远程提交代码到Flink集群

可以用 flink 提供的 Restful API 接口，upload 上传 jar 包然后 run。 参考： https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#jars-upload 和 https://files.alicdn.com/tpsservice/a8d224d6a3b8b82d03aa84e370c008cc.pdf 文档的介绍 文报 <1010467...@qq.com> 于2019年3月28日周四 下午9:06写道： > 各位好！ > > >

?????? ??????????????Flink????

-- -- ??: "Lifei Chen"; : 2019??3??29??(??) 11:10 ??: "user-zh"; : Re: ??Flink go cli, jarflink manager https://github.com/ing-bank/flink-deployer

答复: RocksDB中指定nameNode 的高可用

可以了，感谢指教。 发件人: Biao Liu 发送时间: 2019年3月27日 19:13 收件人: user-zh@flink.apache.org 主题: Re: RocksDB中指定nameNode 的高可用 Hi, HDFS 本身可以解决该问题，可以搜一下 “HDFS HA nameservice”，可以避免写死 name node 地址 Yun Tang 于2019年3月26日周二 下午5:29写道： > Hi > > Flink高可用相关配置的存储目录，当存储路径配置成HDFS时，相关namenode高可用性由HDFS支持，对上层完全透明。 > > 祝好 >

  1   2   3   4   5   6   7   8   9   10   >