Re: flink cep超时事件的问题

2020-10-29 文章 naisili Yuan
不知道理解错没有, 感觉你这个场景使用session windows能解决 sunfulin 于2020年10月30日周五 上午11:01写道: > hi,community, > 我最近有一个业务场景,需要基于消息流和具体的业务逻辑判断生成超时事件,考虑通过flink > cep来实现。不过在这个场景中,需要针对输入的消息,判断如果一个小时内没有匹配的数据到来,就需要把该事件输出。 > 目前的cep机制,应该需要下一个事件消息到来时才会输出事件。想请教下各位大神,针对这个诉求有没有啥好的方案。 > 感谢。

Re: Flink Kerberos认证问题

2020-10-14 文章 naisili Yuan
可以通过提交flink任务的客户端配置文件实现认证,具体配置可参考: https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#auth-with-external-systems caozhen 于2020年10月12日周一 下午6:05写道: > "认证的kafka是BBB.keytab" 这个是怎么设置的呢?是自己实现的kafkaSink嘛? > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: 关于local cluster的问题

2020-06-30 文章 naisili Yuan
不好意思没说清楚,跟提交任务没关系,只是执行start-cluster.sh后taskmanager就自动加一 发自我的iPhone > 在 2020年6月30日,18:54,"17610775...@163.com" <17610775...@163.com> 写道: > > hi > 你这个问题没有描述清楚啊 是提交一个任务jm就会自动启动一个? > > > > Best > JasonLee > > 发件人: naisili Yuan > 发送时间: 2020

关于local cluster的问题

2020-06-30 文章 naisili Yuan
Hi all 我这边有写一个java服务去自动拉起本地flink cluster(单机模式)用来调试使用。我是直接调用的bin/start-cluster.sh脚本。 现在问题是每次重新发布服务之后,发现这个启动的会话jobmanager会自动增加一个,导致slots总数越来越高。研究半天始终没找到原因,希望获得帮助! flink版本1.10.0

Re: flink sql能否显示地创造一列null行

2020-06-29 文章 naisili Yuan
谢谢各位 ,我也解锁新知识了。社区好热情啊,(●'◡'●) @Jingsong Li seeksst 于2020年6月30日周二 上午10:20写道: > @Jingsong Li 尝试了一下,cast确实可行,解锁新知识,thanks. > > > 原始邮件 > 发件人:lakeshenshenleifight...@gmail.com > 收件人:user-zhuser...@flink.apache.org > 发送时间:2020年6月30日(周二) 10:07 > 主题:Re: flink sql能否显示地创造一列null行 > > > 或者补齐一个非 Null

flink sql能否显示地创造一列null行

2020-06-29 文章 naisili Yuan
由于union的操作,结果集的列数必须一致,我能否加入这一列,语法如下: UNION SELECT NULL , aaa, bbb, NULL FROM ()

Re: flink sql字段重命名问题

2020-06-12 文章 naisili Yuan
感谢 发自我的iPhone > 在 2020年6月12日,21:08,godfrey he 写道: > > hi,如 benchao 所说,SELECT XX AS YY 和Table API的renameColumns等价。 > 而且这些名字仅用于sql解析和优化阶段,实际执行的时候不会使用字段名。 > > Best, > Godfrey > > Benchao Li 于2020年6月12日周五 下午6:36写道: > >> 直接用SELECT XX AS YY就等价于Table API的ren

flink sql字段重命名问题

2020-06-12 文章 naisili Yuan
Hi all 想请教下,flink使用sql的时候,字段重命名如何解决呢?看到了table api中的renameColumes接口,flink sql的没有看到明确的接口 我自己试了一下在创建表的sql语句中就加入name_alias AS name,发现可行,但是这样引入的字段,会不会影响效率,希望能获得解答,谢谢!

Re: 请教集群稳定性问题

2019-05-14 文章 naisili Yuan
解决了我的问题,非常感谢 liu_mingzhang 于2019年5月13日周一 上午9:48写道: > > > 你好,这个问题需要把javax.ws.rs-api-2.0.jar 对应版本的包放到$FLINK_HOME/lib下 > 在2019年5月12日 11:05,naisili Yuan 写道: > 好的,谢谢回复。 > 想问下,生产环境适合用standalone > cluster模式部署嘛,我感觉集群还是不稳定,10个job跑不了24小时就出问题,基本都是心跳丢失或者slot 被移除之类的问题。 > 但是我部署flink

Re: 请教集群稳定性问题

2019-05-11 文章 naisili Yuan
好的,谢谢回复。 想问下,生产环境适合用standalone cluster模式部署嘛,我感觉集群还是不稳定,10个job跑不了24小时就出问题,基本都是心跳丢失或者slot 被移除之类的问题。 但是我部署flink on yarn又出了问题,自己解决半天也出了问题,希望能得到帮助,我运行bin/yarn-session.sh -jm 1024m -tm 4096m -s 8报错: 2019-05-12 11:02:39,056 INFO org.apache.flink.configuration.GlobalConfiguration- Loading

请教集群稳定性问题

2019-05-09 文章 naisili Yuan
我的集群配置的是内存checkpoint,自动重启,但是经常跑了一晚上就自动重启,重启的原因日志是这样的: org.apache.flink.util.FlinkException: The assigned slot f6b9b4065386152879a01dfc7d396f42_1 was removed. at org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager.removeSlot(SlotManager.java:893) at

Re: taskmanager faild

2019-04-22 文章 naisili Yuan
you forgot to attache the screenshot. > > Thank you~ > > Xintong Song > > > > On Mon, Apr 22, 2019 at 10:53 AM naisili Yuan > wrote: > > > I use standalone cluster on flink, and i use zookeeper for the jobmanager > > HA. > > The Screenshot is my taskmanager procce