不好意思，之前没看到这个问题。
Darwin-amd64就是mac上的可执行文件格式。信任他，直接可以执行的。
-邮件原件-
发件人: 陈帅
发送时间: Saturday, December 7, 2019 10:48 PM
收件人: user-zh@flink.apache.org
主题: Re: 如果用flink sql持续查询过去30分钟登录网站的人数？
请问这个平台生成可执行文件creek是如何实现的？对应的Dawin-amd64环境下载下来的文件是什么格式的？
Yuan,Youjun 于2019年12月7日周六 下午8:32写道：
>
Also CC user-zh.
Best,
Jincheng
jincheng sun 于2019年12月19日周四 上午10:20写道：
> Hi folks,
>
> As release-1.10 is under feature-freeze(The stateless Python UDF is
> already supported), it is time for us to plan the features of PyFlink for
> the next release.
>
> To make sure the features supported in
是配置了：keytab和principal两个配置吗
Leslie Yuen 于2019年12月19日 周四08:35写道：
>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现 写道：
> >
> > 各位好，
> >flink集群跨集群无法通过kerberos认证。
> >集群1：flink集群，无kerberos认证
> >
这个方法我试过，如果是在应用集群的flink配置好conf文件，flinkjob初始化以及checkpoint存储需要和本地的hdfs交互，这样也是会遇到问题。就是client是security，server（本地hdfs）是simple，这样也是会抛异常。
Leslie Yuen 于2019年12月19日 周四08:35写道：
>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现
遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
> 在 2019年12月18日，23:05，李现 写道：
>
> 各位好，
>flink集群跨集群无法通过kerberos认证。
>集群1：flink集群，无kerberos认证
>集群2：hadoop2.6.0集群，有kerberos认证
>
有例子吗？复杂点的是有一个控制窗口大小的控制流connect实现
王双利
发件人： 陈帅
发送时间： 2019-12-18 22:51
收件人： user-zh@flink.apache.org
主题： Re: flink如何动态修改窗口大小和类型？
现实中确实有这类需求，简单点的是元素本身带有窗口大小设置，复杂点的是有一个控制窗口大小的控制流connect实现。
LakeShen 于2019年12月18日周三 下午2:12写道：
> 使用自定义 Trigger 试试，在 Trigger 中自定义业务触发逻辑。
>
> 陈帅 于2019年12月14日周六
各位好，
flink集群跨集群无法通过kerberos认证。
集群1：flink集群，无kerberos认证
集群2：hadoop2.6.0集群，有kerberos认证
集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
现在没有什么思路，希望有经验的朋友提点下，不胜感激。
现实中确实有这类需求，简单点的是元素本身带有窗口大小设置，复杂点的是有一个控制窗口大小的控制流connect实现。
LakeShen 于2019年12月18日周三 下午2:12写道：
> 使用自定义 Trigger 试试，在 Trigger 中自定义业务触发逻辑。
>
> 陈帅 于2019年12月14日周六 下午6:44写道：
>
> > flink目前支不支持动态修改窗口大小和类型呢？例如先是统计5分钟窗口，而后修改成统计10分钟窗口.
> >
>
谢谢回复，有了schema registry url为何还需要填subject和avroSchemaStr呢？
朱广彬 于2019年12月18日周三 上午10:30写道：
> Hi 陈帅，
>
> 目前社区确实不支持confluent schema registry的avro格式，我们内部也是依赖schema registry来做avro
> schema的管理，所以，我们改动了flink-avro 的源码来支持。
>
> 主要涉及到这些地方：
>
>
不是有 Dynamic gap 吗？
Best regards
Utopia
在 2019年12月18日 +0800 22:34，jingjing bai ，写道：
> 目前一个任务中，仅支持一种窗口。
> 动态修改本身应该是一个伪需求
> 如果你仅仅是为了方便快速开发，建议你用sql方式去开发，比如自己扩展sql client。
>
>
> LakeShen 于2019年12月18日周三 下午2:12写道：
>
> > 使用自定义 Trigger 试试，在 Trigger 中自定义业务触发逻辑。
> >
> > 陈帅 于2019年12月14日周六 下午6:44写道：
> >
>
目前一个任务中，仅支持一种窗口。
动态修改本身应该是一个伪需求
如果你仅仅是为了方便快速开发，建议你用sql方式去开发，比如自己扩展sql client。
LakeShen 于2019年12月18日周三 下午2:12写道：
> 使用自定义 Trigger 试试，在 Trigger 中自定义业务触发逻辑。
>
> 陈帅 于2019年12月14日周六 下午6:44写道：
>
> > flink目前支不支持动态修改窗口大小和类型呢？例如先是统计5分钟窗口，而后修改成统计10分钟窗口.
> >
>
- "TaskManager分配用于排序，hash表和缓存中间结果的内存位于JVM堆外" 这个是针对 batch (dataset /
blink sql) 作业的，我看你跑的应该是 streaming 作业，把 taskmanager.memory.off-heap 设成 true
只是单纯为了减小 jvm heap size，留出空间给 rocksdb。
- 有一个 flink-examples 的目录，里面有一些示例作业，不过主要是展示 api 用法的。部署、资源调优方面的示例暂时还没有。
- 另外，我在上一封邮件里描述的解决方案，是针对 flink
这个只能说明超时，具体原因要看taskmanager日志
On Mon, Dec 16, 2019 at 2:49 PM pengchenglin wrote:
> 各位：
>
> 大家好，在standalone的jobmanager节点的日志中看到的，这个153的taskmanager挂掉了，不知道是不是下面的报错导致的，有知道下面的Error是啥意思不
>
> 2019-12-15 17:15:21.999 [flink-metrics-379] ERROR akka.remote.Remoting
>
@tonysong...@gmail.com 感谢回复
看了下参数的含义，
taskmanager.memory.off-heap:
如果设置为true，TaskManager分配用于排序，hash表和缓存中间结果的内存位于JVM堆外。对于具有较大内存的设置，这可以提高在内存上执行的操作的效率(默认为false)。
JVM堆内使用的内存是受YARN限制的，JVM堆外不受YARN限制，如果这样确实能 说通现在我的问题，
已经修改并且在测试了，非常感谢tonysong...@gmail.com
kafka的exactly once是通过checkpoint机制保存消费位点来保证的，和event time没关系。在进入时间窗口前提取event
time和设定watermark即可。
On Wed, Dec 18, 2019 at 4:12 PM 猫猫 <16770...@qq.com> wrote:
> 图片不能粘贴，放到github上面了。
> https://github.com/maobuji/Blog/blob/master/image/changeEventTime.jpg
>
>
>
>
>
??github
https://github.com/maobuji/Blog/blob/master/image/changeEventTime.jpg
----
??:""<16770...@qq.com;
:2019??12??18??(??) 4:03
??:"user-zh"
??kafka??event-time??
??kafka
??flatmap??event-time
17 matches
Mail list logo
