input
.keyBy()
.timeWindow()
.reduce(new MyReduceFunction(), new MyProcessWindowFunction());
可以看一下官网的 reduce 用法, 可以在数据进入窗口的时候进行处理(排序), 而没必要等到 window 结束后再进行 这样可以把时间分散到
window 里面
这个命令会把 flink-dist 提交到 hdfs 上的
赵一旦 于2020年8月19日周三 下午10:10写道：
> 没太懂，yarn部分没自己部署过，yarn集群部署好（假设5台机器），那么这5台机器上不部署任何flink相关dist包就可以嘛。
>
> 比如我从额外一台机器6作为提交任务的机器，向yarn集群提交flink任务。但是我的jar也只包含用户jar呀，yarn容器中运行的jobmanager/taskmanager等进程使用的flink的dist包从哪来呢？
>
>
> 徐骁 于2020年8月19日周三 下午7:58写道：
&
flink yarn 有个 job 发布方式,
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn
提交包就行了, 会自动拉起 Flink 集群运行任务, 任务结束集群自动销毁
赵一旦 于2020年8月19日周三 下午5:54写道：
> 如题，我直接5机器部署yarn集群，上边未部署flink。
> 能否直接提交flink任务到该集群呢？
>
无脑上 Yarn 啊
引领 于2020年8月19日周三 上午10:57写道：
>
>
>
> 这段时间开始引入flink在生产环境，主要想将sql用起来，有木有大佬推荐一下，在生产环境下，用yarn模式好还是standalone模式，我们spark等大数据都是yarn来管理
> | |
> 引领
> |
> |
> yrx73...@163.com
> |
> 签名由网易邮箱大师定制
>
>
很早以前遇到这个问题, standalone 模式下 metaspace 释放不掉, 感觉是一个比较严重的 bug
https://issues.apache.org/jira/browse/FLINK-11205 这边有过讨论
SmileSmile 于2020年6月30日周二 下午11:45写道：
> 作业如果正常运行，堆外内存是足够的。在restart后才会出现频繁重启的情况，重构集群才能恢复正常
>
>
> | |
> a511955993
> |
> |
> 邮箱：a511955...@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
>
好的 感谢两位我试试
Sun.Zhu <17626017...@163.com> 于2020年6月25日周四 下午11:19写道：
> 虽然chain在一起，但是可以通过metrics中看出来各个算子的各项指标的
> | |
> Sun.Zhu
> |
> |
> 17626017...@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年06月25日 00:51，徐骁 写道：
> 两个方法确实可以, 但是要追踪起来很废时间, 对小白太不友好啊
>
两个方法确实可以, 但是要追踪起来很废时间, 对小白太不友好啊
平常经常遇到这个问题, 特来求助下, 平常任务基本都是共享 default slot 的, 所以在 web 上显示的是一整块,
当任务出现问题可以看到被压, 但是很难定位是里面的哪个 operator 出问题了
有没有什么方法能快速的定位出问题的 operator, 想问问大家平时怎么做的
珞感谢
Jark Wu 于2019年8月27日周二 下午6:49写道：
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/connect.html#kafka-connector
> <
> https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/connect.html#kafka-connector
> >
>
> > 在 2019年8月27
这部分有文档吗,看了好几圈没看到
hb <343122...@163.com> 于2019年8月26日周一 下午3:34写道：
> 感谢,解决了, 指定 'connector.version' = '0.11' 就可以了.
> Blink SQL这方面的官方资料和文档好少啊,开发容易遇到问题.
>
> 在 2019-08-26 14:26:15，"hb" <343122...@163.com> 写道：
> >kafka版本是 kafka_2.11-1.1.0,
> >支持的kafka版本有哪些
> >在 2019-08-26
10 matches
Mail list logo
