Re: Flink 中类似 Struct 的数据结构

Hi huangjia 看起来是真的没有，我看看 1.9 的 Struct 实现版本 orc/parquet/avro 都有 struct 啊 感谢 On Mon, Jul 1, 2019 at 5:36 PM yelun <986463...@qq.com> wrote: > > > > 在 2019年7月1日，下午4:20，Luan Cooper 写道： > > > > 补充 > > 标题纠正：Flink SQL 中类似 Struct 的数据结构 > > > > On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper wrote: > > >

Re: flink tasks在taskmanager上分布不均衡

你好， 社区此前已经发现你所遇到的问题了，会在后续版本中修复，目前规划的是在1.7.3, 1.8.2, 1.9.0几个版本中修复。详情可以参考： https://issues.apache.org/jira/browse/FLINK-12122 Thank you~ Xintong Song On Tue, Jul 2, 2019 at 11:27 AM Ever <439674...@qq.com> wrote: > 我们测试环境的flink集群(flink 1.8)，taskmanager有3个，每个有10个slot。 > > 然后我有一个job，

flink tasks??taskmanager????????????

??flink(flink 1.8)??taskmanager??3??10??slot?? job?? ??3taskmanager??slot??(??taskmanager??slot?? cpu). job??tasktaskmanager??

Re: Flink的Slot是如何做到平均划分TM内存的？

Hi 徐涛， Flink并不能保证TM的资源是严格平分给所有slot的。正如你所言，JVM中不同线程的资源并无严格隔离。所谓的平均划分更多的是调度上的考虑，可以理解为在调度时认为一个slot的资源相当于TM资源的1/n （n为slot数）。 有一个特例，对于DataSet作业使用到的managed memory，Flink目前是保证了TM的managed memory平均划分给所有slot的。Managed memory由TM上的MemoryManager管理，task在运行期间向MemoryManager申请内存，因此可以控制每个slot中task申请的内存上限。 Thank

Re: Flink 中类似 Struct 的数据结构

> 在 2019年7月1日，下午4:20，Luan Cooper 写道： > > 补充 > 标题纠正：Flink SQL 中类似 Struct 的数据结构 > > On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper wrote: > >> Hi >> >> 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL >> 需要把某一些列，持久化为 Hive Struct 类型 >> 但是发现 Flink Data Type

回复： Flink 中类似 Struct 的数据结构

同问 ： 这个类型如果不存在，可以使用自定义的TypeInformation。 | | huangjia | | 15928798...@163.com | 签名由网易邮箱大师定制 在2019年7月1日 16:20，Luan Cooper 写道： 补充 标题纠正：Flink SQL 中类似 Struct 的数据结构 On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper wrote: Hi 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL 需要把某一些列，持久化为 Hive

Re: Flink 1.9 进度跟踪方法

好的 感谢～ On Mon, Jul 1, 2019 at 4:31 PM Yun Tang wrote: > hi Luan > > 你可以在 Flink的邮件列表里面去追踪 > http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-for-Apache-Flink-1-9-0-td28701.html > ，据我所知，在JIRA上似乎没有一个总览的issue去追踪进度。 > > 祝好 > 唐云 > >

Re: Flink 1.9 进度跟踪方法

hi Luan 你可以在 Flink的邮件列表里面去追踪 http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Features-for-Apache-Flink-1-9-0-td28701.html，据我所知，在JIRA上似乎没有一个总览的issue去追踪进度。 祝好 唐云 From: Luan Cooper Sent: Monday, July 1, 2019 16:17 To:

Re: Flink 中类似 Struct 的数据结构

补充 标题纠正：Flink SQL 中类似 Struct 的数据结构 On Mon, Jul 1, 2019 at 4:00 PM Luan Cooper wrote: > Hi > > 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL > 需要把某一些列，持久化为 Hive Struct 类型 > 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？ > > 感谢 >

Flink 1.9 进度跟踪方法

Hi 我看了 Flink 1.9 特性介绍，想用到现有流计算项目中 但是我找了官方 Apache eJIRA Issue 没有找到 1.9 Feature List 对应的 JIRA Ticket 比如有一个 Flink 1.9 的 Issue，里面有所有 1.9 计划中的 Feature List 同时子 issue 中有 feature 的进度 请问有这样的 Release 跟踪 Issue 吗？ 感谢

Flink 中类似 Struct 的数据结构

Hi 我在做 from Kafka to Hive by Flink 的数据持久化操作，操作方式是 Flink SQL 需要把某一些列，持久化为 Hive Struct 类型 但是发现 Flink Data Type 中没有对应的数据类型，想在社区确认下这个情况是这样的吗？有相关的 JIRA Issue 可以关注吗？ 感谢