package com.guanyq.study.libraries.stateProcessorApi.FsStateBackend;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.api.common.typeinfo.TypeInfo
👍, zhisheng
我觉得支持ES鉴权在生产中是蛮有用的功能,nice to have,
如jinhai所说,可以先提个improvement的issue,在社区里讨论下(具体参数名,这些参数应该是可选的),讨论一致后开PR就可以了。
Best,
Leonard
> 在 2020年3月25日,13:51,jinhai wang 写道:
>
> 优秀!可以提个improve issue
>
>
> Best Regards
>
> jinhai...@gmail.com
>
>> 2020年3月25日 下午1:40,zhisheng 写道:
>>
>>
hi Kurt Young
hive??13??web ui
source??150source??
hi Jun Zhang
-- --
??: "Jun Zhang"
不是语法问题,我建表也没有问题,是查询报错。你有没有试查询数据或者数据写人文件表中
参考下这个文档:
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#kafka-connector
下面的语法应该是不支持的:
'format.type' = 'csv',\n" +
"'format.field-delimiter' = '|'\n"
下面是我可以跑通的代码, kafka 里的数据需要是这种格式:{"order_no":"abcdefg","stat
请确认一下 kafka connector 的jar包是否在 flink/lib 下。
目前的报错看起来是找不到kafka connector的jar包。
*Best Regards,*
*Zhenghua Gao*
On Wed, Mar 25, 2020 at 4:18 PM 赵峰 wrote:
> 不是语法问题,我建表也没有问题,是查询报错。你有没有试查询数据或者数据写人文件表中
>
>
>
>
> 参考下这个文档:
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/conn
请教一个问题:我使用的是Flink是1.10版本消费Kafka0.11版本,直接打印出来。Flink集群是standalong模式,页面监控上的received都是0,不知道怎么回事?
Hi Chief,
目前Hive connector读取数据是通过 InputFormatSourceFunction 来实现的。
InputFormatSourceFunction 的工作模式不是预分配的模式,而是每个source task向master请求split。
如果某些source task提前调度起来且读完了所有的split,后调度起来的source task就没有数据可读了。
你可以看看JM/TM日志,确认下是不是前十个调度起来的source task读完了所有的数据。
*Best Regards,*
*Zhenghua Gao*
On Wed, Mar 25, 20
hi Zhenghua Gao
??
-- --
??: "Zhenghua Gao"
hi 赵峰,
你出现的这个问题,是在classpath中找不到Kafka相关TableFactory,按照zhenghua说的方式可以解决。但是现在Flink
JDBC Driver只支持Batch模式,而Kafka table source目前只支持stream模式。
Best,
Godfrey
Zhenghua Gao 于2020年3月25日周三 下午4:26写道:
> 请确认一下 kafka connector 的jar包是否在 flink/lib 下。
> 目前的报错看起来是找不到kafka connector的jar包。
>
> *Best Regards,*
> *Zh
Hi Jark,
这里的确是有问题的。
目前的问题是Calcite本身并不支持TIMESTAMP WITH TIME ZONE.
*Best Regards,*
*Zhenghua Gao*
On Tue, Mar 24, 2020 at 11:00 PM Jark Wu wrote:
> Thanks for reporting this Weike.
>
> 首先,我觉得目前 Flink 返回 TIMESTAMP WITHOUT TIME ZONE 应该是有问题的。
> 因为 SQL 标准(SQL:2011 Part 2 Section 6.32)定义了返回类型是 WITH
我们先改成 timestamp with local zone,如果这个字段的类型在整个query里都没变过,那个 with time
zone的效果也差不多了。
Best,
Kurt
On Wed, Mar 25, 2020 at 8:43 PM Zhenghua Gao wrote:
> Hi Jark,
>
> 这里的确是有问题的。
> 目前的问题是Calcite本身并不支持TIMESTAMP WITH TIME ZONE.
>
> *Best Regards,*
> *Zhenghua Gao*
>
>
> On Tue, Mar 24, 2020 at 11:00 PM
大家好:
有一个类似的sql 拿官网的这个做示例:INSERT OVERWRITE myparttable SELECT 'Tom', 25, 'type_1',
'2019-08-08’;
如果实际上第三个type字段,某一种type数据量特别大,导致了数据倾斜,这种情况一般怎么处理呢?
谢谢。
顺便说一下,目前 localtimestamp 的实现看起来是没有问题的。@Dong 你可以先用 localtimestamp 。
在标准里面,以及一些常见数据库中(如 postgres[1], oracle[2]),localtimestamp 是 without time
zone 的实现,
其值是 session zone 看到的值,等于 cast(current_timestamp as timestamp without time
zone)。
所以目前 localtimestamp 的实现应该是没有问题的。
举个例子,理论上,这两个函数的行为应该如下:
> SET time
Hi,
就像Zhenghua所说,各个tasks是去抢split的,而不是平均分配,所以一旦后面的tasks没有调度起来,前面的tasks会把split抢光的。
但是少slots多并发的场景并不少见,前面tasks读取太多数据可能会让性能/容错都不友好。所以我们也需要引入平均分配的策略。创建了个JIRA
[1], FYI.
[1]https://issues.apache.org/jira/browse/FLINK-16787
Best,
Jingsong Lee
On Wed, Mar 25, 2020 at 6:25 PM Chief wrote:
> hi Zhenghu
15 matches
Mail list logo