Re: flink 侧输出流类型转换问题

2021-04-30 文章 张锴
Date是case class ,我后面加了tostring()就好了 lp <973182...@qq.com> 于2021年4月30日周五 下午5:28写道: > val outputTagDate = OutputTag[String]("Date-side-output") > 你的outputtag定义的泛型是string > > ctx.output(outputTagDate,Date(first_retain,noob_endtime,noob_first_endtime)) > 这个Date是个什么函数,返回的是string类型么 > > > > -- > Sent

Re: flink 侧输出流类型转换问题

2021-04-30 文章 lp
val outputTagDate = OutputTag[String]("Date-side-output") 你的outputtag定义的泛型是string ctx.output(outputTagDate,Date(first_retain,noob_endtime,noob_first_endtime)) 这个Date是个什么函数,返回的是string类型么 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink watermark 合并策略机制

2021-04-30 文章 张锴
flink 版本1.12.2,在看官方文档介绍watermark时,看到一句话 *标题是:单调递增时间戳分配器* 注意:在 Flink 应用程序中,如果是并行数据源,则只要求并行数据源中的每个*单分区数据源任务*时间戳递增。例如,设置每一个并行数据源实例都只读取一个 Kafka 分区,则时间戳只需在每个 Kafka 分区内递增即可。Flink 的 watermark 合并机制会在并行数据流进行分发(shuffle)、联合(union)、连接(connect)或合并(merge)时生成正确的 watermark。 请问一下报红的部分在官方文档哪里描述了,我没有找到,有人能给指一下吗?

Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-30 文章 张锴
我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题 Rui Li 于2021年4月30日周五 下午4:51写道: > 你好, > > 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么? > > On Thu, Apr 29, 2021 at 1:35 PM 张锴 wrote: > > > 我这里生产的hive没有配置Kerberos认证 > > > > 张锴 于2021年4月29日周四 上午10:05写道: > > > > > 官网有说吗,你在哪里找到的呢 > > > > >

Flink SQL问题请教:Flink SQL中支持在一个TableEnvionment中多个DML语句提交时共用一个Yarn任务来运行吗?

2021-04-30 文章 yinghua...@163.com
yinghua...@163.com

flink Kafka producer执行出错

2021-04-30 文章 tanggen...@163.com
我在flink处理消费kafka的一个topic,将迟到数据通过侧流发送到一个新的topic,基本上是一直报这个错,每次提交checkpoint时都会报这个错,然后就会重启 还请指导一下,需要做些其它的设置吗 2021-04-30 17:00:51 org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: Producer attempted an operation with an old epoch. Either there is a newer

Re: Fwd: flink1.12.2 CLI连接hive出现异常

2021-04-30 文章 Rui Li
你好, 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么? On Thu, Apr 29, 2021 at 1:35 PM 张锴 wrote: > 我这里生产的hive没有配置Kerberos认证 > > 张锴 于2021年4月29日周四 上午10:05写道: > > > 官网有说吗,你在哪里找到的呢 > > > > guoyb <861277...@qq.com> 于2021年4月28日周三 上午10:56写道: > > > >> 我的也有这种问题,没解决,kerberos认证的hive导致的。 > >> > >>

Re: 使用Table API怎么构造多个sink

2021-04-30 文章 yuehan1
可以了,非常感谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: es线程死锁问题

2021-04-30 文章 satellite
https://github.com/elastic/elasticsearch/issues/47599 可以参考写这个 issues. -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink on yarn更新文件后重启失败

2021-04-30 文章 zjfpla...@hotmail.com
flink任务停止后,将相关配置文件进行更新(keytab),然后报错: Resource hdfs://nameservice1/user/hbase/.flink/${appid}/hbase.keytab changed on src filesystem(excepted ,was ) zjfpla...@hotmail.com

Re:Re: Table-api sql 预检查

2021-04-30 文章 Michael Ran
org.apache.flink.table.api.TableException: Unsupported operation: org.apache.flink.table.operations.ddl.CreateTableOperation At 2021-04-30 10:19:49, "HunterXHunter" <1356469...@qq.com> wrote: >tableEnv.explainSql(""); > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

flink on k8s 的flink-web-ui 访问问题

2021-04-30 文章 spoon_lz
最近测试了一下flink on k8s native ,使用session 模式,启动session集群, 启动命令: ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=lz-test01 \ -Dkubernetes.rest-service.exposed.type=NodePort 返回url: | 2021-04-30 14:50:27,525 INFO org.apache.flink.kubernetes.KubernetesClusterDescriptor [] - Create

flink on yarn kerberos认证问题

2021-04-30 文章 zjfpla...@hotmail.com
大家好, 问题点: 1.cdh中kerberos已经被cm托管的情况下,cm中修改kerberos配置,/var/kerberos/krb5kdc/kdc.conf和/etc/krb5.conf都不变,好像是存在其他位置,这个有没有人清楚? 2.flink 1.8 on cdh5.14 yarn运行时,一天后报GSS initiate failed{caused by GSSException:No valid credentials