Re: Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

可以看yuque里边哈，有DAG的。

JasonLee <17610775...@163.com> 于2021年8月26日周四 下午1:35写道：

> Hi
>
>
> 可以发一下任务的 DAG 吗
>
>
> Best
> JasonLee
>
>
> 在2021年08月26日 13:09，yidan zhao 写道：
> 补充了个附录（https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
> ）正常任务和异常任务的window算子的FlameGraph，不清楚是否有参考价值。
>
> yidan zhao  于2021年8月26日周四 下午1:01写道：
>
> 目前来看，我运行6小时，window总计才收到200MB数据，这个数据量级相比我很多小到没有一样。所以很难想象反压的原因是啥究竟。
>
> 目前来看反压节点的outPoolUsage是1，看起来合理，因为处于100%反压。
> 下游节点的inPoolUsage却是0，这个也很奇怪，同时下游buzz和backpress都是0%.
>
>
>
> Shengkai Fang  于2021年8月26日周四 下午12:33写道：
>
> - 得看一下具体的卡死的节点的栈，分析下具体的工作任务才知道。
> - 日志中有包含错误的信息吗？
>
> Best,
> Shengkai
>
> yidan zhao  于2021年8月26日周四 下午12:03写道：
>
> 可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？
>
> 东东  于2021年8月26日周四 上午11:06写道：
>
> 建议检查一下是否有数据倾斜
>
>
> 在 2021-08-26 10:22:54，"yidan zhao"  写道：
> 问题期间的确ckpt时间较长。
> 但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
>
> Caizhi Weng  于2021年8月26日周四 上午10:20写道：
>
> Hi！
>
> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
>
> yidan zhao  于2021年8月26日周四 上午10:09写道：
>
> 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
>
> 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
>
>
>
>
>
>
>

?????? ????flink 1.12 ????????Flink SQL ???? ??sink?? ??????????????

[????]

flink-connector-kafka_2.11 ?? flink-connector-jdbc_2.11?? 
??mysql ?? ?? ?? 
kafka??java.sql.BatchUpdateException 
??3 
sink Kafka ??Kafka??  'sink.semantic' = 
'exactly-once', consumer  --isolation-level read_committed 
sink db ??sink kafka??flink 
??




--  --
??: 
   "user-zh"

https://github.com/ververica/flink-cdc-connectors

 https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sqlclient/#execute-a-set-of-sql-statements
>
>  

Flink sql CLI parsing avro format data error 解析avro数据失败

[Wayne]

i have Apache Avro schema

我的avro schema 如下

{
  "type" : "record",
  "name" : "KafkaAvroMessage",
  "namespace" : "xxx",
  "fields" : [ {
"name" : "aaa",
"type" : "string"
  }, {
"name" : "bbb",
"type" : [ "null", "string" ],
"default" : null

  },{
"name" : "ccc",
"type" : [ "null", "string" ]

  },
{
  "name" : "ddd",
  "type" : "string",
  "default" : ""
} ]
}

The sql worte is like this
我下的sql如下
CREATE TABLE xxx (
`aaa` STRING NOT NULL,
`bbb` STRING ,
`ccc` STRING NOT NULL,
`ddd` STRING NOT NULL
) WITH(
...
'format' = 'avro'
);

The sql can parse the aaa bbb ddd field correctly,but cannot parse the ccc 
field. Excuse me,what is the problem with my sql writing,please give me a 
correct wording
这个sql可以解析 aaa、bbb、ddd 字段，不能解析ccc字段，请问我如果想用flinksql 解析这个schema，正确的写法是什么

Flink sql CLI parsing avro format data error 解析avro数据失败

[Wayne]

i have Apache Avro schema

我的avro schema 如下

{
  "type" : "record",
  "name" : "KafkaAvroMessage",
  "namespace" : "xxx",
  "fields" : [ {
"name" : "aaa",
"type" : "string"
  }, {
"name" : "bbb",
"type" : [ "null", "string" ],
"default" : null

  },{
"name" : "ccc",
"type" : [ "null", "string" ]

  },
{
  "name" : "ddd",
  "type" : "string",
  "default" : ""
} ]
}

The sql worte is like this
我下的sql如下
CREATE TABLE xxx (
`aaa` STRING NOT NULL,
`bbb` STRING ,
`ccc` STRING NOT NULL,
`ddd` STRING NOT NULL
) WITH(
...
'format' = 'avro'
);

The sql can parse the aaa bbb ddd field correctly,but cannot parse the ccc 
field. Excuse me,what is the problem with my sql writing,please give me a 
correct wording
这个sql可以解析 aaa、bbb、ddd 字段，不能解析ccc字段，请问我如果想用flinksql 解析这个schema，正确的写法是什么






 

回复： Flink任务假死；无限100%反压；但下游节点无压力。

[JasonLee]

Hi


可以发一下任务的 DAG 吗 


Best
JasonLee


在2021年08月26日 13:09，yidan zhao 写道：
补充了个附录（https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
）正常任务和异常任务的window算子的FlameGraph，不清楚是否有参考价值。

yidan zhao  于2021年8月26日周四 下午1:01写道：

目前来看，我运行6小时，window总计才收到200MB数据，这个数据量级相比我很多小到没有一样。所以很难想象反压的原因是啥究竟。

目前来看反压节点的outPoolUsage是1，看起来合理，因为处于100%反压。
下游节点的inPoolUsage却是0，这个也很奇怪，同时下游buzz和backpress都是0%.



Shengkai Fang  于2021年8月26日周四 下午12:33写道：

- 得看一下具体的卡死的节点的栈，分析下具体的工作任务才知道。
- 日志中有包含错误的信息吗？

Best,
Shengkai

yidan zhao  于2021年8月26日周四 下午12:03写道：

可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？

东东  于2021年8月26日周四 上午11:06写道：

建议检查一下是否有数据倾斜


在 2021-08-26 10:22:54，"yidan zhao"  写道：
问题期间的确ckpt时间较长。
但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。

Caizhi Weng  于2021年8月26日周四 上午10:20写道：

Hi！

从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？

yidan zhao  于2021年8月26日周四 上午10:09写道：

如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。

语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh

Re: 基于flink 1.12 如何通过Flink SQL 实现 多sink端 在同一个事务中

[Caizhi Weng]

Hi！

如果 statement set 已经包含了多个 insert 语句，那么写入 kafka 表和写入 db 应该是在同一个作业里进行的。如果写入 db
失败，那么产生的 exception 应该会让作业失败才对。这里 db 写入失败但 kafka 依旧写入是什么样的现象？

另外其实可以考虑分成两个作业，第一个作业将数据写入 db，第二个作业从 db 读出数据写入 kafka。关于捕获 db 数据的变化，可以看一下
Flink CDC connector[1]

[1] https://github.com/ververica/flink-cdc-connectors

悟空  于2021年8月26日周四 下午12:52写道：

> 能否详细说下呢，statement set[1] 是什么意思， 我是通过StatementSet.addInsertSql 将多个sql
> 加入的，然后执行execute()方法
>
>
>
>
> -- 原始邮件 --
> 发件人:
>   "user-zh"
> <
> fskm...@gmail.com>;
> 发送时间: 2021年8月26日(星期四) 中午12:36
> 收件人: "user-zh"
> 主题: Re: 基于flink 1.12 如何通过Flink SQL 实现 多sink端 在同一个事务中
>
>
>
> 说的是 statement set [1] 吗 ？
>
> [1]
>
> https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sqlclient/#execute-a-set-of-sql-statements
>
> 悟空 
> > hi all: 
> >     我目前基于flink 1.12 sql 来开发功能， 目前遇到一个问题， 我现在想实现
> 在一个事务里 先将kafka
> > 源的数据写入到一张msyql 表中， 写入成功后再写入一张kafka的表里。如果写入db失败，则不写入kafka 。
> >    语句类似这种：
> >    insert into db_table_sink select *
> from 
> > kafka_source_table;
> >    insert into kafka_table_sink select * from
> kafka_source_table;
> >
> >
> >   请问flink SQL 有实现方式吗？ 目前经过测试，发现如果db写入失败，但是kafka依旧写入，同时flink
> 程序没有挂掉。

Re: Re: Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

补充了个附录（https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
）正常任务和异常任务的window算子的FlameGraph，不清楚是否有参考价值。

yidan zhao  于2021年8月26日周四 下午1:01写道：

> 目前来看，我运行6小时，window总计才收到200MB数据，这个数据量级相比我很多小到没有一样。所以很难想象反压的原因是啥究竟。
>
> 目前来看反压节点的outPoolUsage是1，看起来合理，因为处于100%反压。
> 下游节点的inPoolUsage却是0，这个也很奇怪，同时下游buzz和backpress都是0%.
>
>
>
> Shengkai Fang  于2021年8月26日周四 下午12:33写道：
>
>> - 得看一下具体的卡死的节点的栈，分析下具体的工作任务才知道。
>> - 日志中有包含错误的信息吗？
>>
>> Best,
>> Shengkai
>>
>> yidan zhao  于2021年8月26日周四 下午12:03写道：
>>
>> > 可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？
>> >
>> > 东东  于2021年8月26日周四 上午11:06写道：
>> >
>> > > 建议检查一下是否有数据倾斜
>> > >
>> > >
>> > > 在 2021-08-26 10:22:54，"yidan zhao"  写道：
>> > > >问题期间的确ckpt时间较长。
>> > > >但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
>> > > >
>> > > >Caizhi Weng  于2021年8月26日周四 上午10:20写道：
>> > > >
>> > > >> Hi！
>> > > >>
>> > > >> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
>> > > >>
>> > > >> yidan zhao  于2021年8月26日周四 上午10:09写道：
>> > > >>
>> > > >> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
>> > > >> >
>> > > >> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
>> > > >> >
>> > > >>
>> > >
>> >
>>
>

Re: Re: Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

目前来看，我运行6小时，window总计才收到200MB数据，这个数据量级相比我很多小到没有一样。所以很难想象反压的原因是啥究竟。

目前来看反压节点的outPoolUsage是1，看起来合理，因为处于100%反压。
下游节点的inPoolUsage却是0，这个也很奇怪，同时下游buzz和backpress都是0%.



Shengkai Fang  于2021年8月26日周四 下午12:33写道：

> - 得看一下具体的卡死的节点的栈，分析下具体的工作任务才知道。
> - 日志中有包含错误的信息吗？
>
> Best,
> Shengkai
>
> yidan zhao  于2021年8月26日周四 下午12:03写道：
>
> > 可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？
> >
> > 东东  于2021年8月26日周四 上午11:06写道：
> >
> > > 建议检查一下是否有数据倾斜
> > >
> > >
> > > 在 2021-08-26 10:22:54，"yidan zhao"  写道：
> > > >问题期间的确ckpt时间较长。
> > > >但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
> > > >
> > > >Caizhi Weng  于2021年8月26日周四 上午10:20写道：
> > > >
> > > >> Hi！
> > > >>
> > > >> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
> > > >>
> > > >> yidan zhao  于2021年8月26日周四 上午10:09写道：
> > > >>
> > > >> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
> > > >> >
> > > >> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
> > > >> >
> > > >>
> > >
> >
>

?????? ????flink 1.12 ????????Flink SQL ???? ??sink?? ??????????????

[????]

statement set[1]  StatementSet.addInsertSql 
??sql execute()




--  --
??: 
   "user-zh"

https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sqlclient/#execute-a-set-of-sql-statements

 

Re: 基于flink 1.12 如何通过Flink SQL 实现 多sink端 在同一个事务中

[Shengkai Fang]

说的是 statement set [1] 吗 ？

[1]
https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sqlclient/#execute-a-set-of-sql-statements

悟空  于2021年8月26日周四 上午11:33写道：

> hi all: 
>     我目前基于flink 1.12 sql 来开发功能， 目前遇到一个问题， 我现在想实现 在一个事务里 先将kafka
> 源的数据写入到一张msyql 表中， 写入成功后再写入一张kafka的表里。如果写入db失败，则不写入kafka 。
>    语句类似这种：
>    insert into db_table_sink select * from 
> kafka_source_table;
>    insert into kafka_table_sink select * from kafka_source_table;
>
>
>   请问flink SQL 有实现方式吗？ 目前经过测试，发现如果db写入失败，但是kafka依旧写入，同时flink 程序没有挂掉。

Re: Re: Flink任务假死；无限100%反压；但下游节点无压力。

[Shengkai Fang]

- 得看一下具体的卡死的节点的栈，分析下具体的工作任务才知道。
- 日志中有包含错误的信息吗？

Best,
Shengkai

yidan zhao  于2021年8月26日周四 下午12:03写道：

> 可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？
>
> 东东  于2021年8月26日周四 上午11:06写道：
>
> > 建议检查一下是否有数据倾斜
> >
> >
> > 在 2021-08-26 10:22:54，"yidan zhao"  写道：
> > >问题期间的确ckpt时间较长。
> > >但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
> > >
> > >Caizhi Weng  于2021年8月26日周四 上午10:20写道：
> > >
> > >> Hi！
> > >>
> > >> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
> > >>
> > >> yidan zhao  于2021年8月26日周四 上午10:09写道：
> > >>
> > >> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
> > >> >
> > >> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
> > >> >
> > >>
> >
>

Re: Re: Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

可能存在机器压力倾斜，但是我是不太清楚这种现象的原因，直接停滞了任务？

东东  于2021年8月26日周四 上午11:06写道：

> 建议检查一下是否有数据倾斜
>
>
> 在 2021-08-26 10:22:54，"yidan zhao"  写道：
> >问题期间的确ckpt时间较长。
> >但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
> >
> >Caizhi Weng  于2021年8月26日周四 上午10:20写道：
> >
> >> Hi！
> >>
> >> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
> >>
> >> yidan zhao  于2021年8月26日周四 上午10:09写道：
> >>
> >> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
> >> >
> >> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
> >> >
> >>
>

????flink 1.12 ????????Flink SQL ???? ??sink?? ??????????????

[????]

hi all: 
    ??flink 1.12 sql  ?? 
  kafka ??msyql ?? 
kafkadb??kafka ??
   ??
   insert into db_table_sink select * from  
kafka_source_table;
   insert into kafka_table_sink select * from kafka_source_table;


  flink SQL ?? 
??db??kafka??flink ??

Re:Re: Flink任务假死；无限100%反压；但下游节点无压力。

[东东]

建议检查一下是否有数据倾斜


在 2021-08-26 10:22:54，"yidan zhao"  写道：
>问题期间的确ckpt时间较长。
>但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。
>
>Caizhi Weng  于2021年8月26日周四 上午10:20写道：
>
>> Hi！
>>
>> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
>>
>> yidan zhao  于2021年8月26日周四 上午10:09写道：
>>
>> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
>> >
>> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
>> >
>>

Re: 【Announce】Zeppelin 0.10.0 is released, Flink on Zeppelin Improved

[Leonard Xu]

Thanks Jeff for the great work !

Best,
Leonard 

> 在 2021年8月25日，22:48，Jeff Zhang  写道：
> 
> Hi Flink users,
> 
> We (Zeppelin community) are very excited to announce Zeppelin 0.10.0 is 
> officially released. In this version, we made several improvements on Flink 
> interpreter.  Here's the main features of Flink on Zeppelin:
> Support multiple versions of Flink
> Support multiple versions of Scala
> Support multiple languages
> Support multiple execution modes
> Support Hive
> Interactive development
> Enhancement on Flink SQL
> Multi-tenancy
> Rest API Support
> Take a look at this document for more details:  
> https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html 
> 
> The quickest way to try Flink on Zeppelin is via its docker image 
> https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html#play-flink-in-zeppelin-docker
>  
> 
> 
> Besides these, here’s one blog about how to run Flink sql cookbook on 
> Zeppelin, 
> https://medium.com/analytics-vidhya/learn-flink-sql-the-easy-way-d9d48a95ae57 
> 
>   The easy way to learn Flink Sql.
> 
> Hope it would be helpful for you and welcome to join our community to discuss 
> with others. http://zeppelin.apache.org/community.html 
> 
> 
> 
> -- 
> Best Regards
> 
> Jeff Zhang

Re: 退订

[Caizhi Weng]

Hi！

退订中文邮件列表请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org，其他邮件列表退订邮箱参见
https://flink.apache.org/community.html#mailing-lists

Fighting <402991...@qq.com.invalid> 于2021年8月26日周四 上午10:11写道：

> 退订
>
>
>
> ---原始邮件---
> 发件人: "yidan zhao" 发送时间: 2021年8月26日(周四) 上午10:10
> 收件人: "user-zh" 主题: Flink任务假死；无限100%反压；但下游节点无压力。
>
>
> 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
>
> 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh

Re: Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

问题期间的确ckpt时间较长。
但是，这个任务正常ckpt时间才不到1s，ckpt大小也就21MB，所以也很难说ckpt为啥会超时，我超时设置的2min。

Caizhi Weng  于2021年8月26日周四 上午10:20写道：

> Hi！
>
> 从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？
>
> yidan zhao  于2021年8月26日周四 上午10:09写道：
>
> > 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
> >
> > 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
> >
>

Re: 退订

[Caizhi Weng]

Hi！

退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org

uu  于2021年8月26日周四 上午9:56写道：

> 退订

Re: Flink任务假死；无限100%反压；但下游节点无压力。

[Caizhi Weng]

Hi！

从图中情况来看很可能是因为下游 checkpoint 时间过长导致反压上游。是否观察过 checkpoint 的情况？

yidan zhao  于2021年8月26日周四 上午10:09写道：

> 如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。
>
> 语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh
>

退订

[Fighting]

退订



---原始邮件---
发件人: "yidan zhao"https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh

Flink任务假死；无限100%反压；但下游节点无压力。

[yidan zhao]

如题，这个问题以前遇到过，后来发生频率低了，近期又多了几次，下面是具体的话题讨论，email不方便贴图。

语雀：https://www.yuque.com/sixhours-gid0m/ls9vqu/rramvh

退订

[uu]

退订

退订

[Fighting]

退订



---Original---
From: "Jeff Zhang"https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html
The quickest way to try Flink on Zeppelin is via its docker image
https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html#play-flink-in-zeppelin-docker

Besides these, here’s one blog about how to run Flink sql cookbook on
Zeppelin,
https://medium.com/analytics-vidhya/learn-flink-sql-the-easy-way-d9d48a95ae57
The easy way to learn Flink Sql.

Hope it would be helpful for you and welcome to join our community to
discuss with others. http://zeppelin.apache.org/community.html


-- 
Best Regards

Jeff Zhang

【Announce】Zeppelin 0.10.0 is released, Flink on Zeppelin Improved

[Jeff Zhang]

Hi Flink users,

We (Zeppelin community) are very excited to announce Zeppelin 0.10.0 is
officially released. In this version, we made several improvements on Flink
interpreter.  Here's the main features of Flink on Zeppelin:

   - Support multiple versions of Flink
   - Support multiple versions of Scala
   - Support multiple languages
   - Support multiple execution modes
   - Support Hive
   - Interactive development
   - Enhancement on Flink SQL
   - Multi-tenancy
   - Rest API Support

Take a look at this document for more details:
https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html
The quickest way to try Flink on Zeppelin is via its docker image
https://zeppelin.apache.org/docs/0.10.0/interpreter/flink.html#play-flink-in-zeppelin-docker

Besides these, here’s one blog about how to run Flink sql cookbook on
Zeppelin,
https://medium.com/analytics-vidhya/learn-flink-sql-the-easy-way-d9d48a95ae57
The easy way to learn Flink Sql.

Hope it would be helpful for you and welcome to join our community to
discuss with others. http://zeppelin.apache.org/community.html


-- 
Best Regards

Jeff Zhang

Flink 从checkpoint恢复时，部分状态没有正确恢复

[dixingxing]

Hi Flink 社区：
我们的Flink版本是1.9.2，用的是blink planer，我们今天遇到一个问题，目前没有定位到原因，现象如下：
手动重启任务时，指定了从一个固定的checkpoint恢复时，有一定的概率，一部分状态数据无法正常恢复，启动后Flink任务本身可以正常运行，且日志中没有明显的报错信息。
具体现象是：type=realshow的数据没有从状态恢复，也就是从0开始累加，而type=show和type=click的数据是正常从状态恢复的。


SQL大致如下：
createview view1 as
select event_id, act_time, device_id
from table1
where `getStringFromJson`(`act_argv`, 'ispin', '') <>'1'
and event_id in ('article_newest_list_show','article_newest_list_sight_show', 
'article_list_item_click', 'article_auto_video_play_click');


--天的数据
insertinto table2
select platform, type, `time`, count(1) as pv, hll_uv(device_id) as uv
from
(select'03'as platform, trim(casewhen event_id 
='article_newest_list_show'then'show'
when event_id ='article_newest_list_sight_show'then'realshow'
when event_id ='article_list_item_click'then'click'else''end) astype,
`date_parse`(`act_time`, '-MM-dd HH:mm:ss', 'MMdd') as `time`, device_id
from view1
where event_id in ('article_newest_list_show','article_newest_list_sight_show', 
'article_list_item_click')
unionall
select'03'as platform, 'click_total'astype,
`date_parse`(`act_time`, '-MM-dd HH:mm:ss', 'MMdd') as `time`, device_id
from view1
where event_id in ('article_list_item_click', 'article_auto_video_play_click'))a
groupby platform, type, `time`;


期待大家的帮助与回复，希望能给些问题排查的思路！

Re: mini-batch 设置后没效果

[Leonard Xu]

> 如何退订这个邮件订阅了

如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到 
user-zh-unsubscr...@flink.apache.org 
  即可

Best,
Leonard

Re:mini-batch配置信息没产生效果

[东东]

这里说得很清楚，只是"allow"的最大latency，并不是固定这么长


|
table.exec.mini-batch.allow-latency

Streaming | 0 ms | Duration | The maximum latency can be used for MiniBatch to 
buffer input records. MiniBatch is an optimization to buffer input records to 
reduce state access. MiniBatch is triggered with the allowed latency interval 
and when the maximum number of buffered records reached. NOTE: If 
table.exec.mini-batch.enabled is set true, its value must be greater than zero. 
|








在 2021-08-25 16:38:53，"李航飞"  写道：
>
>
>Configuration conf = new Configuration();
>conf.setString("table.exec.mini-batch.enabled","true");
>conf.setString("table.exec.mini-batch.allow-latency","15s");
>conf.setString("table.exec.mini-batch.size","50");
>
>
>StreamExecutionEnvironment execEnv = 
>StreamExecutionEnvironment.getExecutionEnvironment();
>execEnv.configure(conf,this.getClass().getClassLoader());
>EnvironmentSetting setting = ...
>StreamTableEnvironment.create(execEnv,setting);
>
>
>基于flink1.13.2
>微批配置信息如上，kafka流数据，测试效果数据计算没有延迟15s 

mini-batch配置信息没产生效果

[李航飞]

Configuration conf = new Configuration();
conf.setString("table.exec.mini-batch.enabled","true");
conf.setString("table.exec.mini-batch.allow-latency","15s");
conf.setString("table.exec.mini-batch.size","50");


StreamExecutionEnvironment execEnv = 
StreamExecutionEnvironment.getExecutionEnvironment();
execEnv.configure(conf,this.getClass().getClassLoader());
EnvironmentSetting setting = ...
StreamTableEnvironment.create(execEnv,setting);


基于flink1.13.2
微批配置信息如上，kafka流数据，测试效果数据计算没有延迟15s 

回复：mini-batch 设置后没效果

[牛成]

如何退订这个邮件订阅了


--
发件人：Caizhi Weng 
发送时间：2021年8月25日(星期三) 11:12
收件人：user-zh 
主　题：Re: mini-batch 设置后没效果

Hi！

所谓的没效果指的是什么现象呢？建议详细描述一下场景与问题。

李航飞  于2021年8月25日周三 上午11:04写道：

> 通过Configuration 设置
> table.exec.mini-batch.enabled= true;
> table.exec.mini-batch.allow-latency = 15s;
> table.exec.mini-batch.size = 50;
> 上面的配置测试了，没效果，下面的测试
>  table.exec.mini-batch.allow-latency = 15000
> 也没效果什么原因？
>
>