??????state??????checkpoint??????

hi UI??checkpoint??checkpoint?? ?? | | JasonLee | | ??17610775...@163.com | Signature is customized by Netease Mail Master ??2020??07??17?? 17:21??sun ?? ??counts ??

?????? Flink Cli ????????

Flink 1.10.0 ,taskmanager?? 2020-07-17 15:06:43,913 ERROR org.apache.flink.contrib.streaming.state.RocksDBKeyedStateBackendBuilder - Caught unexpected exception. java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:197) at

Re: state无法从checkpoint中恢复

Hi 1 你需要回复一下我之前问你的问题：你可以从 JM log 看一下是否从 checkpoint 恢复了 2. 这里没有打印只是表明当前处理的 key 没有 state 数据，并不能表示 state 没有恢复回来，state 值是绑定到某个 key 上的（keyby 的 key） Best, Congxian sun <1392427...@qq.com> 于2020年7月17日周五 下午5:22写道： > 你好：counts 的数据 我是在下面打印出来了 List Lists.newArrayList(counts.get()) ; >

Re: Flink Cli 部署问题

Hi 请问你使用哪个版本的 Flink 呢？能否分享一下 Co-Process (1/1) (d0309f26a545e74643382ed3f758269b) 这个 tm 的 log 呢？从上面给的日志看，应该是在 083f69d029de 这台机器上。 Best, Congxian Z-Z 于2020年7月17日周五 下午6:22写道： > 大家好，我在部署的时候发现了一个问题，我通过restAPI接口停掉了一个任务并保存了它的savepoint(步骤：/jobs/overview > --- /jobs/{jobid}/savepoints --- >

?????? sql ????josn?????????? ????????????

---- ??: "user-zh"

Re: sql 内嵌josn数组解析报 类型转换报错

如果是的话，现在的确是还做不到，不过有一个issue[1] 正在解决这个问题。 [1] https://issues.apache.org/jira/browse/FLINK-18590 Benchao Li 于2020年7月17日周五 下午8:41写道： > 你的意思是想先把json里面的array展开成多行，然后watermark基于这个展开后的数据来生成是么？ > > claylin <1012539...@qq.com> 于2020年7月17日周五 下午8:37写道： > >>

Re: sql 内嵌josn数组解析报 类型转换报错

计算列只能写在最外层，不能在嵌套类型里面有计算列。 claylin <1012539...@qq.com> 于2020年7月17日周五 下午8:28写道： > hi all我这边有个嵌套的json数组，报类型转换错误(ts AS CAST(FROM_UNIXTIME(hiido_time) AS > TIMESTAMP(3)),这里报错)，是不是不能这么写 > create table hiido_push_sdk_mq ( > datas ARRAY string,hiido_time bigint,ts AS CAST(FROM_UNIXTIME(hiido_time) AS >

sql ????josn?????????? ????????????

hi alljson(ts AS CAST(FROM_UNIXTIME(hiido_time) AS TIMESTAMP(3)),)?? create table hiido_push_sdk_mq ( datas ARRAY

Re: flink-1.11 KafkaDynamicTableSouce groupBy 结果怎样发送到 kafka

DynamicTableSink有一个方法是getChangelogMode，可以通过这个方法来指定这个sink接收什么种类的数据 wangl...@geekplus.com.cn 于2020年7月17日周五 下午1:02写道： > > INSERT INTO kafka_dws_artemis_out_order select warehouse_id, count(*) > from kafka_ods_artemis_out_order group by warehouse_id; > [ERROR] Could not execute SQL statement.

Re: flink不带参数的udf始终返回第一次调用的结果

感谢，是这个原因。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink不带参数的udf始终返回第一次调用的结果

是的，这种就被当做常量被优化掉了。 你可以覆盖一下ScalarFunction#isDeterministic方法，说明你这个函数时非确定性的，就不会被优化掉了。 867127831 <867127...@qq.com> 于2020年7月17日周五 下午5:27写道： > hi, 我有一个不带参数的udf，用于返回系统当前时间的字符串格式，但是调用时每次都返回这个udf第一次调用的结果，所以拿到的时间全部都是一样的 > > > udf的实时如下： > > > public class GetTimeFunc extends ScalarFunction { >

Re: flink-1.11 ddl 写入json 格式数据到hdfs问题

是的 感谢反馈，文档里单位问题，分钟对应的是 min > 在 2020年7月17日，17:26，kcz <573693...@qq.com> 写道： > > tks解决了，有一个小问题，文档写了30m,但是代码实际不支持m来代表分钟 > > > > > > > --原始邮件-- > 发件人: >

Re: flink 1.11 checkpoint使用

Hi， 曹武 这是一个已知bug，这个在1.11.1和1.12.0里已经修复， 如果着急使用，可以自己编译下release-1.11分支。 祝好 Leonard Xu https://issues.apache.org/jira/browse/FLINK-18461 > 在 2020年7月17日，17:12，曹武 <14701319...@163.com> 写道： > >

flink-1.11 ????hive-1.2.1 DDL????

idea ??hivepom hive-exec flink-connector-hive_2.11 : StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); env.enableCheckpointing(60*1000, CheckpointingMode.EXACTLY_ONCE); //

Flink Cli ????????

restAPI??savepoint(??/jobs/overview --- /jobs/{jobid}/savepoints --- /jobs/{jobid}/savepoints/{triggerid})??flinksavepointwebuijar??savepoint??

Re: connector hive依赖冲突

hi 我用的是用户定义依赖，没有用捆绑依赖包，捆绑依赖包还要自己下载一次。 Dream-底限 于2020年7月17日周五 下午5:24写道： > 1.9和1.10时候排除一些传递依赖后在idea和打uber jar在集群环境都可以运行，不排除传递依赖的话在idea运行不了； > 1.11现在只在本地测哪，不排除传递依赖idea运行不了，集群环境还没弄，但是我感觉在idea直接run这个功能好多人都需要，文档是不是可以改进一下 > > Jingsong Li 于2020年7月17日周五 下午5:16写道： > >> 用bundle jar可以搞定吗？ >> >> [1] >>

flink??????????udf????????????????????????

hi, ??udfudf?? udf public class GetTimeFunc extends ScalarFunction { public String eval() { return new SimpleDateFormat("-MM-dd

?????? flink-1.11 ddl ????json ??????????hdfs????

tks??30m,??m?? ---- ??: "user-zh"

?????? state??????checkpoint??????

??counts ?? Listhttps://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/libs/state_processor_api.html Best, Congxian sun <1392427...@qq.com ??2020??7??16?? 6:16??

Re: flink 1.11 checkpoint使用

感觉好像是应为从checkpoint启动失败或者是checkpiont文件里面不包含groupby的中间结果,这个怎么排查呀! godfrey he wrote > 为什么要 GROUP BY id,name ,description, weight ？ > 直接 "INSERT INTO sink SELECT id,name ,description, weight FROM > debezium_source" 不能满足需求？ > > 曹武 < > 14701319164@ >> 于2020年7月16日周四 下午9:30写道： > >> 我在使用flink

Re: flink 1.11 checkpoint使用

如果去掉group by会抛出异常,请问有没有关这个异常的解决方式: Exception in thread "main" org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSourceScan(table=[[default_catalog,

Re: flink 1.11 checkpoint使用

如果去掉group by会抛出异常,请问有没有关这个异常的解决方式: Exception in thread "main" org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSourceScan(table=[[default_catalog,

Re: connector hive依赖冲突

用bundle jar可以搞定吗？ [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#using-bundled-hive-jar Best, Jingsong On Fri, Jul 17, 2020 at 5:14 PM Dream-底限 wrote: > hi： > >

connector hive依赖冲突

hi： 大佬们，下面连接hive的依赖包的哪个传递依赖导致的jar包冲突，我从1.9到1.11每次在maven按照官方文档引包都会出现依赖冲突1.9刚发布的时候对下面的引包有做依赖排除，后来文档改了 // Flink's Hive connector.Contains flink-hadoop-compatibility and flink-orc jars flink-connector-hive_2.11-1.11.0.jar // Hive dependencies hive-exec-2.3.4.jar

Re: flink1.11写hive

CREATE TEMPORARY TABLE kafka_table... 好像没文档，我建个JIRA跟踪下 https://issues.apache.org/jira/browse/FLINK-18624 Best, Jingsong On Fri, Jul 17, 2020 at 5:05 PM Dream-底限 wrote: > hi： > >

flink-1.11 ddl ????json ??????????hdfs????

https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/filesystem.html#full-example ??parquet??json??chk??in-progress parquet??success

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Congxian, [image: Snipaste_2020-07-17_16-20-06.png] 我这边通过chrome 浏览器看到是上传了的，并且可以下载的。 Best wishes. Congxian Qiu 于2020年7月17日周五 下午1:31写道： > Hi Peihui > > 感谢你的回复，我这边没有看到附件，你那边能否确认下呢？ > > Best, > Congxian > > > Peihui He 于2020年7月17日周五 上午10:13写道： > > > Hi Congxian > > > > 见附件。 > > > > Best

Re: SQL 报错只有 flink runtime 的 NPE

附一个 Job Graph 信息，在 Cal 处挂了 [image: image.png] On Fri, Jul 17, 2020 at 4:01 PM Luan Cooper wrote: > 实际有 20 左右个字段，用到的 UDF 有 COALESCE / CAST / JSON_PATH / TIMESTAMP 类 > *是指 UDF 返回了 NULL 导致的吗？* > > > On Fri, Jul 17, 2020 at 2:54 PM godfrey he wrote: > >> udf_xxx的逻辑是啥？ >> >> >> Luan Cooper

?????? flink-1.11 DDL ????hdfs???? Cannot instantiate user function

??parquet??error?? java.lang.NoClassDefFoundError: org/apache/parquet/hadoop/ParquetWriter$Builder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:760) at

Re: SQL 报错只有 flink runtime 的 NPE

实际有 20 左右个字段，用到的 UDF 有 COALESCE / CAST / JSON_PATH / TIMESTAMP 类 *是指 UDF 返回了 NULL 导致的吗？* On Fri, Jul 17, 2020 at 2:54 PM godfrey he wrote: > udf_xxx的逻辑是啥？ > > > Luan Cooper 于2020年7月17日周五 下午2:40写道： > > > Hi > > > > 我有这么一个 SQL > > INSERT INTO es > > SELECT > > a, > > udf_xxx(b) > > FROM

Re: Re: Re:Re: flink 1.11任务提交的问题

是的。目前按照你的写法做不到只提交一个job了 sunfulin 于2020年7月17日周五 下午3:11写道： > > > > hi, > 再问下，这个方案还是会提交两个job吧？ > > > > > > > > > > > > > > > 在 2020-07-17 14:36:19，"godfrey he" 写道： > >做不到，1.11里把 StreamExecutionEnvironment.execute 和 > >StreamTableEnvironment.execute 的逻辑已经切分干净了。 >

Re: flink-1.11 DDL 写入hdfs问题 Cannot instantiate user function

第二个问题的异常栈是啥？ kcz <573693...@qq.com> 于2020年7月17日周五 下午2:17写道： > 第一个bug提示只需要 > classloader.resolve-order: parent-first > 第二个bug采用了parquet还没解决 > > > --原始邮件-- > 发件人: > "kcz" >

Re:Re: Re:Re: flink 1.11任务提交的问题

hi, 再问下，这个方案还是会提交两个job吧？ 在 2020-07-17 14:36:19，"godfrey he" 写道： >做不到，1.11里把 StreamExecutionEnvironment.execute 和 >StreamTableEnvironment.execute 的逻辑已经切分干净了。 >有个改动比较小的方案可以参考：可以在原来的逻辑的基础上，把两种提交job的方式放到两个不同的类中，其他的逻辑放到另外一个类共性。 > >sunfulin 于2020年7月17日周五 下午2:00写道： > >> hi， >>

Re: SQL 报错只有 flink runtime 的 NPE

udf_xxx的逻辑是啥？ Luan Cooper 于2020年7月17日周五 下午2:40写道： > Hi > > 我有这么一个 SQL > INSERT INTO es > SELECT > a, > udf_xxx(b) > FROM mongo_oplog -- 自定义 TableFactory > > Job 提交后 fail 了，从 Job 提交到 Fail 只有一处来自非业务代码的 NPE 如下，没有任何业务代码 Exception，可以稳定重现 > > LUE _UTF-16LE'v2'))) AS return_received_time]) (1/1) >

SQL 报错只有 flink runtime 的 NPE

Hi 我有这么一个 SQL INSERT INTO es SELECT a, udf_xxx(b) FROM mongo_oplog -- 自定义 TableFactory Job 提交后 fail 了，从 Job 提交到 Fail 只有一处来自非业务代码的 NPE 如下，没有任何业务代码 Exception，可以稳定重现 LUE _UTF-16LE'v2'))) AS return_received_time]) (1/1) (bdf9b131f82a8ebc440165b82b89e570) switched from RUNNING to FAILED.

Re:flink1.10升级到flink1.11 jar冲突

hello 大家好 flink由1.10升级到1.11 从savepoint处恢复数据报错（这个报错的是flink sql双流join的，带状态，其他的stream的单流程序都已经照常恢复） 请大家帮忙指导一下，谢谢。 报错如下： org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not

Re: Re:Re: flink 1.11任务提交的问题

做不到，1.11里把 StreamExecutionEnvironment.execute 和 StreamTableEnvironment.execute 的逻辑已经切分干净了。 有个改动比较小的方案可以参考：可以在原来的逻辑的基础上，把两种提交job的方式放到两个不同的类中，其他的逻辑放到另外一个类共性。 sunfulin 于2020年7月17日周五 下午2:00写道： > hi， > 补充一下，1.10版本的代码使用sqlUpdate + >

??????flink-1.11 DDL ????hdfs???? Cannot instantiate user function

??bug?? classloader.resolve-order: parent-first ??bug??parquet ---- ??: "kcz"

Re:Re:Re: flink 1.11任务提交的问题

hi， 补充一下，1.10版本的代码使用sqlUpdate + table2datastream，并通过StreamExecutionEnvironment.execute来提交。我回滚到1.10版本的代码后，因为我看1.11版本里如果使用sqlUpdate执行insertInto，必须使用StreamTableEnvironment.execute来提交。现在我的问题就是这个：我想通过一个job来提交。现在有机制可以做不？在1.11版本里执行。因为之前的job逻辑较为复杂，做拆分的话还有点麻烦。 在 2020-07-17