flinkSQL的ValueStateDescriptor没有设置StateTtlConfig

2021-02-03 文章 stgztsw
目前用的是flink1.10的版本,发现flinkSQL的场景(rocksdb),除了streamingJoinOperator以外,ValueStateDescriptor都没有设置StateTtlConfig,这样的话会不会导致groupby之类的聚合操作的状态永远不会被清理,而导致越来越大?好像也没有任何配置来调整?这是不是不太合理? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: sql编译代码时超过64kb导致编译失败

2021-01-27 文章 stgztsw
这个限制不仅仅在janino这边,我们这边已经尝试去除了janino这边的64kb的限制,但是逻辑运行到jdk这边也出现了同样的限制。目前spark是通过spark.conf.set("spark.sql.codegen.wholeStage",false)来避免类似的问题,所以我觉得最好的方法是可以通过配置来限制一些SQL逻辑计划的优化,避免不同的view的逻辑合并到一起,这样就能通过将拆分sql来将逻辑拆分到不同的function中,从而避免一个类函数太大。 Caused by: java.lang.ClassFormatError: Invalid method Code lengt

sql编译代码时超过64kb导致编译失败

2021-01-27 文章 stgztsw
sql编译代码时超过64kb导致编译失败,请问有啥办法绕过这个问题吗?尝试过把sql逻辑拆开成多个view, 但是sql逻辑优化的时候还是会合并到一起,无法绕过 Caused by: org.codehaus.janino.InternalCompilerException: Code of method "map(Ljava/lang/Object;)Ljava/lang/Object;" of class "ExpressionReducer$3674" grows beyond 64 KB at org.codehaus.janino.CodeContext.make

Re: 为什么要关闭calcite的隐式转换功能

2020-12-06 文章 stgztsw
收到,期待~ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 为什么要关闭calcite的隐式转换功能

2020-12-03 文章 stgztsw
我觉得既然社区准备兼容hive,隐式转换和其他hive的语法兼容还是必须的。实际生产环境里运行的hive sql往往都是很复杂的,目前按flink对于hive的兼容程度,大部分的hivesql基本都无法运行成功。(其他欠缺的还有不支持bangEquel, create table as 等等,这边就不一一列举了),希望社区能够对hive这块支持的更完善一点。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

请问为什么关闭calcite的隐式转换

2020-12-02 文章 stgztsw
目前flink sql这边不支持隐式转换,导致sql中发现类型不一致的场景会报错,而且flink hive sql也有同样的问题,但是hive本身其实是支持的,这个差别导致原来hive sql任务基本无法使用flink来执行。我在调试的时候发现其实calcite本身是有隐式转换的功能的,但是flink这边强制的关闭了隐式转换。请问关闭的原因是什么?如果我们希望开启的话,会导致什么问题吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

为什么要关闭calcite的隐式转换功能

2020-12-02 文章 stgztsw
目前flink sql,flink hive sql都不支持隐式转换功能。我们在调试的时候发现其实calcite本身是支持的。但是flink这边强制关闭了。而hive本身是支持隐式转换的。这导致我们的hive任务无法迁移到flink上执行。请问关闭的原因是什么?如果我们这边开启会带来什么问题吗?