目前用的是flink1.10的版本,发现flinkSQL的场景(rocksdb),除了streamingJoinOperator以外,ValueStateDescriptor都没有设置StateTtlConfig,这样的话会不会导致groupby之类的聚合操作的状态永远不会被清理,而导致越来越大?好像也没有任何配置来调整?这是不是不太合理?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
这个限制不仅仅在janino这边,我们这边已经尝试去除了janino这边的64kb的限制,但是逻辑运行到jdk这边也出现了同样的限制。目前spark是通过spark.conf.set("spark.sql.codegen.wholeStage",false)来避免类似的问题,所以我觉得最好的方法是可以通过配置来限制一些SQL逻辑计划的优化,避免不同的view的逻辑合并到一起,这样就能通过将拆分sql来将逻辑拆分到不同的function中,从而避免一个类函数太大。
Caused by: java.lang.ClassFormatError: Invalid method Code lengt
sql编译代码时超过64kb导致编译失败,请问有啥办法绕过这个问题吗?尝试过把sql逻辑拆开成多个view,
但是sql逻辑优化的时候还是会合并到一起,无法绕过
Caused by: org.codehaus.janino.InternalCompilerException: Code of method
"map(Ljava/lang/Object;)Ljava/lang/Object;" of class
"ExpressionReducer$3674" grows beyond 64 KB
at org.codehaus.janino.CodeContext.make
收到,期待~
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我觉得既然社区准备兼容hive,隐式转换和其他hive的语法兼容还是必须的。实际生产环境里运行的hive
sql往往都是很复杂的,目前按flink对于hive的兼容程度,大部分的hivesql基本都无法运行成功。(其他欠缺的还有不支持bangEquel,
create table as 等等,这边就不一一列举了),希望社区能够对hive这块支持的更完善一点。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
目前flink sql这边不支持隐式转换,导致sql中发现类型不一致的场景会报错,而且flink hive
sql也有同样的问题,但是hive本身其实是支持的,这个差别导致原来hive
sql任务基本无法使用flink来执行。我在调试的时候发现其实calcite本身是有隐式转换的功能的,但是flink这边强制的关闭了隐式转换。请问关闭的原因是什么?如果我们希望开启的话,会导致什么问题吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
目前flink sql,flink hive
sql都不支持隐式转换功能。我们在调试的时候发现其实calcite本身是支持的。但是flink这边强制关闭了。而hive本身是支持隐式转换的。这导致我们的hive任务无法迁移到flink上执行。请问关闭的原因是什么?如果我们这边开启会带来什么问题吗?