thx
silence 于2020年9月22日周二 上午11:54写道：
> 写过一个类似的可以参考一下
>
> private static List lookupSelectTable(SqlNode sqlNode) {
> List list = new ArrayList<>();
> if (sqlNode instanceof SqlSelect) {
> SqlNode from = ((SqlSelect) sqlNode).getFrom();
>
大佬 能不能给点示例
Benchao Li 于2020年9月21日周一 下午4:38写道：
> 我感觉可以先把SQL转成RelNode，然后用Calcite的visitor模式的RelShuttle来获取？
>
> Harold.Miao 于2020年9月21日周一 下午1:58写道：
>
> > 主要是我没有完整的所有单元case， 总是感觉写的不完整。
> >
> > 郭士榕 于2020年9月21日周一 上午11:08写道：
> >
> > >
> > >
>
主要是我没有完整的所有单元case， 总是感觉写的不完整。
郭士榕 于2020年9月21日周一 上午11:08写道：
>
>
>
> 就是要一个一个判断做解析下推的，比如你举的SqlJoin例子, 然后继续left，right下推。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-09-21 10:50:31，"Harold.Miao" 写道：
> >主要是嵌套回溯特别复杂， 例如getFrom之后后面
主要是嵌套回溯特别复杂， 例如getFrom之后后面可能又是嵌套一个SqlJoin等等类似情况太多。 还有要做很多的类型转换。
郭士榕 于2020年9月21日周一 上午10:21写道：
> 可以使用calcite。解析kind为CREATE_TABLE的语句，解析INSERT，下推from的表。
>
>
>
>
>
> 在 2020-09-21 10:12:13，"Harold.Miao" 写道：
> >hi all
> >
> >请教大家在复杂sql语句中parse所有的
hi all
请教大家在复杂sql语句中parse所有的table name是怎么实现的。
谢谢
--
Best Regards,
Harold Miao
operator
> [2]. https://github.com/GoogleCloudPlatform/flink-on-k8s-operator
> [3].
>
> https://ci.apache.org/projects/flink/flink-docs-master/ops/deployment/native_kubernetes.html
> [4]. https://github.com/wangyang0918/flink-native-k8s-operator
>
>
> Best,
> Yang
>
>
hi flink
请教一下官方在支持k8s operator部署这块有什么计划吗？
谢谢
--
Best Regards,
Harold Miao
是我的代码问题，我set sp的时候streamGraph里面的算子还没有构建出来，正确的做法是在生成jobGraph的时候set 进去。 感谢
Jark Wu 于2020年9月15日周二 上午11:31写道：
> 是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？
>
> On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote:
>
> > 还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下
> >
> > priv
是同一个insert任务， 只是重启任务的时候 ，我加了这些代码，构造一个 SavepointRestoreSettings 来恢复cp
请教 我如何判断cp真正写入了hdfs呢，meta文件有什么工具可以解析吗
谢谢
Jark Wu 于2020年9月15日周二 上午11:31写道：
> 是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？
>
> On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote:
>
> > 还有一点是 我们修改了sql-clien
k/runtime/checkpoint/metadata/MetadataV2V3SerializerBase.java#L442
> Best,
> Congxian
>
>
> Harold.Miao 于2020年9月14日周一 下午6:44写道：
>
> > hi all
> >
> > flink 版本： 1.11.1
> >
> > 我们利用sql-client提交任务， flink-conf.yaml配置如下
> >
> > state.backend: fi
hi all
flink 版本： 1.11.1
我们利用sql-client提交任务， flink-conf.yaml配置如下
state.backend: filesystem
state.backend.fs.checkpointdir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-data/23252
state.checkpoints.dir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23252
从checkpoint恢复 官方还不支持 我司是修改了sql-client来支持这个需求的
引领 于2020年9月4日周五 下午6:13写道：
>
>
> 想尝试采用flink-cdc 来清洗数据，但是尝试下来，困于几点：
> ① 使用sql-client 开启checkpoint ，如果程序挂掉，该如何接着checkpoint，继续执行相应程序。尤其是在执行group
> by或者是count等操作时该如何办？
> ② 如果以上方式不行，是否可以采用写代码的形式，重启时指定checkpoint，但还是采用flink-cdc的方式去消费
> | |
> 引领
> |
> |
>
hi
hive catlog只存储元数据，元数据信息可以通过hive client获取Hive
Table，然后通过table.getParameters()可以获取到。
至于具体数据，是跟你的元数据对应的存储系统相关的。要去对应的存储里面去查。
Bruce 于2020年8月20日周四 下午7:52写道：
> hi,all.
>
> hive仅作为元数据管理，具体数据不存储在hdfs上，通过hivecatalog可以读取到具体的数据吗？
>
>
>
>
> 比如hive里面存储了MySQL,Oracle的表元数据信息，可以用hivecatalog读取到具体的表数据吗？
>
>
>
谢谢 我想提交这个patch
Shengkai Fang 于2020年8月14日周五 下午4:33写道：
> hi, 我已经建了一个issue[1]跟踪这个情况，有兴趣的话可以帮忙修复下这个bug。
>
> [1] https://issues.apache.org/jira/browse/FLINK-18958
>
> Harold.Miao 于2020年8月13日周四 上午11:08写道：
>
> > hi all
> > 我发现TableColumn class不包含column c
hi all
我发现TableColumn class不包含column comment ， 给开发带来了一点麻烦，请教大家一下，谢谢
--
Best Regards,
Harold Miao
这个呢 https://github.com/ververica/flink-sql-gateway
杨荣 于2020年7月24日周五 下午3:19写道：
> 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者
> submit with sql file 的 feature 到现在都还没实现呢。
>
> Harold.Miao 于2020年7月24日周五 上午11:42写道：
>
> > 1 应该是可以的 主要是你要在f
1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address
源码里面有加载主配置文件的逻辑
public LocalExecutor(URL defaultEnv, List jars, List libraries) {
// discover configuration
final String flinkConfigDir;
try {
// find the configuration directory
flinkConfigDir =
非常抱歉，目前这是不支持的。
> 社区的e2e测试目前也是通过 Java 代码来调用 sql-client.sh 来实现执行 ddl 的。
> 不过社区是有计划支持 sql-client.sh 执行一个 sql 文件的，可以关注下FLINK-12828.
>
> Best,
> Jark
>
> On Thu, 16 Jul 2020 at 19:43, Harold.Miao wrote:
>
> > hi flink users
> >
> > 众所周知，sql-client.sh的非交互模式下的-u是
hi flink users
众所周知，sql-client.sh的非交互模式下的-u是不支持ddl的，现在我们是用代码来调用sql-client.sh来做ddl，
这样在交互模式如何去做。 通过hack sql client代码可以实现，但是不改代码的情况下有没有什么最佳实践。谢谢！
--
Best Regards,
Harold Miao
我的理解 ： 大概就是通过spi机制加载类，然后通过属性去过滤出来需要的class 类似下面的代码
private static T findSingleInternal(
Class factoryClass,
Map properties,
Optional classLoader) {
List tableFactories = discoverFactories(classLoader);
List filtered = filter(tableFactories, factoryClass, properties);
k-conf.yaml里
>
> Harold.Miao 于2020年7月16日周四 下午1:27写道：
>
> > hi flink users
> >
> > 通过sql-client提交sql怎么设置checkpointing.interval？
> > 我看了一下sql-client-defaults.yaml中的execution， 并没有发现这个参数。请教大家一下。
> > 谢谢
> >
> >
> >
> > --
> >
> > Best Regards,
> > Harold Miao
> >
>
--
Best Regards,
Harold Miao
hi flink users
通过sql-client提交sql怎么设置checkpointing.interval？
我看了一下sql-client-defaults.yaml中的execution， 并没有发现这个参数。请教大家一下。
谢谢
--
Best Regards,
Harold Miao
hi all
现在有个需求，就是一段用sql-client提交的sql任务需要动态修改kafka的scan.startup.mode，以支持不同的消费需求。请问有什么好的办法吗？
谢谢
--
Best Regards,
Harold Miao
23 matches
Mail list logo
