写个程序自动根据表的元数据生成ddl语句
---原始邮件---
发件人: "肖越"<18242988...@163.com
发送时间: 2021年1月27日(周三) 下午3:29
收件人: "user-zh"
目前通过 connector 定义ddl的方式，通过数据库读取数据，方式如下：
CREATE TABLE MyUserTable (
id BIGINT,
name STRING,
age INT,
status BOOLEAN,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://localhost:3306/mydatabase',
'table-name' = 'users'
);
每次表格获取及定义都需要定义数据类型（如例子中:
各位大佬，Flink-sql-gateway 提交flink sql任务 ，如何使用flink自定义的udf
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
又或者是反过来。
你可以尝试把 kafka connector 放到 /libs 里，自己应用打包里不带 kafka jar 也不带 kafka connector
jar，应该就可以不改配置。
Best,
tison.
tison 于2021年1月27日周三 下午2:47写道：
> 你是打包的时候自己打了 kafka 的依赖进去吗？看起来是应用里有一个 kafka 版本 A，接口
> org.apache.kafka.common.serialization.Serializer 用应用 classloader 加载，然后
> flink kafka connector
你是打包的时候自己打了 kafka 的依赖进去吗？看起来是应用里有一个 kafka 版本 A，接口
org.apache.kafka.common.serialization.Serializer 用应用 classloader 加载，然后
flink kafka connector 用集群 classloader 加载，继承自集群 classloader 里的
org.apache.kafka.common.serialization.Serializer 导致这个问题。
Best,
tison.
lp <973182...@qq.com> 于2021年1月27日周三
zeppelin 有 rest api 接口，https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh
jinsx 于2021年1月27日周三 下午2:30写道：
> 如果使用zeppelin，zeppelin可以提供rpc接口吗
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
--
Best Regards
Jeff Zhang
bin/start-scala-shell.sh yarn
scala> Exception in thread "main" java.lang.NoSuchMethodError:
jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
at
scala.tools.nsc.interpreter.jline.JLineConsoleReader.initCompletion(JLineReader.scala:139)
at
如果使用zeppelin，zeppelin可以提供rpc接口吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我写了一个 process
function的demo，自定义source产生数据sink到kafka，然后发布到yarn集群运行，flink版本是1.11.2，采用application
Mode 部署，然后发现jobmanager-log报错： Failed to construct kafka producer；Caused by:
org.apache.kafka.common.KafkaException: class
org.apache.kafka.common.serialization.ByteArraySerializer is not an instance
of
抱歉..弄错了
On 1/27/2021 11:39，xuhaiLong wrote：
hi,
Flink 1.10.1 on
yarn，测试发现，`tableEnv.getConfig.setIdleStateRetentionTime(Time.days(180),
Time.days(181))` 修改为
`tableEnv.getConfig.setIdleStateRetentionTime(Time.days(30),
Time.days(31))`。在savePoInt中恢复 job 启动正常，运行的时候 在webUI Exception 中有连接
我的已经解决了，根据大佬Rui Li的建议，也可以参考我的方式：
https://blog.csdn.net/weixin_44500374/article/details/113244560
https://www.jianshu.com/p/f076a4f66527
--
Sent from: http://apache-flink.147419.n8.nabble.com/
参考大佬Rui Li的建议，我解决了，想参考的可以看看这个：
https://blog.csdn.net/weixin_44500374/article/details/113244560
https://www.jianshu.com/p/f076a4f66527
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi,
Flink 1.10.1 on
yarn，测试发现，`tableEnv.getConfig.setIdleStateRetentionTime(Time.days(180),
Time.days(181))` 修改为
`tableEnv.getConfig.setIdleStateRetentionTime(Time.days(30),
Time.days(31))`。在savePoInt中恢复 job 启动正常，运行的时候 在webUI Exception 中有连接 kafka
异常，Timeout expired while fetching
使用flink sql 1.12写入hive,未提交到yarn上成功，错误信息如下：
2021-01-26 20:44:23.133 [main] INFO
org.apache.hadoop.hive.metastore.HiveMetaStoreClient - Trying to connect to
metastore with URI thrift://hdcom02.prd.com:9083
2021-01-26 20:44:23.133 [main] INFO
org.apache.hadoop.hive.metastore.HiveMetaStoreClient -
Hi, 各位好：
我在使用state processor api创建新的包含kafka相关state的savepoint用来修改max
parallelism时，创建成功后使用此savepoint来重启任务，发现抛出如下异常：
{code}
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at
看报错提示，应该是没有指定正确HADOOP_HOME env? 如果用flink client提交，也是需要这个env的
zilong xiao 于2021年1月27日周三 上午10:17写道：
> 感谢您的回答，我在flink-conf.yaml里指定"execution.target: yarn-pre-job"后，尝试用rest
> api生成session id时会遇到异常，不清楚是为何，可否帮忙看下
>
> flink version: 1.11.3
> execution.target: yarn-pre-job
> rest api请求路径和参数：
>
Hi zilong,
sql gateway复用了很多底层API，其提交方式很多复用了flink client的逻辑。
针对提交模式，主要是看flink-conf.yaml中的的execution.config 配置, 关于这个配置
可以参考：org.apache.flink.configuration.DeploymentOptions#TARGET
如果是yarn-per-job, 需要配置为：“yarn-per-job”, 同时也依赖flink-conf.yaml中其他yarn的相关配置：
如果是yarn-pre-job，是如何提交到yarn集群的呢，跟host * rest port应该没关系了吧？
Sebastian Liu 于2021年1月27日周三 上午12:48写道：
> flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode,
> 在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml，
> 其中的host, rest port决定了提交的远端集群
>
> 罗显宴
感谢您的回答，我在flink-conf.yaml里指定"execution.target: yarn-pre-job"后，尝试用rest
api生成session id时会遇到异常，不清楚是为何，可否帮忙看下
flink version: 1.11.3
execution.target: yarn-pre-job
rest api请求路径和参数：
http://localhost:8083/v1/sessions
{
"planner": "blink",
"execution_type": "streaming"
}
我已经解决了，是因为我跑的任务jar包里的resources目录下的一个文件hdfs-site.xml是上一份集群的，我把这个去掉就可以了。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Rui Li
上午好，能帮我看一下这个http://apache-flink.147419.n8.nabble.com/flink-flink-lib-td10518.html也是由依赖冲突引起的吗。我的情况是这样的，一样的集群，之前是cdh的hadoop3.0.0，hive是2.2.0；现在准备从cdh迁回社区版的hadoop集群，变成3.3.0，hive是3.1.2，昨天解决了hive-exec的问题，但是今天同样的一份代码在上一个集群是可以正常提交正常跑的，但是放到新的集群这边跑，启动的时候就直接说加载不到lib包下的一个jar，就有点奇怪，是yarn冲突了吗？
--
Sent
sql gateway 提交job方式和flink client类似主要取决于flink-conf中的execution.config 配置,
对per job模式on yarn, 对应的配置是“yarn-per-job”,
这样加载的PipelineExecutor会控制为：YarnJobClusterExecutorFactory，具备向Yarn提交job的能力，这和使用flink
client
提交job最终是一个调用路径，余下在flink-conf中添加上yarn相关配置我理解就可以了。
flink-sql-gateway在提交job时，会根据SPI加载executor，然后推断是local mode还是remote mode,
在remote mode下，根据FLINK_HOME 目录下config.sh推断的FLINK_CONF_DIR 寻找flink-conf.yaml，
其中的host, rest port决定了提交的远端集群
罗显宴 <15927482...@163.com> 于2021年1月23日周六 上午11:19写道：
>
>
Hi all,
during a security maintenance PR [1], Chesnay noticed that the
flink-swift-fs-hadoop module is lacking test coverage [2].
Also, there hasn't been any substantial change since 2018, when it was
introduced.
On the user@ ML, I could not find any proof of significant use of the
module (no one
环境： flink 1.12.0
报这个错：报加载不到这个log4j-slf4j-impl-2.12.1.jar包，但是我的lib目录下是有这个包的：
$ cd lib/
$ ll
-rw-r--r-- 1 yujianbo yujianbo 91554 1月 26 18:44 flink-csv-1.12.0.jar
-rw-r--r-- 1 yujianbo yujianbo 114119885 1月 26 18:45
flink-dist_2.11-1.12.0.jar
-rw-r--r-- 1 yujianbo yujianbo136664 1月 26
我试过了，还是null
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我进行了如下操作：
https://yuchi.blog.csdn.net/article/details/112837327
然后报错:
java.lang.IllegalStateException: Process died with exit code 0
请问应该如何解决？
谢谢您～！
请问有关于flink-sql-gateway rest api以pre job模式提交作业到yarn集群的文档吗？
28 matches
Mail list logo
