如果使用flink run 指令启动任务,加-d 指令。作业执行结束后会退出app。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
和你join使用的 left table RowKind 保持一致。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
flink1.12.1版本,设置 taskmanager.memory.process.size: 1024m。
运行时,Heap Maximum:146M,Non-Heap Maximum:744 MB,Heap 使用率大概在10%-30%之间。
想问下合理的Heap 使用率大概是多少? 从而做进一步的资源优化。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
补充一种使用Flink api提交方式,参考:https://github.com/todd5167/flink-spark-submiter。
任务提交、状态获取继承统一的接口,上层服务在引用时,通过spi的方式进行加载即可。
缺点:
- 需要对Flink client源码、类加载机制有了解。
优点:
- 良好的外部集成
- 不需要额外部署服务
--
Sent from: http://apache-flink.147419.n8.nabble.com/
执行指令:flink run \
-m yarn-cluster \
-C file:////flink-demo-1.0.jar \
x
在Client端能够构建成功jobgraph,但是在yarn上会报UDF类找不到。我看Classpath中并未上传该JAR包。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
pipeline.classpaths绑定的参数,需要从container本地加载,但是客户端提交的时候并未上传。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
--
Sent from: http://apache-flink.147419.n8.nabble.com/
yarn上只有.out,.error的日志信息,但是从flink web ui的log框,无法显示日志内容。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我从flink yaml文件设置了如下配置项:
HADOOP_CONF_DIR:
execution.target: yarn-application
yarn.provided.lib.dirs:hdfs://...
pipeline.jars: hdfs://...
所以我不确定你们使用yarn-application如何进行的配置
--
Sent from: http://apache-flink.147419.n8.nabble.com/
通过脚本提交flink作业,提交命令:
/bin/flink run-application -t yarn-application
-Dyarn.provided.lib.dirs="hdfs://xx/flink120/" hdfs://xx/flink-example.jar
--sqlFilePath /xxx/kafka2print.sql
flink使用的Lib及user jar已经上传到Hdfs路径,但是抛出以下错误:
---
The program
是不是和你上层依赖的jar冲突了?exclude剔除不了冲突jar吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
https://github.com/todd5167/flink-spark-submiter 可以参考这个案例,用ClusterCLient提交。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
https://github.com/todd5167/flink-spark-submiter 可以参考下
--
Sent from: http://apache-flink.147419.n8.nabble.com/
最近在看flinksql优化部分的代码,Flink在对多sink情况下进行公共子图的优化。所以想问下finksql执行多sink的案例,
在org.apache.flink.table.planner.plan.optimize.RelNodeBlockPlanBuilder#buildRelNodeBlockPlan中convertedRelNodes.size才能大于1.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
JdbcDynamicTableSource默认以同步方式加载JDBC数据,未来是否有计划提供异步接口,用户可以自主选择第三方异步框架。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
15 matches
Mail list logo