Re: (无主题)

2021-06-20 文章 todd
如果使用flink run 指令启动任务,加-d 指令。作业执行结束后会退出app。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: FlinkSQL join 维表后一定会变成 upsert流吗?

2021-06-20 文章 todd
和你join使用的 left table RowKind 保持一致。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink 作业合理的堆空间使用率

2021-06-16 文章 todd
flink1.12.1版本,设置 taskmanager.memory.process.size: 1024m。 运行时,Heap Maximum:146M,Non-Heap Maximum:744 MB,Heap 使用率大概在10%-30%之间。 想问下合理的Heap 使用率大概是多少? 从而做进一步的资源优化。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql平台多版本支持问题

2021-06-16 文章 todd
补充一种使用Flink api提交方式,参考:https://github.com/todd5167/flink-spark-submiter。 任务提交、状态获取继承统一的接口,上层服务在引用时,通过spi的方式进行加载即可。 缺点: - 需要对Flink client源码、类加载机制有了解。 优点: - 良好的外部集成 - 不需要额外部署服务 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11版本 -C 指令并未上传udf jar包

2021-04-19 文章 todd
执行指令:flink run \ -m yarn-cluster \ -C file:////flink-demo-1.0.jar \ x 在Client端能够构建成功jobgraph,但是在yarn上会报UDF类找不到。我看Classpath中并未上传该JAR包。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

yarn-application模式下pipeline.classpaths绑定的资源包,应该一起上传

2021-04-14 文章 todd
pipeline.classpaths绑定的参数,需要从container本地加载,但是客户端提交的时候并未上传。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

yarn-application模式下pipeline.classpaths绑定的资源包,应该一起上传

2021-04-14 文章 todd
-- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.12版本,yarn-application模式Flink web ui看不到日志

2021-04-14 文章 todd
yarn上只有.out,.error的日志信息,但是从flink web ui的log框,无法显示日志内容。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.12版本,使用yarn-application模式提交任务失败

2021-03-15 文章 todd
我从flink yaml文件设置了如下配置项: HADOOP_CONF_DIR: execution.target: yarn-application yarn.provided.lib.dirs:hdfs://... pipeline.jars: hdfs://... 所以我不确定你们使用yarn-application如何进行的配置 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.12版本,使用yarn-application模式提交任务失败

2021-03-15 文章 todd
通过脚本提交flink作业,提交命令: /bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://xx/flink120/" hdfs://xx/flink-example.jar --sqlFilePath /xxx/kafka2print.sql flink使用的Lib及user jar已经上传到Hdfs路径,但是抛出以下错误: --- The program

Re: 怎么样在Flink中使用java代码提交job到yarn

2020-09-29 文章 todd
是不是和你上层依赖的jar冲突了?exclude剔除不了冲突jar吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 怎么样在Flink中使用java代码提交job到yarn

2020-09-29 文章 todd
https://github.com/todd5167/flink-spark-submiter 可以参考这个案例,用ClusterCLient提交。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复: Re: 怎么样在Flink中使用java代码提交job到yarn

2020-09-29 文章 todd
https://github.com/todd5167/flink-spark-submiter 可以参考下 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flinksql多sink案例

2020-09-29 文章 todd
最近在看flinksql优化部分的代码,Flink在对多sink情况下进行公共子图的优化。所以想问下finksql执行多sink的案例, 在org.apache.flink.table.planner.plan.optimize.RelNodeBlockPlanBuilder#buildRelNodeBlockPlan中convertedRelNodes.size才能大于1. -- Sent from: http://apache-flink.147419.n8.nabble.com/

flinksql jdbc异步维表

2020-08-06 文章 todd
JdbcDynamicTableSource默认以同步方式加载JDBC数据,未来是否有计划提供异步接口,用户可以自主选择第三方异步框架。 -- Sent from: http://apache-flink.147419.n8.nabble.com/