回复：flink connector formats问题

你好,这个是可以进行自定义的 参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/ -- 发件人：酷酷的浑蛋 发送时间：2020年7月17日(星期五) 10:42 收件人：user-zh 主　题：flink connector formats问题

回复：flink1.9写权限认证的es6

你好,请问是FlinkSQL么 FLinkSQL可以参考下这份邮件 http://apache-flink.147419.n8.nabble.com/ddl-es-td2094.html DataStream可以尝试自定义ElasticsearchSink实现权限认证 -- 发件人：Dream-底限 发送时间：2020年7月17日(星期五) 10:12 收件人：user-zh 主　题：flink1.9写权限认证的es6 hi：

回复：flink connector formats问题

找到了，谢谢 | | apache22 | | apach...@163.com | 签名由网易邮箱大师定制 在2020年07月17日 10:57，酷酷的浑蛋 写道： 我看您写了'format.type' = ‘custom'，这个custom 是跟哪里关联的呢？ 还是说这里要写类路径？ 在2020年07月17日 10:47，夏帅 写道： 你好,这个是可以进行自定义的 参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/

Re: Flink yarn session exception

好搭，谢谢！ On Thu, Jul 16, 2020 at 5:32 PM 忝忝向仧 <153488...@qq.com> wrote: > 你可以看看lib里面的包跟官网的要求是不是一样的 > > > > 发自我的iPhone > > > -- Original -- > From: Rainie Li Date: Fri,Jul 17,2020 1:06 AM > To: user-zh Subject: Re: Flink yarn session exception > > > >

回复：flink connector formats问题

我看您写了'format.type' = ‘custom'，这个custom 是跟哪里关联的呢？ 还是说这里要写类路径？ 在2020年07月17日 10:47，夏帅 写道： 你好,这个是可以进行自定义的 参考https://jxeditor.github.io/2020/06/11/FlinkSQL%E8%87%AA%E5%AE%9A%E4%B9%89FORMAT_TYPE/ -- 发件人：酷酷的浑蛋 发送时间：2020年7月17日(星期五)

Re: flink 1.11任务提交的问题

hi sunfulin, 目前这个做不到。executeSQL 和 table to DataStream 是分别优化和提交作业的。 即使在1.11 之前，table to DataStream 也不会和 sqlUpdate 或者 insertInto 的语句一起优化， 虽然只提交了一个job，但是是两个独立的pipeline，也没有计算复用，和两个job没啥差别。 Best， Godfrey Leonard Xu 于2020年7月17日周五 上午12:12写道： > Hi， > > 我理解目前好像做不到， cc: godfrey 大佬看看 > > 祝好， > Leonard Xu

回复： flink1.9写权限认证的es6

get到了 来自钉钉专属商务邮箱-- 发件人：Yangze Guo 日　期：2020年07月17日 13:38:35 收件人：user-zh 主　题：Re: flink1.9写权限认证的es6 Hi, SQL添加认证的逻辑已经在FLINK-18361[1] 中完成了，1.12版本会支持这个功能 [1] https://issues.apache.org/jira/browse/FLINK-18361 Best, Yangze Guo On

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Peihui 感谢你的回复，我这边没有看到附件，你那边能否确认下呢？ Best, Congxian Peihui He 于2020年7月17日周五 上午10:13写道： > Hi Congxian > > 见附件。 > > Best wishes. > > Congxian Qiu 于2020年7月16日周四 下午8:24写道： > >> Hi Peihui >> >> 感谢你的回信。能否帮忙用 1.10.0 复现一次，然后把相关的日志(JM log 和 TM Log，方便的话，也开启一下 debug >> 日志）分享一下呢？如果日志太大的话，可以尝试贴待

flink-1.11 DDL ????hdfs???? Cannot instantiate user function

standalone lib jar?? flink-connector-hive_2.11-1.11.0.jar flink-json-1.11.0.jar flink-sql-connector-kafka_2.12-1.11.0.jar log4j-api-2.12.1.jar flink-csv-1.11.0.jar flink-parquet_2.11-1.11.0.jar flink-table_2.11-1.11.0.jar log4j-core-2.12.1.jar

Re:Re: flink 1.11任务提交的问题

hi, 感谢回复。这个机制我理解了。想了解下，有办法在1.11里仍然使用1.10版本的作业提交机制么？我现在虽然把代码回滚到1.10版本的逻辑，但是提交作业仍然有问题：比如我如果不执行env.execute，那么table to DataStream的语句不会生成拓扑。 在 2020-07-17 12:09:20，"godfrey he" 写道： >hi sunfulin, >目前这个做不到。executeSQL 和 table to DataStream 是分别优化和提交作业的。 >即使在1.11 之前，table to DataStream 也不会和

flink connector formats问题

请问flink可以自定义format吗，目前提供的format必须要进行一次数据过滤为规则数据才行，可不可以自定义format实现自己的数据格式source呢？ 目前flink支持的： | 格式 | 支持的连接器 | | CSV | Apache Kafka, Filesystem | | JSON | Apache Kafka, Filesystem, Elasticsearch | | Apache Avro | Apache Kafka, Filesystem | | Debezium CDC | Apache Kafka | | Canal CDC | Apache Kafka |

Re: flink 1.11 checkpoint使用

Hi, 能确认一下 kafka 中有完整的全量数据吗？ 也就是 这个 DELETE 消息之前，有对应的 INSERT 消息吗？ 如果没有的话，是可能会发生这个现象的（DELETE 在 group by 节点会被认为脏数据而丢掉）。 当然也可以像 godfrey 建议的那样，不 groupby，直接全部字段 INSERT INTO sink，DELETE 就不会被丢弃掉。 Best, Jark On Thu, 16 Jul 2020 at 21:56, godfrey he wrote: > 为什么要 GROUP BY id,name ,description, weight ？

flink-1.11 KafkaDynamicTableSouce groupBy 结果怎样发送到 kafka

INSERT INTO kafka_dws_artemis_out_order select warehouse_id, count(*) from kafka_ods_artemis_out_order group by warehouse_id; [ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.TableException: Table sink 'myhive.wanglei.kafka_dws_artemis_out_order' doesn't support

Re: flink1.9写权限认证的es6

Hi, SQL添加认证的逻辑已经在FLINK-18361[1] 中完成了，1.12版本会支持这个功能 [1] https://issues.apache.org/jira/browse/FLINK-18361 Best, Yangze Guo On Fri, Jul 17, 2020 at 10:12 AM Dream-底限 wrote: > > hi： > 请问flink如何将数据写入到权限认证的es集群哪，没找到配置用户名密码的地方，哪位大佬帮忙解答一下

?????? ??????????: flink state

??thanku all ---- ??: "Congxian Qiu"https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/stream/state/broadcast_state.html [2] https://cloud.tencent.com/developer/article/1509789 Best,

Re: 【求助】Flink Hadoop依赖问题

你可以在Pod里面确认一下/data目录是否正常挂载，另外需要在Pod里ps看一下 起的JVM进程里的classpath是什么，有没有包括hadoop的jar 当然，使用Roc Marshal建议的增加flink-shaded-hadoop并且放到$FLINK_HOME/lib下也可以解决问题 Best, Yang Roc Marshal 于2020年7月15日周三 下午5:09写道： > > > > 你好，Z-Z, > > 可以尝试在 >

回复：flink1.11 set yarn slots failed

是不是应该用-D作为前缀来设置,比如-Dtaskmanager.numberOfTaskSlots=4 原始邮件 发件人: Zhou Zach 收件人: Flink user-zh mailing list 发送时间: 2020年7月16日(周四) 14:51 主题: flink1.11 set yarn slots failed Hi all, 使用如下命令，设置Number of slots per TaskManager /opt/flink-1.11.0/bin/flink run-application -t yarn-application \

Re: flink1.11 set yarn slots failed

-t是新引入的参数，是不支持以前的-yxxx参数的 你需要使用-Dtaskmanager.numberOfTaskSlots=4这样来设置 Zhou Zach 于2020年7月16日周四 下午2:51写道： > Hi all, > > > 使用如下命令，设置Number of slots per TaskManager > /opt/flink-1.11.0/bin/flink run-application -t yarn-application \ > -Djobmanager.memory.process.size=1024m \ >

flink1.11 set yarn slots failed

Hi all, 使用如下命令，设置Number of slots per TaskManager /opt/flink-1.11.0/bin/flink run-application -t yarn-application \ -Djobmanager.memory.process.size=1024m \ -Dtaskmanager.memory.process.size=2048m \ -ys 4 \

Re: Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi chenxyz, 我们遇到的问题应该是一样的，换了1.10.1 后就可以从checkpoint 中恢复了。珞 Best wishes. chenxyz 于2020年7月15日周三 下午9:53写道： > > > > Hello， > Peihui，可以参考下是不是和这个问题类似？之前我在1.10.0也遇到过。 > > http://apache-flink.147419.n8.nabble.com/rocksdb-Could-not-restore-keyed-state-backend-for-KeyedProcessOperator-td2232.html#a2239

flink1.11 Application 模式下启动失败问题

Hi all 我把作业提交模式从 yarn-cluster 换成 application 模式，启动失败，报两个错误： 1、java.lang.ClassNotFoundException: org.apache.hadoop.yarn.api.records.ResourceInformation 2、cannot assign instance of org.apache.commons.collections.map.LinkedMap to field

Re: [sql-client] 通过sql-client提交sql怎么设置checkpointing.interval

直接在 flink-conf.yaml 文件中加配置 execution.checkpointing.interval: 6 wangl...@geekplus.com.cn Sender: Harold.Miao Send Time: 2020-07-16 13:27 Receiver: user-zh Subject: [sql-client] 通过sql-client提交sql怎么设置checkpointing.interval hi flink users 通过sql-client提交sql怎么设置checkpointing.interval？

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Peihui Flink-1.10.1 里面涉及到相关代码的改动就是更改了restore时path的类[1]，但是你们的操作系统并不是windows，按道理应该是没有关系的。 另外，这个问题在你遇到failover时候是必现的么？从文件路径看，作业也没有开启local recovery是吧？ [1] https://github.com/apache/flink/commit/399329275e5e2baca9ed9494cce97ff732ac077a 祝好 唐云 From: Peihui He

FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

比如： CREATE TABLE my_table ( id BIGINT, first_name STRING, last_name STRING, email STRING ) WITH ( 'connector'='kafka', 'topic'='user_topic', 'properties.bootstrap.servers'='localhost:9092', 'scan.startup.mode'='earliest-offset', 'format'='debezium-json' ); 最终解析 debezium-json 应该是

Re: Flink yarn session exception

日志里说得比较清楚了，classpath 里没有 Hadoop 的 lib。可以参考这个文档 [1] 来配置你的环境。 1. https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html Best, Paul Lam > 2020年7月16日 15:46，Rainie Li 写道： >

来自李国鹏的邮件

退订

Flink on k8s 中，Jar 任务 avatica-core 依赖和 flink-table jar 冲突问题

Hi 社区， 我现在正在迁移任务到 k8s ,目前版本为 Flink 1.6 版本，k8s 上面作业运行模式为 standalone per job. 现在遇到一个问题，业务方 Flink jar 任务使用了 org.apache.calcite.avatica 依赖，也就是下面依赖： org.apache.calcite.avatica avatica-core ${avatica.version} 但是这个依赖其实在 flink-table 模块中，也有这个依赖： [image:

Flink 1.11 Hive Streaming Write的问题

想请教下大家 hive streaming write需要有哪些配置，不知道为什么我的作业能够跑起来，但是没有数据写入hive。 批量的hive写入，流环境的读取是正常的。 附代码，很简短： public class KafkaToHiveStreaming { public static void main(String[] arg) throws Exception{ StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment();

Re:回复：flink1.11 set yarn slots failed

-D前缀好使，要设置yarn name用什么参数啊，1.11官网的文档有些都不好使了 在 2020-07-16 15:03:14，"flinkcx" 写道： >是不是应该用-D作为前缀来设置,比如-Dtaskmanager.numberOfTaskSlots=4 > > > 原始邮件 >发件人: Zhou Zach >收件人: Flink user-zh mailing list >发送时间: 2020年7月16日(周四) 14:51 >主题: flink1.11 set yarn slots failed > > >Hi all,

Re:回复：flink1.11 set yarn slots failed

可以看这里https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html 原始邮件 发件人: Zhou Zach 收件人: user-zh 发送时间: 2020年7月16日(周四) 15:28 主题: Re:回复：flink1.11 set yarn slots failed -D前缀好使，要设置yarn name用什么参数啊，1.11官网的文档有些都不好使了 在 2020-07-16 15:03:14，"flinkcx" 写道：

flink1.11 Application 模式下启动失败问题

Hi all 我把作业提交模式从 yarn-cluster 换成 application 模式，启动失败，报两个错误： 1、java.lang.ClassNotFoundException: org.apache.hadoop.yarn.api.records.ResourceInformation 2、cannot assign instance of org.apache.commons.collections.map.LinkedMap to field

Flink yarn session exception

大佬们好，我是flink新手，正在用flink 1.9.1 Flink APP cannot run, APP log error, 想求教一下会是什么原因造成的，多谢 2020-06-16 17:06:21,921 WARN org.apache.flink.client.cli.CliFrontend - Could not load CLI class org.apache.flink.yarn.cli.FlinkYarnSessionCli. java.lang.NoClassDefFoundError:

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Yun, 不好意思这么久回复，是@Congxian 描述的第2种情况。异常就是我通过socket 输入的特定的word抛出runtimeexception 使task 失败，然后job会尝试从checkpoint中恢复，但是恢复的过程中就报 Caused by: java.nio.file.NoSuchFileException:

Re:回复：flink1.11 set yarn slots failed

可以看这里 原始邮件 发件人: Zhou Zach 收件人: user-zh 发送时间: 2020年7月16日(周四) 15:28 主题: Re:回复：flink1.11 set yarn slots failed -D前缀好使，要设置yarn name用什么参数啊，1.11官网的文档有些都不好使了 在 2020-07-16 15:03:14，"flinkcx" 写道： >是不是应该用-D作为前缀来设置,比如-Dtaskmanager.numberOfTaskSlots=4 > > > 原始邮件 >发件人: Zhou Zach >收件人: Flink user-zh

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Yun， 作业没有开启local recovery， 我这边测试1.10.0是必现的。 Best wishes. Yun Tang 于2020年7月16日周四 下午5:04写道： > Hi Peihui > > Flink-1.10.1 > 里面涉及到相关代码的改动就是更改了restore时path的类[1]，但是你们的操作系统并不是windows，按道理应该是没有关系的。 > 另外，这个问题在你遇到failover时候是必现的么？从文件路径看，作业也没有开启local recovery是吧？ > > > [1] >

flink1.10升级到flink1.11 jar冲突

hello 大家好 我在flink由1.10升级到1.11过程中遇到如下问题，请问是哪个包冲突了（本地可跑，上测试环境就报错），谢谢： Caused by: org.apache.flink.runtime.state.BackendBuildingException: Caught unexpected exception. at org.apache.flink.contrib.streaming.state.RocksDBKeyedStateBackendBuilder.build(RocksDBKeyedStateBackendBuilder.java:329) at

flink1.11 Application 模式下启动失败问题

Hi all 我把作业提交模式从 yarn-cluster 换成 application 模式，启动失败，报两个错误： 1、java.lang.ClassNotFoundException: org.apache.hadoop.yarn.api.records.ResourceInformation 2、cannot assign instance of org.apache.commons.collections.map.LinkedMap to field

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Yun, 我这边测试需要在集群上跑的，本地idea跑是没有问题的。 flink 1.10.1 的flink-conf.yaml 是cope flink 1.10.0 的，但是1.10.0 就是报错。 附件就是源码job。如果你要的跑需要改下socket host的。只要socket 中输入hepeihui 就会抛异常的。 Peihui He 于2020年7月16日周四 下午5:26写道： > Hi Yun， > > 作业没有开启local recovery， 我这边测试1.10.0是必现的。 > > Best wishes. > > Yun Tang

state??????checkpoint??????

env.enableCheckpointing(1000);env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); // env.setRestartStrategy(RestartStrategies.noRestart()); env.getCheckpointConfig().setCheckpointTimeout(500);

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Congxian, 不好意思，本来想准备下例子再回下邮件的，一直拖了这么久。 情况是你说的第2种。 同@chenxyz遇到的情况类似，日志可以参考chenxyz发的 http://apache-flink.147419.n8.nabble.com/rocksdb-Could-not-restore-keyed-state-backend-for-KeyedProcessOperator-td2232.html 按照chenxyz 的建议换了1.10.1版本后就没有问题了。 Best wishes. Congxian Qiu 于2020年7月15日周三

flink1.11 Application 模式下启动失败问题

Hi all 我把作业提交模式从 yarn-cluster 换成 application 模式，启动失败，报两个错误： 1、java.lang.ClassNotFoundException: org.apache.hadoop.yarn.api.records.ResourceInformation 2、cannot assign instance of org.apache.commons.collections.map.LinkedMap to field

Re:Re:回复：flink1.11 set yarn slots failed

nice, 可以不用看Command-Line Interface的文档了 在 2020-07-16 16:16:00，"xiao cai" 写道： >可以看这里https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html > > 原始邮件 >发件人: Zhou Zach >收件人: user-zh >发送时间: 2020年7月16日(周四) 15:28 >主题: Re:回复：flink1.11 set yarn slots failed > >

Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

通过Java 的 SPI 机制来找到对应的 format，可以参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/#how-to-use-connectors Best, Godfrey wangl...@geekplus.com.cn 于2020年7月16日周四 下午4:02写道： > 比如： > > CREATE TABLE my_table ( > id BIGINT, > first_name STRING, > last_name

flink state????

?? ??bloomfilter .keyBy(_._1).process(new KeyedProcessFunction[String,(String,String),String]() { var state:ValueState[BloomFilter[CharSequence]]= null override def open(parameters: Configuration): Unit = { val stateDesc = new

[sql-client] 如何绕过交互式模式去做ddl

hi flink users 众所周知，sql-client.sh的非交互模式下的-u是不支持ddl的，现在我们是用代码来调用sql-client.sh来做ddl， 这样在交互模式如何去做。 通过hack sql client代码可以实现，但是不改代码的情况下有没有什么最佳实践。谢谢！ -- Best Regards, Harold Miao

回复：Flink 1.11 Hive Streaming Write的问题

hi 需要开启checkpoint | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年07月16日 18:03，李佳宸 写道： 想请教下大家 hive streaming write需要有哪些配置，不知道为什么我的作业能够跑起来，但是没有数据写入hive。 批量的hive写入，流环境的读取是正常的。 附代码，很简短： public class KafkaToHiveStreaming { public static void

Re: Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

我在 flink-formats/flink-json/src/main/resources/META-INF/services/org.apache.flink.table.factories.Factory 找到了 SPI 的配置： org.apache.flink.formats.json.JsonFileSystemFormatFactory org.apache.flink.formats.json.JsonFormatFactory org.apache.flink.formats.json.debezium.DebeziumJsonFormatFactory

Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

Hi, > 在 2020年7月16日，19:04，wangl...@geekplus.com.cn 写道： > > 我的理解肯定要有一个地方指明 debezium-json 要对应到 DebeziumJsonFormatFactory， 但是我 grep > 代码没找到类似的关系映射配置。 你DDL中不是写了 ‘format’ = ‘debzium-json’ 吗？就是这里指明的。

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Peihui 感谢你的回信。能否帮忙用 1.10.0 复现一次，然后把相关的日志(JM log 和 TM Log，方便的话，也开启一下 debug 日志）分享一下呢？如果日志太大的话，可以尝试贴待 gist[1] 然后邮件列表回复一个地址即可， 非常感谢~ [1] https://gist.github.com/ Best, Congxian Peihui He 于2020年7月16日周四 下午5:54写道： > Hi Yun, > > 我这边测试需要在集群上跑的，本地idea跑是没有问题的。 > flink 1.10.1 的flink-conf.yaml 是cope

退订

退订

flink 1.11 checkpoint使用

我在使用flink 1.11.0中得ddl 部分 采用debezium-json做cdc得时候 从checkpoint恢复以后,新来op=d的数据会删除失败 重启命令:./bin/flink run -m yarn-cluster /root/bigdata-flink-1.0.jar -s hdfs://prehadoop01:8020/flink/checkpoints/4cc5df8b96e90c1c2a4d3719a77f51d1/chk-819/_metadata 代码: EnvironmentSettings settings =

Re: flink state问题

Hi 你可以尝试用 state-process-api[1] 看一下 savepoint 中 state 的内容，先缩小一下问题的范围，如果 savepoint 中就没有了，那就是序列化到 savepoint 的时候出错了，savepoitn 是有的，那么就是恢复的时候出错了。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/libs/state_processor_api.html Best, Congxian op <520075...@qq.com> 于2020年7月16日周四

Re: state无法从checkpoint中恢复

Hi 1 counts 的数据丢失了能否详细描述一下呢？你预期是什么，看到什么现象 2 能否把你关于 counts 的其他代码也贴一下 3. 你的作业是否从 checkpoint 恢复了呢？这个可以从 JM log 来查看 4. 如果你确定是数据有丢失的话，或许你可以使用 state-process-api[1] 看一下是序列化出去有问题，还是 restore 回来有问题 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/libs/state_processor_api.html Best,

Re: flink 1.11 checkpoint使用

为什么要 GROUP BY id,name ,description, weight ？ 直接 "INSERT INTO sink SELECT id,name ,description, weight FROM debezium_source" 不能满足需求？ 曹武 <14701319...@163.com> 于2020年7月16日周四 下午9:30写道： > 我在使用flink 1.11.0中得ddl 部分 采用debezium-json做cdc得时候 > 从checkpoint恢复以后,新来op=d的数据会删除失败 > 重启命令:./bin/flink run -m

Re: Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

我的理解 ： 大概就是通过spi机制加载类，然后通过属性去过滤出来需要的class 类似下面的代码 private static T findSingleInternal( Class factoryClass, Map properties, Optional classLoader) { List tableFactories = discoverFactories(classLoader); List filtered = filter(tableFactories, factoryClass, properties);

Re: Flink on k8s 中，Jar 任务 avatica-core 依赖和 flink-table jar 冲突问题

Hi 你的图挂了，如果单纯想解决 jar 包冲突的问题，那么 maven shade plugin[1] 或许对你有用 [1] https://maven.apache.org/plugins/maven-shade-plugin/examples/class-relocation.html Best, Congxian LakeShen 于2020年7月16日周四 下午6:03写道： > Hi 社区， > > 我现在正在迁移任务到 k8s ,目前版本为 Flink 1.6 版本，k8s 上面作业运行模式为 standalone per job. > >

Re: 退订

Hi, 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list >

Re: 【求助】flink打包到集群运行问题

Hi 图片的文字太小了，可以看一下这个邮件[1]，应该是一个问题，按理在 google 能够搜索到这个邮件列表的 [1] http://apache-flink.147419.n8.nabble.com/Could-not-find-a-suitable-table-factory-for-TableSourceFactory-td3287.html Best, Congxian 徐粟 于2020年7月16日周四 下午8:02写道： > > > 下面是被转发的邮件： > > *发件人: *徐粟 > *主题: **【求助】flink打包到集群运行问题* > *日期:

flink 1.11任务提交的问题

hi， 请教下flink 1.11任务提交的问题。如果我的一个作业里既有sql dml提交（executeSQL执行），又通过DataStream.addSink来写出， 通过StreamExecutionEnvironment.execute提交，yarn per-job貌似会提交两个作业。这种情况下，我该如何处理呢？只想提交一个作业。

????

Re: flink 1.11任务提交的问题

Hi， 我理解目前好像做不到， cc: godfrey 大佬看看 祝好， Leonard Xu > 在 2020年7月16日，23:08，sunfulin 写道： > > hi， > 请教下flink 1.11任务提交的问题。如果我的一个作业里既有sql > dml提交（executeSQL执行），又通过DataStream.addSink来写出， > 通过StreamExecutionEnvironment.execute提交，yarn > per-job貌似会提交两个作业。这种情况下，我该如何处理呢？只想提交一个作业。

Re: Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

谢谢，我理解了。 wangl...@geekplus.com.cn Sender: Harold.Miao Send Time: 2020-07-16 19:33 Receiver: user-zh Subject: Re: Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？ 我的理解 ： 大概就是通过spi机制加载类，然后通过属性去过滤出来需要的class 类似下面的代码 private static T findSingleInternal( Class factoryClass, Map

Re: Flink 1.11 Hive Streaming Write的问题

好的，谢谢～～～ JasonLee <17610775...@163.com> 于2020年7月16日周四 下午8:22写道： > hi > 需要开启checkpoint > > > | | > JasonLee > | > | > 邮箱：17610775...@163.com > | > > Signature is customized by Netease Mail Master > > 在2020年07月16日 18:03，李佳宸 写道： > 想请教下大家 hive streaming write需要有哪些配置，不知道为什么我的作业能够跑起来，但是没有数据写入hive。 >

Re: Flink yarn session exception

你可以看看lib里面的包跟官网的要求是不是一样的 发自我的iPhone -- Original -- From: Rainie Li https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html < https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html Best,

Re: Flink on k8s 中，Jar 任务 avatica-core 依赖和 flink-table jar 冲突问题

嗯嗯，Congxian,感谢你的回复，我通过 Maven Shaded 解决问题。 Congxian Qiu 于2020年7月16日周四 下午8:19写道： > Hi > > 你的图挂了，如果单纯想解决 jar 包冲突的问题，那么 maven shade plugin[1] 或许对你有用 > > [1] > > https://maven.apache.org/plugins/maven-shade-plugin/examples/class-relocation.html > Best, > Congxian > > > LakeShen 于2020年7月16日周四

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Congxian 见附件。 Best wishes. Congxian Qiu 于2020年7月16日周四 下午8:24写道： > Hi Peihui > > 感谢你的回信。能否帮忙用 1.10.0 复现一次，然后把相关的日志(JM log 和 TM Log，方便的话，也开启一下 debug > 日志）分享一下呢？如果日志太大的话，可以尝试贴待 gist[1] 然后邮件列表回复一个地址即可， > 非常感谢~ > > [1] https://gist.github.com/ > > Best, > Congxian > > > Peihui He 于2020年7月16日周四

flink1.9写权限认证的es6

hi： 请问flink如何将数据写入到权限认证的es集群哪，没找到配置用户名密码的地方，哪位大佬帮忙解答一下