Re: flink1.11版本 -C 指令并未上传udf jar包

-C,--classpath Adds a URL to each user code classloader on all nodes in the cluster. The paths must specify a protocol (e.g. file://) and be

Re: flink1.11版本 -C 指令并未上传udf jar包

Hi todd. -C 不会上传对应路径下的 jar，最终会被添加到集群的 classpath 中，需要运行的机器对应的路径下要有同样的Jar包才可以。 可以放在私服或者oss的服务，通过 http 的方式加载的 udf jar -C "http://host:port/xxx.jar; 希望能帮到你。 todd 于2021年4月19日周一 下午10:22写道： > 执行指令：flink run \ > -m yarn-cluster \ > -C file:////flink-demo-1.0.jar \ > x > >

flink1.11版本 -C 指令并未上传udf jar包

执行指令：flink run \ -m yarn-cluster \ -C file:////flink-demo-1.0.jar \ x 在Client端能够构建成功jobgraph，但是在yarn上会报UDF类找不到。我看Classpath中并未上传该JAR包。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink1.11执行sql当判空使用<> null,程序直接结束

嗯，是这样的。 datayangl 于2021年3月19日周五 下午5:55写道： > calcite解析将<> null 解析为unknown, 在flink优化阶段直接将unkown这个条件默认视为false，通过规则匹配 > 将整条sql优化为values(没有任何结果的sql)，于是直接将程序的source task finish了。这个过程我理解的对吗？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ -- Best, Benchao Li

Re: Flink1.11执行sql当判空使用<> null,程序直接结束

calcite解析将<> null 解析为unknown, 在flink优化阶段直接将unkown这个条件默认视为false，通过规则匹配 将整条sql优化为values(没有任何结果的sql)，于是直接将程序的source task finish了。这个过程我理解的对吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink1.11执行sql当判空使用<> null,程序直接结束

rn-sql.com/concept/three-valued-logic datayangl 于2021年3月19日周五 下午4:02写道： > 环境：flink1.11： > 代码如下: > val dataStreamEnv: StreamExecutionEnvironment = FlinkUtils.streamEnv > val tableEnv: StreamTableEnvironment = FlinkUtils.streamTableEnv > val sql = """SELECT > C

Flink1.11执行sql当判空使用<> null,程序直接结束

环境：flink1.11： 代码如下: val dataStreamEnv: StreamExecutionEnvironment = FlinkUtils.streamEnv val tableEnv: StreamTableEnvironment = FlinkUtils.streamTableEnv val sql = """SELECT CASE WHEN kafka_table.log_type = 'detect' AND kafka_table.

Re: Flink1.11如何实现Tumble Window后基于event time倒序取第一条作统计

GroupWindowAggregate不支持update或者delete的datasource。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink1.11如何实现Tumble Window后基于event time倒序取第一条作统计

Hi 大家好 现在想对5分钟的kafka数据开窗，因为是DTS同步消息数据，会有update 和 delete，所以需要对相同user_id的数据根据事件时间倒序第一条，统计最后一次status(状态字段)共有多少人。 marketingMapDS: DataStream[(String, String, Long)] | tEnv.createTemporaryView("test", marketingMapDS,$"status", $"upd_user_id", $"upd_time".rowtime) val resultSQL =

??????????Flink1.11??flink-runtime-web????

hi Michael, ?? ---- ??: "user-zh"

Re:回复：编译Flink1.11的flink-runtime-web失败

---原始邮件-- >发件人: > "user-zh" > >发送时间:2021年3月3日(星期三) 上午10:50 >收件人:"user-zh" >主题:Re:编译Flink1.11的flink-runtim

??????????Flink1.11??flink-runtime-web????

hi Michael, ??flink 1.11 realseflink-runtime-web1.11-SNAPSHOT?? ---- ??: "user-zh"

??????????Flink1.11??flink-runtime-web????

hi Michael, ??flink 1.11 realseflink-runtime-web1.11-SNAPSHOT?? ---- ??: "user-zh"

Re:????Flink1.11??flink-runtime-web????

?? -SNAPSHOT ??jar??release ?? ?? ?? 2021-03-03 10:34:23??"Natasha" ?? hi??all ????Flink1.11flink-runtime-web??cd flink-runtime-web?? Cannot resolve org.apache.flink:flink-test-utils-junit:1.11-SNAPSHOT?? Cann

????Flink1.11??flink-runtime-web????

hi??all Flink1.11flink-runtime-web??cdflink-runtime-web?? Cannot resolve org.apache.flink:flink-test-utils-junit:1.11-SNAPSHOT?? Cannot resolve org.apache.flink:flink-test-utils_2.11:1.11-SNAPSHOT

Re: flink1.11的Streaming File Sink问题

Hi, op flink内部可以实现exactly-once语义，但是写到hdfs是至少一次的语义，如果任务失败重新启动会发生数据重复的问题，所以需要自己增加逻辑处理。 Best， Robin op wrote > 大家好： > 我想知道flink1.11的Streaming File > Sink保存流数据到hdfs支持exactly-once语义吗，官网好像没说，谢谢！ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11??Streaming File Sink????

flink1.11??Streaming File Sinkhdfsexactly-once

Re: flink1.11使用createStatementSet报错 No operators defined in streaming topology

我的也是flink 1.11.0版本的，也是使用的stmtSet.execute()方式，是可以正常运行的，你可以debug检查一下你要执行的SQL语句 发件人： datayangl 发送时间： 2021-01-14 16:13 收件人： user-zh 主题： flink1.11使用createStatementSet报错 No operators defined in streaming topology flink版本: 1.11 使用createStatementSet 在一个人任务中完成多个数据从hive写入不同的kafka 代码如下: def main(args

flink1.11使用createStatementSet报错 No operators defined in streaming topology

flink版本: 1.11 使用createStatementSet 在一个人任务中完成多个数据从hive写入不同的kafka 代码如下: def main(args: Array[String]): Unit = { FlinkUtils.initTable() val tableEnv: StreamTableEnvironment = FlinkUtils.tableEnv val streamEnv: StreamExecutionEnvironment = FlinkUtils.streamEnv

flink1.11 mysql cdc checkpoint 失败后程序自动恢复，同步数据出现重复

sourcr：mysql-cdc sink：elasticsearch 问题描述： 从mysql中同步表数据至elasticsearch后，进行新增再删除的某条数据出现问题，导致sink失败（没加primary key）。checkpoint失败，程序自动恢复重启后，checkpoint 成功，但是elasticsearch 中的数据是mysql 表中的两倍，出现重复同步情况。 程序的自动恢复不应该是从当前checkpoint 中记录的binlog 位置再同步么？为什么会再重头同步一次呢？ （ddl 中写死了server-id, "

flink1.11 flinksql 滑动窗口问题反馈

需求：每隔5分钟输出凌晨到当前的数据量 方案：使用滑动窗口，步长为5，通过where条件过滤出今天的数据进行count(1) 现象：00:05凌晨5分的时候窗口触发，发现累加值并不是今天的数据量，而是在当前窗口内的所有数据，不知道是不是bug，或者是我这边条件使用不正确，还麻烦社区帮忙解决下

Re: yarn.provided.lib.dirs在flink1.11 yarn提交不生效

ayangl 于2020年12月22日周二 下午4:56写道： > > > > > > > flink1.11 on yarn模式，我提前将flink > > lib下的依赖及自定义函数jar上传到hdfs上，提交时使用yarn.provided.lib.dirs > > 指定hdfs的依赖路径。原本设想程序中使用反射去寻找自定义函数的类并且实例化，但是提交时报错，程序并没有找到自定义函数的路径 > > > > 提交命令:/usr/hdp/flink1.11/bin/flink run -m yar

Re: yarn.provided.lib.dirs在flink1.11 yarn提交不生效

用-D 还是加载不了，难道yarn.provided.lib.dirs只有application mode支持？？？ 我看阿里云有yarn-cluster的例子: https://developer.aliyun.com/article/762501?spm=a2c6h.12873639.0.0.14ac3a9eM6GNSi

Re: yarn.provided.lib.dirs在flink1.11 yarn提交不生效

hi 使用 -Dyarn.provided.lib.dirs 试试 Best zhisheng datayangl 于2020年12月22日周二 下午4:56写道： > > > flink1.11 on yarn模式，我提前将flink > lib下的依赖及自定义函数jar上传到hdfs上，提交时使用yarn.provided.lib.dirs > 指定hdfs的依赖路径。原本设想程序中使用反射去寻找自定义函数的类并且实例化，但是提交时报错，程序并没有找到自定义函数的路径 > > 提交命令:/usr/hdp/flink1.11/

flink1.11 streaming和table混合使用提交到yarn会启动两个applicaion

消费kafka流，用tableEnv创建视图，再用tableEnv.executeSql执行insert语句写入hive表。 如果程序中出现了StreamExecutionEnvironment.execute，提交到yarn会启动两个applicaion。 如果把StreamExecutionEnvironment.execute注释掉，则只会有一个applicaion。 求助大佬们， 这是正常的吗？ flink这是把table的逻辑放在一个application上，streaming的逻辑放在另一个application上吗？ -- kingdomad

flink1.11 streaming和table混合使用提交到yarn会启动两个applicaion

消费kafka流，用tableEnv创建视图，再用tableEnv.executeSql执行insert语句写入hive表。 如果程序中出现了StreamExecutionEnvironment.execute，提交到yarn会启动两个applicaion。 如果把StreamExecutionEnvironment.execute注释掉，则只会有一个applicaion。 求助大佬们， 这是正常的吗？ flink这是把table的逻辑放在一个application上，streaming的逻辑放在另一个application上吗？ -- kingdomad

yarn.provided.lib.dirs在flink1.11 yarn提交不生效

flink1.11 on yarn模式，我提前将flink lib下的依赖及自定义函数jar上传到hdfs上，提交时使用yarn.provided.lib.dirs 指定hdfs的依赖路径。原本设想程序中使用反射去寻找自定义函数的类并且实例化，但是提交时报错，程序并没有找到自定义函数的路径 提交命令:/usr/hdp/flink1.11/bin/flink run -m yarn-cluster -d -ynm udf-test -yD yarn.provided.lib.dirs=hdfs://ip:8020/flink-yarn/jars -c

Re: flink1.11 datastream elasticsearch sink 写入es需要账号密码验证，目前支持这种操作吗？

1.11版本中尚不支持username和password的设置，这两个配置在1.12中加入了新的es connector[1] [1] https://issues.apache.org/jira/browse/FLINK-18361 Best, Yangze Guo On Wed, Dec 16, 2020 at 11:34 AM 李世钰 wrote: > > flink1.11 datastream elasticsearch sink 写入es需要账号密码验证，目前支持这种操作吗？ > elastic

flink1.11 datastream elasticsearch sink 写入es需要账号密码验证，目前支持这种操作吗？

flink1.11 datastream elasticsearch sink 写入es需要账号密码验证，目前支持这种操作吗？ elasticsearch7.0 -- -- 李世钰 Mail:m...@lishiyu.cn TEL:18801236165 Motto:让身边的人快乐，你的身边就

Re:Re: flink1.11编译失败

kage org.apache.flink >import org.apache.flink.contrib.streaming.state.RocksDBStateBackend > >Leonard Xu 于2020年11月26日周四 下午7:58写道： > >> HI >> >> 这两个类是 codegen 生成的，所以源码里没有，你编译下flink-sql-parser模块就会自动生成这几个类。 >> >> 祝好， >> Leonard >> >> > 在 2020年11月26日，19:43，zhy 写道： &g

Re: flink1.11编译失败

会自动生成这几个类。 > > 祝好， > Leonard > > > 在 2020年11月26日，19:43，zhy 写道： > > > > hi、flink1.11 release source编译为什么会缺失类文件，去github仓库也没找到，如何解决这个问题～ > > > > > > import org.apache.flink.sql.parser.impl.ParseException; > > > > import org.apache.flink.sql.pars

Re: flink1.11编译失败

HI 这两个类是 codegen 生成的，所以源码里没有，你编译下flink-sql-parser模块就会自动生成这几个类。 祝好， Leonard > 在 2020年11月26日，19:43，zhy 写道： > > hi、flink1.11 release source编译为什么会缺失类文件，去github仓库也没找到，如何解决这个问题～ > > > import org.apache.flink.sql.parser.impl.ParseExce

flink1.11编译失败

hi、flink1.11 release source编译为什么会缺失类文件，去github仓库也没找到，如何解决这个问题～ import org.apache.flink.sql.parser.impl.ParseException; import org.apache.flink.sql.parser.impl.FlinkSqlParserImpl; Error:(39, 87) java: 找不到符号 符号: 类 ParseException 位置: 类

Re: flink1.11 TableEnvironment 不支持注册 Aggregate Function？

感谢，已经解决了！ BR， lingchanhu -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 TableEnvironment 不支持注册 Aggregate Function？

通过 StreamTableEnvironmentImpl 构造函数直接构造一个 isStreamingMode = false 的 StreamTableEnvironmentImpl。 然后就可以在这个上面调用 registerFunction 了。 On Wed, 18 Nov 2020 at 10:40, lingchanhu wrote: > 非常感谢，如果flink1.11 目前不支持的话，那对于这种场景的使用有什么建议么？想要批处理数据，其中又要用到自定义的agg function？ > > > > -- > Sent from: h

Re: flink1.11 TableEnvironment 不支持注册 Aggregate Function？

非常感谢，如果flink1.11 目前不支持的话，那对于这种场景的使用有什么建议么？想要批处理数据，其中又要用到自定义的agg function？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 TableEnvironment 不支持注册 Aggregate Function？

*flink1.11* 在TableEnvironment环境中注册并使用自定义的Aggregate Function时，报出以下错误。下面贴有代码（若是在StreamTableEnvironment 注册和使用则是正常，这应该说明自定义的函数是ok的） org.apache.flink.table.api.TableException: Aggregate functions are not updated to the new type system yet

Re: flink1.11 TableEnvironment 不支持注册 Aggregate Function？

eEnvironment#registerFunction， 这个是支持 AggregateFunction 的。 > > Best, > Jark > > > On Wed, 18 Nov 2020 at 09:49, lingchanhu wrote: > >> *flink1.11* >> 在TableEnvironment环境中注册并使用自定义的Aggregate >> Function时，报出以下错误。下面贴有代码（若是在StreamTableEnvironment >> 注册和使用则是正常，这应该说明自定

Re: flink1.11 TableEnvironment 不支持注册 Aggregate Function？

1.11 版本上 TableEnvironment#createTemporarySystemFunction 接口暂时还不支持 AggregateFunction。 你说 StreamTableEnvironment 可以，我估计你用的是 StreamTableEnvironment#registerFunction， 这个是支持 AggregateFunction 的。 Best, Jark On Wed, 18 Nov 2020 at 09:49, lingchanhu wrote: > *flink1.11* > 在TableEnvironment环境中注册并

flink1.11 TableEnvironment 不支持注册 Aggregate Function？

*flink1.11* 在TableEnvironment环境中注册并使用自定义的Aggregate Function时，报出以下错误。下面贴有代码（若是在StreamTableEnvironment 注册和使用则是正常，这应该说明自定义的函数是ok的） org.apache.flink.table.api.TableException: Aggregate functions are not updated to the new type system yet

Re: flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

个问题 > flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 > create table kafka_table ( > `log_id` string, > event_date timestamp(3), > process_time as PROCTIME(), > ts as event_date, > watermark for ts as ts - interval '1' second > ) with ( > 'connector' = 'ka

flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

您好，请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 create table kafka_table ( `log_id` string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, watermark for ts as ts - interval '1' second ) with ( 'connector' = 'kafka', 'topic' = 'kafka_table

Re: 回复：flink1.11 读取kafka avro格式数据发序列化失败

我估计你是用的 confluent schema registry 的 avro。 可以使用下在 master 分支提供的 avro-confluent format [1]。 需要自己 build 下源码。 Best, Jark [1]: https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/avro-confluent.html On Wed, 11 Nov 2020 at 14:20, 奔跑的小飞袁 wrote: > 这是我尝试输出的message长度 >

Re: 回复：flink1.11 读取kafka avro格式数据发序列化失败

这是我尝试输出的message长度 message length is: 529 message length is: 212 message length is: 391 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：flink1.11 读取kafka avro格式数据发序列化失败

Hi，可以试下输出下message的长度么？ -- 发件人：奔跑的小飞袁 发送时间：2020年11月11日(星期三) 11:40 收件人：user-zh 主　题：flink1.11 读取kafka avro格式数据发序列化失败 hello 我在使用flink1.11版本读取kafka avro格式数据时遇到了错误，由于我们的avro特殊，因此源码稍微作了修改，以下是改动的代码片段 @Override public T deserialize(byte

flink1.11 读取kafka avro格式数据发序列化失败

hello 我在使用flink1.11版本读取kafka avro格式数据时遇到了错误，由于我们的avro特殊，因此源码稍微作了修改，以下是改动的代码片段 @Override public T deserialize(byte[] message) throws IOException { // read record checkAvroInitialized(); inputStream.setBuffer(message

回复: flink1.11的cdc功能对消息顺序性的处理

Canal可以配置分区策略：配置保证相同id的记录都发到同一个分区，比如 `db.table1:id` 这样就保证了数据的有序。 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: Jark Wu<mailto:imj...@gmail.com> 发送时间: 2020年11月5日 21:28 收件人: user-zh<mailto:user-zh@flink.apache.org> 主题: Re: flink1.11的cdc功能对消息顺序性的处理

Re: flink1.11的cdc功能对消息顺序性的处理

> [1] https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q > > > Best， > Hailong Wang > > > > > > 在 2020-11-05 15:35:55，"18392099563" <18392099...@163.com> 写道： > >hi everyone, > >麻烦请教下各位大神，flink如何处理如下问题： > > >flink1.11引入cdc，可以解析canal和debe

flink1.11的cdc功能对消息顺序性的处理

hi everyone, 麻烦请教下各位大神，flink如何处理如下问题： flink1.11引入cdc，可以解析canal和debezuim发送的CDC数据，其中canal一般是可以指定某些字段作为key进行hash分区发送到同一topic下的不同分区的。 如果源端短时间对pk值进行多次update，则有可能导致发往不同分区，从而无法保证顺序性。 假如 1.有源表和目标表： create table test( id int(10) primary key ) 2.源表的增量数据通过canal发往kafka，目标表接收kafka消息进行同步。 3.发往的topic下有三个

Re:回复: 回复： flink1.11连接mysql问题

个错误，但是任务没有失败，重新连接上mysql了。 >你仔细 看下你的日志里有没有下面的日志： >JDBC executeBatch error, retry times = 1 > >发件人: 酷酷的浑蛋 >发送时间: 2020年11月2日 3:33 >收件人: user-zh@flink.apache.org >主题: 回复： flink1.11连接mysql问题 > >标题上写的就是flink1.11啊 > > > > >在2020年11

回复: 回复： flink1.11连接mysql问题

是这样的，因为重试的时候 flink-jdbc-connector会把错误的堆栈打印出来的，然后再重连的，对任务没有影响，你的任务失败了吗？我的任务其实也有这个错误，但是任务没有失败，重新连接上mysql了。 你仔细 看下你的日志里有没有下面的日志： JDBC executeBatch error, retry times = 1 发件人: 酷酷的浑蛋 发送时间: 2020年11月2日 3:33 收件人: user-zh@flink.apache.org 主题: 回复： flink1.11连接mysql问题 标题上写

回复： flink1.11连接mysql问题

标题上写的就是flink1.11啊 在2020年11月2日 11:33，酷酷的浑蛋 写道： 你看历史的回复，用的就是flink1.11，最新的flink-1.11.2也试过了还是有这个问题，而且我是在flink sql中使用 在2020年11月2日 11:30，史 正超 写道： 你用的flink哪个版本，flink-1.11已经加了连接失效重连的功能了，应该没有这个问题了。如果不是flink-1.11.x版本的，也可以参考flink-1.11的jdbc-connector的实现，或者用SELECT 1 语句保活连接

回复： flink1.11连接mysql问题

你看历史的回复，用的就是flink1.11，最新的flink-1.11.2也试过了还是有这个问题，而且我是在flink sql中使用 在2020年11月2日 11:30，史 正超 写道： 你用的flink哪个版本，flink-1.11已经加了连接失效重连的功能了，应该没有这个问题了。如果不是flink-1.11.x版本的，也可以参考flink-1.11的jdbc-connector的实现，或者用SELECT 1 语句保活连接。 发件人: 酷酷的浑蛋 发送时间: 2020年11月2日 2:28 收件人: user

回复: Re:回复：flink1.11连接mysql问题

你用的flink哪个版本，flink-1.11已经加了连接失效重连的功能了，应该没有这个问题了。如果不是flink-1.11.x版本的，也可以参考flink-1.11的jdbc-connector的实现，或者用SELECT 1 语句保活连接。 发件人: 酷酷的浑蛋 发送时间: 2020年11月2日 2:28 收件人: user-zh@flink.apache.org 主题: Re:回复：flink1.11连接mysql问题 没有解决，隔一段时间就会报这个超时错误 在 2020-10

Re:回复：flink1.11连接mysql问题

gt; > > >在2020年08月31日 15:06，13580506953<13580506...@163.com> 写道： >这个问题本质是连接活性问题, >连接数据库超时设置autoReconnect=true(mysql5以上的，设置autoReconnect=true 是无效的 只有4.x版本，起作用) > > >建议使用连接池druid进行连接活性保持 > > >原始邮件 >发件人: 酷酷的浑蛋 >收件人: user-zh >发送时间: 2020年8月28日(周五) 15:0

Re: flink1.11 elasticsearch connector

020 at 3:37 PM 赵帅 wrote: > > > > elasticsearch7.6有账号认证，目前flink1.11 elasticsearch connector sql > api如何加入账号认证？ >

Re: flink1.11 kafka connector

hi， 应该是可以继承 FlinkKafkaPartitioner 接口，自己重写 partition 方法实现 hash(key) 的功能 eg: public class MyCustomPartitioner extends FlinkKafkaPartitioner> { @Override public int partition(Map map, byte[] key, byte[] value, String targetTopic, int[] partitions) { String key =

Re: flink1.11 elasticsearch connector

1.11版本中尚不支持username和password的设置，这两个配置在1.12中加入了新的es connector[1] [1] https://issues.apache.org/jira/browse/FLINK-18361 Best, Yangze Guo On Thu, Oct 29, 2020 at 3:37 PM 赵帅 wrote: > > elasticsearch7.6有账号认证，目前flink1.11 elasticsearch connector sql api如何加入账号认证？

flink1.11 elasticsearch connector

elasticsearch7.6有账号认证，目前flink1.11 elasticsearch connector sql api如何加入账号认证？

Re: flink1.11 kafka connector

多谢创建 issue。 side comment: 1.12 中 kafka connector 将支持声明 message key 部分，当声明了 message key 部分，就自动会按照 key 来做 hash 到某个固定分区。 Best, Jark On Thu, 29 Oct 2020 at 14:27, Dream-底限 wrote: > hi、 > 好的，https://issues.apache.org/jira/browse/FLINK-19871 > > Jark Wu 于2020年10月29日周四 下午12:06写道： > > >

Re: flink1.11 kafka connector

hi、 好的，https://issues.apache.org/jira/browse/FLINK-19871 Jark Wu 于2020年10月29日周四 下午12:06写道： > 目前还不支持，可以去社区开个 issue，看能不能赶上1.12 > > Best, > Jark > > > On Thu, 29 Oct 2020 at 11:26, Dream-底限 wrote: > > > hi、 > > 我看了一下官方提供的kafka sink，对于数据发送方式为两种：对于第二种情况，有办法保证对于指定主键的变化过程发送到同一个kafka > >

Re: flink1.11 kafka connector

目前还不支持，可以去社区开个 issue，看能不能赶上1.12 Best, Jark On Thu, 29 Oct 2020 at 11:26, Dream-底限 wrote: > hi、 > 我看了一下官方提供的kafka sink，对于数据发送方式为两种：对于第二种情况，有办法保证对于指定主键的变化过程发送到同一个kafka > partiiton吗，或者说社区对于原生hash（key）到kafka分区映射的方式有支持计划吗 > >- fixed：每个Flink分区最多只能有一个Kafka分区。 >-

Re: flink1.11日志上报

我们这边也是这样搜集日志上报 es 保留最近一个月的数据不回保留全部数据 在 2020年10月27日 20:48，zhisheng 写道： 弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ Storm☀️ 于2020年10月27日周二 下午8:37写道： > 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink1.11日志上报

弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ Storm☀️ 于2020年10月27日周二 下午8:37写道： > 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink1.11日志上报

我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复：关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 -| 程序内部使用Table API同时也有 Table转为

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

是的。不过不是bug。flink将webui显示多少history ckpt以及实际保留多少ckpt当作2个配置。 并且，这2配置的大小无关系。 如果webui（20），retain（10）。那么实际webui的后10个ckpt路径是不存在的，不会保留。 反之，webui（10），retain（20）。虽然部分ckpt在ui上不显示，但实际会保留。 2个参数去flink文档都能找到的哈。 cxydeve...@163.com 于2020年10月26日周一 上午11:34写道： >

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

知道问题所在了,那个在配置文件中设置state.checkpoints.num-retained是生效的 在webui,任务checkpoint的history中总是显示10条最新的记录(我以为就是一定是保留了最新的10份数据), 但是其实真正持久化有数据的数目是根据state.checkpoints.num-retained的值 -- Sent from: http://apache-flink.147419.n8.nabble.com/

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 -| 程序内部使用Table API同时也有 Table转为 Datastream的场景。 -|程序内部有使用flinksql 读写kafka，从而执行sqlUpdate 尝试使用新版api 只使用tableEnv.executeSql 从而不加dataStreamEnv.execute 和

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 -| 程序内部使用Table API同时也有 Table转为 Datastream的场景。 -|程序内部有使用flinksql 读写kafka，从而执行 sqlUpdate 尝试使用新版api 只使用tableEnv.executeSql 从而不加 dataStreamEnv.execute 和

请问flink1.11版本如何设置checkpoint的默认保存个数

我看官方文档[1]应该是设置state.checkpoints.num-retained , 默认是1, 但是设置了没有效果, 官方说默认是1, 但是我发现好像是10 , 同时我也设置了其他的属性,比如 execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION 是可行,所以我的设置应该没有什么问题

Re: Re: flink1.11加载外部jar包进行UDF注册

是的，正如@chenxuying 和@zhisheng 所说， 我这边采用的方案是通过pipeline.classpaths参数将需要的udf jar添加到类路径中，但是当task被分配到tm去执行时仍需要找到所需udf jar才行，所以在1.11版本中我采用-yt参数将/plugins插件目录上传至hdfs，即可解决这个问题~ best, amenhub 发件人： zhisheng 发送时间： 2020-10-22 23:28 收件人： user-zh 主题： Re: flink1.11加载外部jar包进行UDF注册 hi flink 1.11 如果是要管理 udf

Re: flink1.11加载外部jar包进行UDF注册

hi flink 1.11 如果是要管理 udf jar 的话应该是可以通过 yarn-provided-lib-dirs [1] 这个参数去控制 udf jar 的路径地址，ps，这个参数只在 1.11 才支持 [1] https://ci.apache.org/projects/flink/flink-docs-stable/zh/ops/config.html#yarn-provided-lib-dirs Best zhisheng Husky Zeng <568793...@qq.com> 于2020年10月22日周四 上午11:31写道： > >

Re:Re: Re: flink1.11加载外部jar包进行UDF注册

om >发送时间： 2020-10-15 19:22 >收件人： user-zh >主题： Re: Re: flink1.11加载外部jar包进行UDF注册 >非常感谢您的回复！ > >对于我来说，这是一个非常好的办法，但是我有一个疑问：类加载器只能使用系统类加载器进行加载吗？ >因为我在尝试使用系统类加载器的时候，本身作业包开放给外部UDF >jar包实现的接口会报ClassNotFound异常，而将类加载器指向主类（这种方式的话这里应该是使用默认的线程上下文加载器），则可避免这个问题。 > >期待您的回复，谢谢~ >

Re: Re: flink1.11加载外部jar包进行UDF注册

追加问题，在使用线程上下文类加载器的时候，数据会重复发送三条，这是因为添加pipeline.classpaths的缘故吗？ 那这种设置env的方式有可能还会造成其他什么问题？ best, amenhub 发件人： amen...@163.com 发送时间： 2020-10-15 19:22 收件人： user-zh 主题： Re: Re: flink1.11加载外部jar包进行UDF注册 非常感谢您的回复！ 对于我来说，这是一个非常好的办法，但是我有一个疑问：类加载器只能使用系统类加载器进行加载吗？ 因为我在尝试使用系统类加载器的时候，本身作业包开放给外部UDF jar包实现的

Re: Re: flink1.11加载外部jar包进行UDF注册

非常感谢您的回复！ 对于我来说，这是一个非常好的办法，但是我有一个疑问：类加载器只能使用系统类加载器进行加载吗？ 因为我在尝试使用系统类加载器的时候，本身作业包开放给外部UDF jar包实现的接口会报ClassNotFound异常，而将类加载器指向主类（这种方式的话这里应该是使用默认的线程上下文加载器），则可避免这个问题。 期待您的回复，谢谢~ best, amenhub 发件人： cxydeve...@163.com 发送时间： 2020-10-15 17:46 收件人： user-zh 主题： Re: flink1.11加载外部jar包进行UDF注册 我们用方法是通过反射

Re: flink1.11加载外部jar包进行UDF注册

我们用方法是通过反射设置env的配置,增加pipeline.classpaths 具体代码如下 public static void main(final String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings =

回复：flink1.11连接mysql问题

版本，起作用) 建议使用连接池druid进行连接活性保持 原始邮件 发件人: 酷酷的浑蛋 收件人: user-zh 发送时间: 2020年8月28日(周五) 15:02 主题: flink1.11连接mysql问题 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was 52,445,041 milliseconds ago. The last packet sent succes

flink1.11加载外部jar包进行UDF注册

hi, everyone 近期有做一个关于从外部路径加载UDF的开发，但报了如下异常：(截取主要的异常信息) org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user class: com.xxx.xxx.udf.Uppercase ClassLoader info: URL ClassLoader: file:

Re: flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

> 发件人: me 发送时间: 2020年9月29日 19:08 > 收件人: user-zh 主题: 回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1 > > > > flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1 > tableEnv.executeSql("insert into dwd_security_log select * from " + table) > > 实际写入hive之后，查看hdfs上写入的文件为19M

Re:Re: flink1.11流式写入hive速度慢的问题

flink1.11大家有没有遇到写入hive速度慢的问题，加到并行度之后，写入速度1000条/秒，写入性能还是很差劲，完全不满足需要，要怎么把实时的数据写入hive中？ flink1.11 将datastream转为table之后，再流式的写入hive表中，发现写入速度只有1000条/秒， Datastream 是直接读取的kafka数据，速度现在是1条每秒，现在只能写入1000条/每秒 val chaitin_test = tableEnv.fromDataStream(dataStream,'test) chaitin_test.printSchema

Re:Re: flink1.11流式写入hive速度慢的问题

您的回复感觉一点关系也没有，有点打广告的嫌疑 原始邮件 发件人: Michael Ran 收件人: user-zh 发送时间: 2020年10月9日(周五) 17:14 主题: Re:Re: flink1.11流式写入hive速度慢的问题 不知道现在flink 能否直接获取hive 文件写入。以前直接用jdbc 写hive 速度本来就快不起来，每次都要生成文件。 如果先写文件，文件写好了再进行一次load 就会快很多 在 2020-10-09 15:55:15，"Jingsong Li" 写道： >Hi， >

Re:Re: flink1.11流式写入hive速度慢的问题

ng > >On Fri, Oct 9, 2020 at 3:50 PM me wrote: > >> dataStream读取速度在5000条每秒，没有其他的处理逻辑，仅仅是将datastream 转换为table >> >> >> 原始邮件 >> 发件人: me >> 收件人: user-zh >> 发送时间: 2020年10月9日(周五) 15:34 >> 主题: flink1.11流式写入hive速度慢的问题 >> >> >>

Re: flink1.11流式写入hive速度慢的问题

-1.2.2_2.11/1.11-SNAPSHOT/flink-sql-connector-hive-1.2.2_2.11-1.11-20201008.202441-190.jar ) Best, Jingsong On Fri, Oct 9, 2020 at 3:50 PM me wrote: > dataStream读取速度在5000条每秒，没有其他的处理逻辑，仅仅是将datastream 转换为table > > > 原始邮件 > 发件人: me > 收件人: user-zh > 发送时间: 2020年10月9日(周五) 15:34 > 主题:

转发：flink1.11流式写入hive速度慢的问题

dataStream读取速度在5000条每秒，没有其他的处理逻辑，仅仅是将datastream 转换为table 原始邮件 发件人: me 收件人: user-zh 发送时间: 2020年10月9日(周五) 15:34 主题: flink1.11流式写入hive速度慢的问题 flink1.11 将datastream转为table之后，再流式的写入hive表中，发现写入速度只有几十条每秒 val chaitin_test = tableEnv.fromDataStream(dataStream,'test) chaitin_test.printSchema

flink1.11流式写入hive速度慢的问题

flink1.11 将datastream转为table之后，再流式的写入hive表中，发现写入速度只有几十条每秒 val chaitin_test = tableEnv.fromDataStream(dataStream,'test) chaitin_test.printSchema() tableEnv.executeSql("insert into chaitin_test select test from " + chaitin_test)

回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

你的kafka的分区数是多少，把flink的并行度加大到kafka的分区数。 BestJun -- 原始邮件 -- 发件人: me

flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1 tableEnv.executeSql("insert into dwd_security_log select * from " + table) 实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。 请问大家只有有什么提升写入速度的参数或者方式吗？

flink1.11提供的flink-webui中的日志界面的查看问题

今天发现jobmanager的日志可看，taskmanager日志不可以看（这个无所谓，因为我改了日志路径，所以看不到可能），但是有个loglist中列出了文件，这个文件点了却也看不到。 既然都给我列出了所有log文件了，为什么点了看不到呢？ 而且看jobmanager的后台报错的化，报错是 tmp 目录的blob_xxx吧啦的文件不存在。不清楚这个看日志过程是怎样的，为什么需要拿tmp目录的blob_xxx，而不是直接从log目录下去拿文件呢？

回复： flink1.11连接mysql问题

你是说让我修改mysql配置？ 怎么可能允许我修改啊 在2020年09月1日 10:12，amen...@163.com 写道： 如果是mysql5.x以上的版本，url中autoReconnect参数会无效吧， 可以尝试下修改配置文件wait_timeout/interactive_out参数 best, amenhub 发件人： 酷酷的浑蛋 发送时间： 2020-08-31 20:48 收件人： user-zh@flink.apache.org 主题： 回复： flink1.11连接mysql问题 下面是我连接mysql的配置，用的flink-1.11.1，还是报那个

Re: 回复： flink1.11连接mysql问题

如果是mysql5.x以上的版本，url中autoReconnect参数会无效吧， 可以尝试下修改配置文件wait_timeout/interactive_out参数 best, amenhub 发件人： 酷酷的浑蛋 发送时间： 2020-08-31 20:48 收件人： user-zh@flink.apache.org 主题： 回复： flink1.11连接mysql问题 下面是我连接mysql的配置，用的flink-1.11.1，还是报那个错误 CREATE TABLE xx( `xx` varchar, `xx` varchar

回复： flink1.11连接mysql问题

下面是我连接mysql的配置，用的flink-1.11.1，还是报那个错误 CREATE TABLE xx( `xx` varchar, `xx` varchar ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://xx/xx?autoReconnect=true=false', 'table-name' = ‘xx', 'driver' = 'com.mysql.jdbc.Driver', 'username' = ‘xx', 'password' = ‘xx',

Re: flink1.11连接mysql问题

> 在 2020年8月28日，15:02，酷酷的浑蛋 写道： > > com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet > successfully received from the server was 52,445,041 milliseconds ago. The > last packet sent successfully to the server was 52,445,045 milliseconds ago. > is longer than the server

回复：flink1.11连接mysql问题

关键是在sql中怎么设置，connector=jdbc 在2020年08月31日 15:06，13580506953<13580506...@163.com> 写道： 这个问题本质是连接活性问题, 连接数据库超时设置autoReconnect=true(mysql5以上的，设置autoReconnect=true 是无效的 只有4.x版本，起作用) 建议使用连接池druid进行连接活性保持 原始邮件 发件人: 酷酷的浑蛋 收件人: user-zh 发送时间: 2020年8月28日(周五) 15:02 主题: flink1.11连接m

回复：flink1.11连接mysql问题

这个问题本质是连接活性问题, 连接数据库超时设置autoReconnect=true(mysql5以上的，设置autoReconnect=true 是无效的 只有4.x版本，起作用) 建议使用连接池druid进行连接活性保持 原始邮件 发件人: 酷酷的浑蛋 收件人: user-zh 发送时间: 2020年8月28日(周五) 15:02 主题: flink1.11连接mysql问题 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received

回复: flink1.11 流式读取hive怎么设置 process_time 和event_time?

: zoudanx 主题: Re: flink1.11 流式读取hive怎么设置 process_time 和event_time? 如果是直接连接的hive catalog呢，是hive中已存在的表，直接去流式的连接读取？ 您那有什么可解决的想法吗？ 原始邮件 发件人: Zou Dan 收件人: user-zh 发送时间: 2020年8月30日(周日) 21:55 主题: Re: flink1.11 流式读取hive怎么设置 process_time 和event_time? Event time 是通过 DDL 中 watermark 语句设置的，具体可以参考文档 [1] [1

Re: flink1.11连接mysql问题

这个问题已经有 issue 在追踪了 [1] [1] https://issues.apache.org/jira/browse/FLINK-12494 Best, Danny Chan 在 2020年8月28日 +0800 PM3:02，user-zh@flink.apache.org，写道： > > CommunicationsException

Re: flink1.11时间函数

对应英文的 deterministic function 可以更好理解些 ~ Best, Danny Chan 在 2020年8月29日 +0800 PM6:23，Dream-底限 ，写道： > 哦哦，好吧，我昨天用NOW的时候直接报错告诉我这是个bug，让我提交issue，我以为这种标示的都是函数功能有问题的 > > Benchao Li 于2020年8月28日周五 下午8:01写道： > > > 不确定的意思是，这个函数的返回值是动态的，每次调用返回可能不同。 > > 对应的是确定性函数，比如concat就是确定性函数，只要输入是一样的，它的返回值就永远都是一样的。 > >

Re: flink1.11 流式读取hive怎么设置 process_time 和event_time?

Hi, 这个场景目前还是不支持的。定义watermark需要在DDL里做，hive表本身没有这个概念，所以DDL里定义不了。以后也许可以通过额外的参数来指定watermark。 On Sun, Aug 30, 2020 at 10:16 PM me wrote: > 如果是直接连接的hive catalog呢，是hive中已存在的表，直接去流式的连接读取？ > 您那有什么可解决的想法吗？ > > > 原始邮件 > 发件人: Zou Dan > 收件人: user-zh > 发送时间: 2020年8月30日(周日) 21:55

Re: flink1.11 流式读取hive怎么设置 process_time 和event_time?

如果是直接连接的hive catalog呢，是hive中已存在的表，直接去流式的连接读取？ 您那有什么可解决的想法吗？ 原始邮件 发件人: Zou Dan 收件人: user-zh 发送时间: 2020年8月30日(周日) 21:55 主题: Re: flink1.11 流式读取hive怎么设置 process_time 和event_time? Event time 是通过 DDL 中 watermark 语句设置的，具体可以参考文档 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11

  1   2   3   >