Re:Re: flink1.11查询结果每秒入库到mysql数量很少

你看下INERT SQL的执行时长，看下是不是MySQL那边的瓶颈？比如写入的数据较大，索引创建比较慢等其他问题？ 或者你手动模拟执行下SQL写数据对比下速度？ 在 2020-07-25 10:20:35，"小学生" <201782...@qq.com> 写道： >您好，谢谢您的解答，但是我测试了按您这个方式添加以后，每秒入mysql数据量变成了8条左右，提升还达不到需要。

Re: flink1.11??????????????????mysql????????

mysql8??

Re: flink1.11查询结果每秒入库到mysql数量很少

Hi, 你可以尝试改写url，加上rewritebatchedstatements=true，如下： jdbc:mysql://198.2.2.71:3306/bda?useSSL=false=true MySQL Jdbc驱动在默认情况下会无视executeBatch()语句，把期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，直接造成较低的性能。把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。 祝好 weixubin -- Sent from:

Re:Re: Could not find any factory for identifier 'kafka'

hi， 感谢回复，尝试了多次之后，发现应该不是依赖包的问题 我项目中新增目录：resources/META-INF/services 然后从Flink源码中复制了2个文件 org.apache.flink.table.factories.TableFactory和org.apache.flink.table.factories.Factory 这样编译就不会报错了，原理不太清楚，但是确实解决了报错的问题。 在 2020-07-24 20:16:18，"JasonLee" <17610775...@163.com> 写道： >hi >只需要-sql和-json两个包就可以了 > >

Re: Could not find any factory for identifier 'kafka'

hi 只需要-sql和-json两个包就可以了 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master On 07/24/2020 17:02, RS wrote: hi， Flink-1.11.1 尝试运行SQL DDL 读取kafka的数据，执行create 语句的时候报错了 编译的jar包是jar-with-dependencies的 代码片段： public String ddlSql = String.format("CREATE TABLE

Re: Could not find any factory for identifier 'kafka'

org.apache.flink flink-connector-kafka_2.12 ${flink.version} org.apache.flink flink-sql-connector-kafka_2.12 ${flink.version} 这两个会有冲突，去掉上面那个 > 2020年7月24日 下午5:02，RS 写道： > > >

Re: flink sql 读取mysql

'connector.properties.zookeeper.connect' = '', -- zk 地址 'connector.properties.bootstrap.servers' = '', -- broker 地址 'connector.username' = '', 'connector.password' = ‘', 这几行有问题吧 > 2020年7月24日 下午4:20，liunaihua521 写道： > > 'connector.properties.zookeeper.connect' = '', -- zk 地址 >

flink1.11??????????????????mysql????????

flink1.11kafkamysqlkafka300??/??mysql??6?? from pyflink.datastream import StreamExecutionEnvironment,

回复: Re: flink 1.11 cdc相关问题

多谢！已关注~ Best amen...@163.com 发件人： Leonard Xu 发送时间： 2020-07-24 16:20 收件人： user-zh 主题： Re: flink 1.11 cdc相关问题 Hi amenhub 针对这个问题，我建了个issue来跟踪这个问题[1], 另外你可以在你的PG 里面把表的IDENTITY设置为FULL，这样 debezium 同步的UPDATE数据就会有完整的信息， DB命令是：ALTER TABLE yourTable REPLICA IDENTITY FULL, 可以参考debezium官网文档[2] Best

Re: 关于 sql-client

这个呢 https://github.com/ververica/flink-sql-gateway 杨荣 于2020年7月24日周五 下午3:19写道： > 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者 > submit with sql file 的 feature 到现在都还没实现呢。 > > Harold.Miao 于2020年7月24日周五 上午11:42写道： > > > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的

Re:Re:Re: Could not find any factory for identifier 'kafka'

邮件格式不对，我重新回复下 我这边是直接打成jar包扔到服务器上运行的，没有在IDEA运行过。 > flink run xxx 没有使用shade-plugin maven build参数： 1.8 1.11.1 maven-compiler-plugin ${jdk.version} ${jdk.version}

Re:Re: Could not find any factory for identifier 'kafka'

我这边是直接打成jar包扔到服务器上运行的(bin/flink run xxx)，没有在IDEA运行过。maven编译没配置shade-plugin，maven build参数如下： propertiesjdk.version1.8/jdk.version flink.version1.11.1/flink.version /propertiesbuildplugins plugin

Re: Could not find any factory for identifier 'kafka'

可能跟你的打包方式有关系。你这个程序如果直接在idea里面运行是可以运行的么？ 如果可以在idea运行，但是打出来的jar包不能提交运行的话，很有可能跟SPI文件有关系。 如果你用的是shade plugin，需要看下这个transformer[1] [1] https://maven.apache.org/plugins/maven-shade-plugin/examples/resource-transformers.html#AppendingTransformer RS 于2020年7月24日周五 下午5:02写道： > hi， > Flink-1.11.1

Could not find any factory for identifier 'kafka'

hi， Flink-1.11.1 尝试运行SQL DDL 读取kafka的数据，执行create 语句的时候报错了 编译的jar包是jar-with-dependencies的 代码片段： public String ddlSql = String.format("CREATE TABLE %s (\n" + " number BIGINT,\n" + " msg STRING,\n" + " username STRING,\n" + " update_time

Re: Re: 关于 sql-client

zeppelin 可以网页上提交各种作业，也是很不错的 另外 submit with SQL file 可以参考大佬写的 https://github.com/wuchong/flink-sql-submit， 然后在大佬的基础上，我自己稍微简化了一下,https://github.com/Chengyanan1008/flink-sql-submit-client 直接在服务器上执行./sql-submit.sh -f 就可以执行SQL 文件了 chengyanan1...@foxmail.com 发件人： Jeff Zhang 发送时间： 2020-07-24 15:46

Re: flink sql 读取mysql

Hello 这个报错一般是sql格式错误，比如中英文逗号等，你可以检查下你的SQL语句 祝好 Leonard Xu > 在 2020年7月24日，16:20，liunaihua521 写道： > > org.apache.flink.table.api.SqlParserExcption:Sql parse failed.Encountered > "timestamp,"at line > Was expecting one of: > "CURSOR"...

Re: flink 1.11 cdc相关问题

Hi amenhub 针对这个问题，我建了个issue来跟踪这个问题[1], 另外你可以在你的PG 里面把表的IDENTITY设置为FULL，这样 debezium 同步的UPDATE数据就会有完整的信息， DB命令是：ALTER TABLE yourTable REPLICA IDENTITY FULL, 可以参考debezium官网文档[2] Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18700

回复： flink sql 读取mysql

hi! 您好,我明白您的意思了,并且看了下网上的资料,改完后如下 DDL: CREATE TABLE user_behavior ( user_id BIGINT, item_id BIGINT, category_id BIGINT, behavior STRING, ts TIMESTAMP(3), proctime as PROCTIME() ) WITH ( 'connector.type' = 'kafka', -- kafka connector 'connector.version' =

Flink CPU利用率低

想问下大佬们 Flink的cpu利用率这么低吗 0.012？ guaishushu1...@163.com

Re: 关于 sql-client

可以用zeppelin来提交flink sql作业，可以加入钉钉群讨论：32803524 杨荣 于2020年7月24日周五 下午3:19写道： > 你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者 > submit with sql file 的 feature 到现在都还没实现呢。 > > Harold.Miao 于2020年7月24日周五 上午11:42写道： > > > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的

Re: 关于 sql-client

你们可以 pr 到官方啊。我觉得这个功能很刚需啊，并且 basic 版的 1.5 就 release 了，不知道为什么相关 gate way 或者 submit with sql file 的 feature 到现在都还没实现呢。 Harold.Miao 于2020年7月24日周五 上午11:42写道： > 1 应该是可以的 主要是你要在flink-conf.yaml里面配置正确的 jobmanager.rpc.address > 源码里面有加载主配置文件的逻辑 > > public LocalExecutor(URL defaultEnv, List jars, List

Re: flink sql 读取mysql

另外社区中文邮件交流直接发邮件到user-zh@flink.apache.org 就可以了，不用发user-zh-...@flink.apache.org 这个地址。 > 在 2020年7月24日，14:25，Leonard Xu 写道： > > Hello > 图挂了，可以贴下DDL吗？另外你没有使用维表join语法 FOR SYSTEM_TIME AS OF[1] > > 祝好 > Leonard Xu > [1] >

Re: flink sql 读取mysql

Hello 图挂了，可以贴下DDL吗？另外你没有使用维表join语法 FOR SYSTEM_TIME AS OF[1] 祝好 Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sql/queries.html#joins > 在

flink sql 读取mysql

hi! 版本:flink 1.10 mysql 5.7.24 需求场景是: 使用flink SQL,读取kafka数据,和mysql的维表数据,之后进行join操作,如何配置mysql connector,才能使维表数据修改后,flink能读取到更新后的数据进行join操作? 现在本地测试时,维表的DDL是: 但是去mysql修改了数据后,join操作还是旧数据. 望大神们指点方向,提前谢谢了.