id}
# singnal shutdown does`t work
yarn -signal #{container id} GRACEFUL_SHUTDOWN
---
Best,
WuKong
',
'properties.bootstrap.servers' = '127.0.0.1:9092'
);
flink sql :
select * from rtdw_db.kafka_table kt left join dim_db.dim_table FOR
SYSTEM_TIME AS OF kt.PROCTIME AS dt on kt.column_two = dt.column_two ;
I want to implement such this logic which using flink sql .
---
Best,
WuKong
From: Jing Ge
Date: 2022-03
hbase table (must
implement own hbase secondary connectors ？)
---
Best,
WuKong
hi all:
anyone know some project can auto convert DB Table Schema(like Mysql create
table ) to Flink Schema(org.apache.flink.table.api.Schema) tools ，I want
implment dynamic generate Flink Table Schema
---
Best,
WuKong
hi all:
大家有没有了解， 社区或者其他渠道可以提供 将 数据库的建表语句（比如 Mysql Create table ） 自动转换为 Flink 的
Schema 对象（org.apache.flink.table.api.Schema） ，求推荐
---
Best,
WuKong
Hi :
第一个 我了解了Cache 不太适合我的场景，因为我的表都是几十亿量级，同时 我要根据一些关键键 去数据库里查询，所以 我先在Job 中
聚合一些主键，通过In 条件 去查询。
第二个 好像是我理解的问题，最初想通过Flink Sql 把整体逻辑 下发到数据库去查询，因为有些OLAP 引擎 查询性能是可以接受的
---
Best,
WuKong
发件人： Caizhi Weng
发送时间： 2021-11-12 11:32
收件人： flink中文邮件组
主题： Re: FlinkSQL 1.12 Temporal Joins 多表关联问题
Hi
数据的数据的，
select * from DBTableB where B.columnB = valueB
select * from DBTableC where C.columnC = valueC
这里我可以配置 把整个查询逻辑 下沉到数据库去做吗？
2. 我想把Kafka 里的数据 积累一点之后 通过微批的形式 IN 查询 请问 有没有可能这么做？
---
Best,
WuKong
Hi :
我现在有一个场景，基于Flink 1.12 SQL 来实现， 想查询下游数据， 大概逻辑就是多张表Join 其中一张是Kafka 表，其他的是DB
表，我基于处理时间 FOR SYSTEM_TIME AS 做了Temporal Joins ， 但是下游数据库查询压力比较大， 现在想通过延迟 批量 In
的方式 减小QPS ，请问如何配置 可以调这个时间长度，我理解默认就是来一条就查询一次
---
Best,
WuKong
t;> "org/apache/kafka/clients/consumer/ConsumerRecord"
---
Best,
WuKong
发件人： casel.chen
发送时间： 2021-11-08 14:38
收件人： user-zh
主题： Re:Re: 提交flink作业抛 java.lang.LinkageError
版本是一致的，都是1.12.5版本
在 2021-11-08 11:11:35，"Shuiqiang Chen" 写道：
>Hi,
>
>能检查下作业jar里 kafka cl
Hi :
?? user-zh-unsubscr...@flink.apache.org ??
??/ ??
https://flink.apache.org/zh/community.html
---
Best,
WuKong
??
?? 2021-11-08 14:42
user-zh
??
t;> "org/apache/kafka/clients/consumer/ConsumerRecord"
---
Best,
WuKong
发件人： casel.chen
发送时间： 2021-11-08 14:38
收件人： user-zh
主题： Re:Re: 提交flink作业抛 java.lang.LinkageError
版本是一致的，都是1.12.5版本
在 2021-11-08 11:11:35，"Shuiqiang Chen" 写道：
>Hi,
>
>能检查下作业jar里 kafka cl
Hi :
我现在有一个场景，基于Flink 1.12 SQL 来实现， 想查询下游数据， 大概逻辑就是多张表Join 其中一张是Kafka 表，其他的是DB
表，我基于处理时间 FOR SYSTEM_TIME AS 做了Temporal Joins ， 但是下游数据库查询压力比较大， 现在想通过延迟 批量 In
的方式 减小QPS ，请问如何配置 可以调这个时间长度，我理解默认就是来一条就查询一次
---
Best,
WuKong
Hi :
?? user-zh-unsubscr...@flink.apache.org ??
??/ ??
https://flink.apache.org/zh/community.html
---
Best,
WuKong
??
?? 2021-11-08 14:42
user-zh
??
t;> "org/apache/kafka/clients/consumer/ConsumerRecord"
---
Best,
WuKong
发件人： casel.chen
发送时间： 2021-11-08 14:38
收件人： user-zh
主题： Re:Re: 提交flink作业抛 java.lang.LinkageError
版本是一致的，都是1.12.5版本
在 2021-11-08 11:11:35，"Shuiqiang Chen" 写道：
>Hi,
>
>能检查下作业jar里 kafka cl
Hi casel.chan：
请问你是sink端数据不均衡还是source端数据不均衡。
如果是写入端 ，看看你是否自定义了分区字段，flink 默认是策略应该不会造成数据不均衡，但是无法保证 分区有序性。同时也可以关注下 下游消费者
是否会有消费不同分区 处理性能不同问题。
---
Best,
WuKong
发件人： casel.chen
发送时间： 2021-10-29 09:30
收件人： user-zh@flink.apache.org
主题： flink sql消费kafka各分区消息不均衡问题
flink
sql消费kafka消息做数据同步，前期没有出现堆积不
',
'url' = 'jdbc:mysql://x/?useUnicode=true=UTF-8',
'table-name' = 'table-name',
'username' = 'xxx',
'password' = 'xxx',
'driver' = 'com.mysql.jdbc.Driver'
);
---
Best,
WuKong
发件人： Caizhi Weng
发送时间： 2021-10-26 12:43
收件人： flink中文邮件组
主题： Re: Flink SQL 1.12 批量数据导入，如果加速性能
Hi！
我通
Hi：
我目前有个场景， 需要通过基于Flink SQL 进行历史数据导入， 比如Source 端是一张MYSQL 表， Sink端 也是一张MSYQL 表，
我通过Flink SQL 无论怎么加大并行度， 都是单并行度导入，速率很慢， 请问有什么需要配置的吗？ 或者其他解决方案
可以基于SQL进行大批量数据导入，数十亿量级。
---
Best,
WuKong
Hi Caizhi：
这个应该是和我们业务处理模式有关，我们需要同一个Kafka 流 输出两个Sink 同时要保持顺序性， 这个对我们来说是个通用的功能，
我在想如何实现这种方式， 请问有什么方案值得推荐吗？
我想通过实现一种自定义Table 比如 在一个Jdbc Table表的属性里 填充Kafka 属性，保持相同的Schema， 做为一个Sink 这样
方便做统一管理， 然后实现自定义Table 逻辑， 这种方案如何？
---
Best,
WuKong
发件人： Caizhi Weng
发送时间： 2021-10-14 17:50
收件人： user-zh
Hi：
目前遇到一个问题，我想在一个Job下 ，有两个SQL 分步都是 读取同一个Source Kafka 数据， 一个是插入Tidb 落数据，
另一个是写入下游Kafka， 目前想控制 先插入DB 然后再写入下游Kafka, 请问有什么方案可以实现这种方式？
---
Best,
WuKong
Hi all:
I have two Flink SQL , the same source from Kafka, and one SQL sink data
into Tidb ,another one SQL sink Kafka to notify downstream system, how can I
control the sink order , I wish If source Kafka data come, first sink Tidb and
after that sink Kafka .
---
Best,
WuKong
Hi：
目前遇到一个问题，我想在一个Job下 ，有两个SQL 分步都是 读取同一个Source Kafka 数据， 一个是插入Tidb 落数据，
另一个是写入下游Kafka， 目前想控制 先插入DB 然后再写入下游Kafka, 请问有什么方案可以实现这种方式？
---
Best,
WuKong
21 matches
Mail list logo
