各位大佬好！
目前升级到了flink1.17+jdbc-3.0，经过测试依然没有实现谓词下推，想请教下这是为什么？
> 在 2022年12月5日，下午3:05，rovo98 写道：
>
> 你好，请留意您使用的 flink 版本。在 flink 1.17, jdbc-3.0.0 版本之前，jdbc connector 没有实现
> SupportsFilterPushDown 接口（谓词下推），所以发送至数据库的查询是 select xxx from table_name
> 的全表扫描形式。
>
>
> 如有需要可参考 FLINK-16024
各位好！
目前有一使用flink-sql编写的作业，其中存在通过jdbc查询mysql中某张表A需求，A表“b字段”为索引字段，但是flink-sql查询无法走到该表索引查询，为全表扫描查询。
代码类似于
CREATE TABLE A (
b decimal(4, 0),
...,
...
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://100.191.200.10:/lldb',
'username' = 'test',
'password' = 'Test!123',
flink内存泄漏有什么排查的指标或者工具吗？
比如大致定位泄漏的位置之类的。
> 在 2022年9月19日，下午5:41，yidan zhao 写道：
>
> 那你代码检查下有没有内存泄露呢。
>
> 杨扬 于2022年9月19日周一 11:21写道：
>>
>> 还有一个现象，观察到
>> taskHeap内存占用在逐步升高，作业刚启动的时候占用在10%左右，一周后增加至25%左右，两周后增加至50%左右，上述指的是GC后观察到的内存占用值。两周后计算算子几乎一直100%bu
>
>> 资源足够，busy 50%+，延迟如果也可接受的话，其实就不算问题。2s延迟不算高。
>>
>> 杨扬 于2022年9月15日周四 20:02写道：
>>>
>>> 目前并发度已经设定为25，每个slot内存为4G，已经使用100G内存，峰值流量1TPS左右，资源是足够的吧？
>>>
>>>
>>>
>>>
>>>> 在 2022年9月15日，下午7:27，yidan zhao
目前并发度已经设定为25，每个slot内存为4G，已经使用100G内存，峰值流量1TPS左右，资源是足够的吧？
> 在 2022年9月15日，下午7:27，yidan zhao 写道：
>
> busy那就提升并发度看看效果？
>
> 杨扬 mailto:yangya...@cupdata.com>> 于2022年9月15日周四
> 14:51写道：
> 各位好！
> 目前有一flink作业，大致分为3个阶段：
> 读取kafka中数据（1个source，并行度3）->
指定了，依然无法保证。
> 在 2022年8月26日，下午5:28，gulugulucxg 写道：
>
> flinkKafkaProducer指定EXACTLY_ONCE语义了吗
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-08-26 16:50:33，"杨扬" 写道：
>> kafka-2.4.1
>> flink-
kafka-2.4.1
flink-1.14.2
> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道：
>
> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的；
> 你用的kafka是哪个版本？
>
> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote:
>
>> 各位好！
>>目前有一flink作业，source与sink均为kafka。
&
各位好！
目前有一flink作业，source与sink均为kafka。
在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。
现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。
想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？
a
>
>
> On Fri, Aug 19, 2022 at 3:31 PM 杨扬 <mailto:yangya...@cupdata.com>> wrote:
> 各位大佬好！
> 最近将升级flink至1.14.2版本后出现附件图片中告警，每天固定时间告警几次。
> 经过初步排查属于akka.framesize设置问题，默认值太小需要调大，但是感觉需要调大的过多了，想请教下直接调教至200M以上是
。
每次都是长时间运行后出现问题，故测试环境复现困难，且日志信息很少，感觉无从下手，望各位专家解答困惑。
--
杨扬
银联数据服务有限公司 研究院
电话：021-60269751
邮箱：yangya...@cupdata.com
10 matches
Mail list logo
