你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中，
按照YARN PER模式该方式是没有问题， 但是在K8s
Apllication模式，会找不到原始class文件中的依赖，其实在UserJar中有该文件的类依赖的；
目前发现这个依赖类单独打jar包放在在lib目录下在框架运行时就加载才能找到依赖类，但是又不太符合规范；
在 2023-08-24 10:30:20，"Weihua Hu" 写道：
Hi,
抱歉我对 JavaCompiler
??
??rocksdb??
flink??1.13.5
flink on yarn
??block_cache??write_buffer_manager
block_cache_capacity=((3 - writeBufferRatio) *
totalMemorySize / 3)
write_buffer_manager=(2 * totalMemorySize *
writeBufferRatio / 3)
Loglevel 设置为 debug 之后，可以看到具体的 codegen 的代码。
On Mon, Aug 28, 2023 at 1:25 PM 海风 <18751805...@163.com> wrote:
> 嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的
>
>
>
> 回复的原邮件
> | 发件人 | Shammon FY |
> | 日期 | 2023年08月28日 12:05 |
> | 收件人 | user-zh@flink.apache.org |
> | 抄送至
退订
退订
退订
嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的
回复的原邮件
| 发件人 | Shammon FY |
| 日期 | 2023年08月28日 12:05 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink sql语句转成底层处理函数 |
如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划
[1]
如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/explain/
On Sun, Aug 27, 2023 at 5:23 PM 海风 <18751805...@163.com> wrote:
> 请教下，是否可以去查询一个flink
> sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？
>
>
>
请教下，是否可以去查询一个flink
sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？
发件人: faronzz
发送时间: 2023年8月26日 22:12
收件人: user-zh@flink.apache.org
主题: pyflink aggfunction in window tvf can not sink connection='kafka', it
notice consuming update changesm, java aggfunction and aggfunction in flink,
such as sum is ok
hi~
I came across
hi~
I came across a problem I didn't understand，I can't use pyflink
aggfuction function properly in window tvf, The following are available：
java aggfuntion
flink system aggfunction
window (not window tvf)
I want to know if this is a bug or if I'm using it the wrong way？
pyflink 1.17.1
日本福岛第一核电站的核处理水排入大海，中国外交部除了向日本政府提出严重交涉外，并开动宣传机器宣传"核污水排海可致癌"等负面消息，登上微博热搜。中国各地居民担心盐被污染，掀起抢购食盐的浪潮。
日本政府于本周四（24日）中午启动福岛第一核电站处理过的核废水排入太平洋的相关计划。中国各大媒体通过社交平台发出有关日本核污水可致癌、致畸，甚至造成人体DNA断裂的消息。封面新闻引述专家称，日本核污水排放可能造成基因损害。人民网指美国一边支持日本将污水排放到海里一边减少进口日本农林水产；新华社则报道指多名福岛居民接受新华社记者采访时，谴责日本政府和东京电力公司违反当初不擅自处理核污染水的承诺.
资料显示，渐冻症一般指肌萎缩侧索硬化，它是上运动神经元和下运动神经元损伤之后，导致包括球部（指延髓支配的这部分肌肉）、四肢、躯干、胸部腹部的肌肉逐渐无力和萎缩。
发件人: tison
发送时间: 2023年8月26日 10:15
收件人: user-zh@flink.apache.org ;
priv...@flink.apache.org
主题: Re: 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
I suggest we should ban this spamming source..
I suggest we should ban this spamming source..
Best,
tison.
北野 曉美 于2023年8月26日周六 08:11写道：
> 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
>
> 一位联合国高级政治事务官员今天表示，朝鲜最近发射的军事侦察卫星对国际民航和海上交通构成了重大威胁，强调需要采取切实可行的措施来缓解朝鲜半岛的紧张局势，为对话创造空间。
>
>
> 和平与安全
> 考克斯巴扎尔的一个罗兴亚难民营受到气旋“摩卡”冲击。
> 缅甸罗兴亚危机爆发六周年，联合国呼吁寻求全面、持久和包容解决方案
>
>
朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
一位联合国高级政治事务官员今天表示，朝鲜最近发射的军事侦察卫星对国际民航和海上交通构成了重大威胁，强调需要采取切实可行的措施来缓解朝鲜半岛的紧张局势，为对话创造空间。
和平与安全
考克斯巴扎尔的一个罗兴亚难民营受到气旋“摩卡”冲击。
缅甸罗兴亚危机爆发六周年，联合国呼吁寻求全面、持久和包容解决方案
在8月25日缅甸西部若开邦罗兴亚人开始大规模出逃六年整之际，联合国秘书长古特雷斯通过发言人发表声明，呼吁国际社会继续针对缅甸危机寻求全面、包容和持久的解决方案。
人道主义援助
可以在 open 方法初始化规则
haishui 于2023年8月24日周四 14:41写道：
> Hi all，
>
>
> 对于广播状态[1]文档中提到的事件流和规则流匹配问题，想问问大家有什么好的办法保证规则流应该加载完成后再处理事件流。
>
>
> 我想通过mysql
> cdc加载规则，在快照消费完之前，已经有事件消费了而且没有匹配到相应的规则，有没有办法能够在快照处理结束后再开始消费kafka里面的事件
>
>
> [1]
>
这种join写法会随时更新里面每一个字段，最终产出结果的业务含义是什么呢？
如果是取每个vehicle_code对应的最新统计指标值，是否可以用支持partial update的存储，用多个单独的sql直接写入目前就可以了
周先明 于2023年8月4日周五 11:01写道：
> Regular Join 默认把数据都存储在State中，通常会结合TTL来进行优化
>
> guanyq 于2023年8月3日周四 15:59写道：
>
> > 请问下多个表关联，这种flink sql如何优化呢，直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式
> >
发送自我的盖乐世发轮大法好
原始信息 发件人： 北野 曉美 日期: 2023/8/24 23:43
(GMT+08:00) 收件人： flink-zh 主题： 普里戈任专机，是被导弹打下来的？
俄罗斯私营军事实体瓦格纳组织的领导人普里戈任当地时间8月23日乘坐的专机坠毁后，各种关于专机失事原因的推测快速发酵。
俄罗斯社交媒体上，虽然不乏“他还活着”的传闻，但普里戈任的好友、俄罗斯右翼思想家杜金等人已公开悼念这位“坚强，自信，大胆的人”。圣彼得堡的原瓦格纳组织总部门口被普里戈任支持者摆放了鲜花，俄罗斯总统普京则已紧急回到莫斯科。俄罗斯总统新闻秘书佩斯科夫对媒体表示，普京已经得知了此事，并已经采取了必要的措施。
Hi all，
对于广播状态[1]文档中提到的事件流和规则流匹配问题，想问问大家有什么好的办法保证规则流应该加载完成后再处理事件流。
我想通过mysql cdc加载规则，在快照消费完之前，已经有事件消费了而且没有匹配到相应的规则，有没有办法能够在快照处理结束后再开始消费kafka里面的事件
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/datastream/fault-tolerance/broadcast_state/
Hi,
抱歉我对 JavaCompiler 不是非常了解，我想知道这些动态编译是运行在 UserJar 的 main 方法中吗？以及编译的产物是怎么传递给
Flink 的？
Best,
Weihua
On Tue, Aug 22, 2023 at 5:12 PM 周坤 <18679131...@163.com> wrote:
> 你好！
>
> 有一个关于flink K8S apllication模式运行的问题需要解答下；
>
> 原本又yarn per模式运行的flink需要切换到K8s apllication模式;
>
>
>
>
>
Hi devs,
Thanks Giannis for your suggestion. It seems that the last email wasn't
sent to the dev ML. It is also an interesting topic for devs and user-zh.
Best regards,
Jing
-- Forwarded message -
From: Giannis Polyzos
Date: Tue, Aug 22, 2023 at 11:11 AM
Subject: [Discussion]
好嘞~那我直接粘一下
1. FlinkSQL代码
CREATE TEMPORARY VIEW IF NOT EXISTS rt_view AS
SELECT user_id
, run_duration_3km_prediction
, run_duration_5km_prediction
, run_duration_10km_prediction
, run_duration_21km_prediction
, run_duration_42km_prediction
, LEAST(run_duration_3km_prediction/ 3,
邮件里无法加载图片
guifeng huang 于2023年8月21日周一 11:08写道：
>
> 因为是在流里, 我不太清楚如何给您复现的用例比较合适, 因为把数据单独拿出来, 返回结果又是正常的...
> 以下我把我的FlinkSQL代码和输出结果贴图一下(您看下是否OK)
> *FlinkSQL代码*
> 视图tmp_view是我从日志里过滤的数据, 整体业务逻辑比较简单就是lactate_threshold_pace这个是从下面5个指标里取一个最小值
> (
>
因为是在流里, 我不太清楚如何给您复现的用例比较合适, 因为把数据单独拿出来, 返回结果又是正常的...
以下我把我的FlinkSQL代码和输出结果贴图一下(您看下是否OK)
FlinkSQL代码
视图tmp_view是我从日志里过滤的数据, 整体业务逻辑比较简单就是lactate_threshold_pace这个是从下面5个指标里取一个最小值 (
Hi,
方便提供一下复现的用例吗?
Best,
Jiabao
On 2023/08/21 02:19:53 guifeng huang wrote:
> (Flink1.15版本)
> 咨询求助: Least函数输入参数(Double类型)正常, 在Flink shell里测试函数无问题, 结果符合预期.
> 但是实际生产流里进行使用的时候发现返回结果有异, 以下是3种case
> - 返回结果正确, 符合预期
> - 返回0, 不符合预期, 未知原因
> - 返回结果和理论正确值有微小的gap, 找了几个case都是1位数值里的差距.
> 看看有没有其他的老师遇到过同样的问题
(Flink1.15版本)
咨询求助: Least函数输入参数(Double类型)正常, 在Flink shell里测试函数无问题, 结果符合预期.
但是实际生产流里进行使用的时候发现返回结果有异, 以下是3种case
- 返回结果正确, 符合预期
- 返回0, 不符合预期, 未知原因
- 返回结果和理论正确值有微小的gap, 找了几个case都是1位数值里的差距.
看看有没有其他的老师遇到过同样的问题
问题一：
做checkpoint时，是每个算子收到barriers之后，将状态和offset写到状态后端，并返回ack给jm之后。再做一次全量快照到jm内存或者自己设置的hdfs文件路径下啊。不理解在hdfs生成的checkpoint文件到底是2pc提交事务成功之后的checkpoint还是每个算子做完checkpoint。
是图1：
还是图二：
问题二：
做完2pc之后。出现了故障。做故障恢复。恢复的状态是上一次提交事务成功的地方的状态。还是上一个barriers所在算子做的checkpoint成功的地方开始恢复。
| |
zyzandmz
|
|
可以 savepoint 到 HDFS，然后配置 checkpoint 的地址为 对象存储。
我们就是 flink 支持对象存储和 HDFS。
Hangxiang Yu 于2023年8月2日周三 14:03写道：
> Hi, 我理解可以有两种方式：
> 1. 设定从某个存储集群上恢复并向另一个存储集群上快照，即设置[1]为 HDFS地址，[2] 为后面的对象存储地址
> 2. 还是在HDFS集群上启停作业，设置 savepoint 目录[3]到对象存储
>
> 关于 state processor api，目前 sql 作业确实操作起来比较困难，只能从日志里获取 uid
1 可控范围即可。
2 分析阶段可以分开，实际运行阶段看情况，怎样性能高就如何搞。
3 看监控，flink web ui有根据每个节点的反压情况按照不同颜色展示。
星海 <2278179...@qq.com.invalid> 于2023年8月16日周三 22:03写道：
>
> hello。大家好，请教几个问题：
> 1、flink中背压存在是合理的吗？还是在可控范围内就行？还是尽可能没有呢？
> 2、如果出现背压，如果多个operator chain 在一起不好分析，需要先将其拆开分析吗？
>
The Apache Flink community is very happy to announce the release of Apache
Flink Kubernetes Operator 1.6.0.
The Flink Kubernetes Operator allows users to manage their Apache Flink
applications and their lifecycle through native k8s tooling like kubectl.
Release highlights:
- Improved rollback
退订
请问，flink1.17在使用RichFlatMapFunction进行批计算时，如何在数据结束时将状态写入输出的数据流中？
谢谢
退订
退订
HI
我简化了我python代码
只要udft方法有外部方法,都会有递归问题, 比如
agan_add_iig(),尽管我的agan_add_iig()实现很简单,flink难道不能外部import自定义方法吗??
def agan_add_iig():
return 2
@udtf(input_types=DataTypes.STRING(),
result_types=[DataTypes.STRING(), DataTypes.STRING(), DataTypes.STRING(),
DataTypes.STRING()])
def run(data_str):
try:
各位老师好:
背景是这样的[flink1.17.1],我在window机器,本地单机调用自定义的pythonUDF,下面是我python代码
err=None
@udtf(input_types=DataTypes.STRING(),
result_types=[DataTypes.STRING(), DataTypes.STRING(), DataTypes.STRING(),
DataTypes.STRING()])
def run(data_str):
try:
logger.info("input param is ", data_str)
好滴呀 谢谢各位老师指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Yanfei Lei |
| 发送日期 | 2023年8月10日 11:50 |
| 收件人 | |
| 主题 | Re: Flink 窗口触发条件 |
hi,
hi,
感觉和[1]的问题比较像，事件时间的window在onElement和onEventTime时会触发，这两个方法又会根据watermark判断，可以看看o.a.f.table.runtime.operators.window.triggers包和o.a.f.table.runtime.operators.wmassigners包。
[1] https://juejin.cn/post/6850418110010179597
小昌同学 于2023年8月10日周四 10:52写道：
>
>
各位老师好，我这边在使用Flink的事件时间窗口的时候，关于窗口触发的条件我有一点疑问想咨询一下各位老师
我是开了一个2分钟的事件时间的窗口，但是等到两分钟后窗口并没有主动触发，等我后面再发一条数据的时候，窗口再进行了触发
所以我想请问一下窗口的触发机制不是时间点嘛，而是非要等到下一条数据发送，依赖于下一条数据携带的时间戳大于窗口的结束时间，上一个窗口才会真正的触发嘛
请各位老师指导一下
| |
小昌同学
|
|
ccc0606fight...@163.com
|
退订
好的 谢谢各位老师的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | ron |
| 发送日期 | 2023年8月10日 00:51 |
| 收件人 | |
| 主题 | Re: 回复： Flink消费MySQL |
Hi,
建议通过CDC实时读，然后用Flink的双流Join进行关联。
-原始邮件-
发件人: "小昌同学"
发送时间: 2023-08-08 11:10:19 (星期二)
收件人: user-zh
抄送: user-zh
主题: 回复：
Hi,
这个报错看起来确实很奇怪，你可以给一个完整的使用SQL吗，这样可以方便去复现一下。
> -原始邮件-
> 发件人: "junjie.m...@goupwith.com"
> 发送时间: 2023-08-03 17:05:03 (星期四)
> 收件人: user-zh
> 抄送:
> 主题: 自定义ScalarFunction函数运行报错
>
> public static class MatrixToRowFunction extends ScalarFunction {
> @DataTypeHint("ROW>")
> public
Hi,
建议通过CDC实时读，然后用Flink的双流Join进行关联。
> -原始邮件-
> 发件人: "小昌同学"
> 发送时间: 2023-08-08 11:10:19 (星期二)
> 收件人: user-zh
> 抄送: user-zh
> 主题: 回复： Flink消费MySQL
>
> 谢谢老师指导呀；
> 我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
> 老师这一块有更好的建议嘛
>
>
> | |
> 小昌同学
> |
> |
>
像上面提到的，目前可能直接使用CDC是一个比较好的方案，自己读数据会有很多问题，比如update数据如何读取、如何读取增量数据、如何处理failover等，还是直接使用CDC最方便
Best,
Shammon FY
On Tue, Aug 8, 2023 at 11:30 AM Jiabao Sun
wrote:
> Hi,
>
> 可以尝试使用 flink-cdc-connectors 去实时关联。
> 使用 regular join 需要保留两张表完整的状态，表数据量较大建议使用 rocksdb backend。
> 被关联的表变化不大的话可以考虑 lookup join。
>
Hi,
可以尝试使用 flink-cdc-connectors 去实时关联。
使用 regular join 需要保留两张表完整的状态，表数据量较大建议使用 rocksdb backend。
被关联的表变化不大的话可以考虑 lookup join。
Best,
Jiabao
> 2023年8月8日 上午11:10，小昌同学 写道：
>
> 谢谢老师指导呀；
> 我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
> 老师这一块有更好的建议嘛
>
>
> | |
> 小昌同学
谢谢老师指导呀；
我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
老师这一块有更好的建议嘛
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年8月8日 10:37 |
| 收件人 | |
| 主题 | Re: Flink消费MySQL |
Hi，
你代码里的ResultSet读取完成后需要将resultSet关闭掉，避免资源泄漏
Hi，
你代码里的ResultSet读取完成后需要将resultSet关闭掉，避免资源泄漏
至于你提到的Mysql数据读完程序就结束具体是指哪块？mysql是bounded
source，数据消费完成并且整个作业计算完成后，就会结束，这是正常情况
Best,
Shammon FY
On Mon, Aug 7, 2023 at 5:04 PM 小昌同学 wrote:
> 各位老师好
> ，我这边在本地使用通过继承RichSourceFunction类，实现从MySQL中读取数据，但是为啥程序将MySQL中的全部数据获取出来后，程序就自动停止了啊；
> 以下是我的代码：
> |
>
如果不是用的flink kubernetes operator或者hdfs和oss系统网络无法直接连通怎么办？
有没有办法读取hdfs的checkpoint/savepoint然后再另存为oss的checkpoint/savepoint呢？谢谢！
在 2023-08-07 10:33:25，"Ruibin Xing" 写道：
>你好，
>
>如果你们也使用的是官方的Flink Kubernetes
Hi,
看着像是版本冲突了，你有在你的flink session集群目录里放hbase的包吗？可以检查一下跟flink hbase
shaded的hbase版本是否一致
Best,
Shammon FY
On Sat, Aug 5, 2023 at 9:33 PM 杨东树 wrote:
> 各位好，
>目前使用sql-client查询hbase数据时，无法查询成功，麻烦指导下，谢谢。
>复现方法：
> 1、hbase操作:
> hbase(main):005:0> create 'flink_to_hbase','cf1'
> 0 row(s)
各位老师好
，我这边在本地使用通过继承RichSourceFunction类，实现从MySQL中读取数据，但是为啥程序将MySQL中的全部数据获取出来后，程序就自动停止了啊；
以下是我的代码：
|
public class MysqlSource2 extends RichSourceFunction {
PreparedStatement ps;
private Connection connection;
@Override
public void open(Configuration parameters) throws Exception {
你好，
如果你们也使用的是官方的Flink Kubernetes
Operator，可以参考我们迁移的经验：迁移的时候设置FlinkDeployment的initalSavepoint为HDFS上Savepoint的地址，同时配置savepoint/checkpoint目录为OSS。这样Flink启动的时候会从HDFS中的状态恢复，并将新的checkpoint保存在oss中。
On Sun, Aug 6, 2023 at 10:03 PM casel.chen wrote:
> flink on
flink on yarn作业checkpoint/savepoint保存在hdfs上面，现在想将其迁移到on
k8s上运行，使用的是对象存储oss，请问如何无感地进行作业状态迁移呢？使用的flink版本是1.15.2，谢谢！
各位好，
目前使用sql-client查询hbase数据时，无法查询成功，麻烦指导下，谢谢。
复现方法：
1、hbase操作:
hbase(main):005:0> create 'flink_to_hbase','cf1'
0 row(s) in 2.2900 seconds
hbase(main):006:0> put 'flink_to_hbase', 'rk0001', 'cf1:username', 'zhangsan'
0 row(s) in 0.0510 seconds
2、flink操作:
./start-cluster.sh
Hi,
一般需要确认一下是哪块引起的fullgc，比如metaspace还是堆内存过大导致的。如果是堆内存过大导致的，可以将内存dump下来，用一些分析工具例如mat、visualvm等具体查看一下哪些对象占比比较多，是否存在内存泄漏等原因
Best,
Shammon FY
On Fri, Aug 4, 2023 at 10:00 AM yidan zhao wrote:
> GC日志看GC原因
>
> 2278179732 <2278179...@qq.com.invalid> 于2023年8月3日周四 13:59写道：
> >
> >
Regular Join 默认把数据都存储在State中，通常会结合TTL来进行优化
guanyq 于2023年8月3日周四 15:59写道：
> 请问下多个表关联，这种flink sql如何优化呢，直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式
>
> select
> date_format(a.create_time, '-MM-dd HH:mm:ss') as create_time,
> b.vehicle_code,
> a.item_name,
>
GC日志看GC原因
2278179732 <2278179...@qq.com.invalid> 于2023年8月3日周四 13:59写道：
>
> 大家好，请问下作业跑一段时间就会偶发出现背压，full gc看着很严重，有什么好的工具排查下吗？或者经验文档？谢谢！
请问下多个表关联，这种flink sql如何优化呢，直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式
select
date_format(a.create_time, '-MM-dd HH:mm:ss') as create_time,
b.vehicle_code,
a.item_name,
a.item_value,
c.item_value as vehicle_score,
d.current_fault,
首先你窗口是30min，刚刚开始肯定会是涨的。
其次，后续稳定后，继续涨可能是因为流量在变化。
最后，流量不变情况下，还可能受到延迟的影响。
lxk 于2023年7月25日周二 11:22写道：
>
> 相关配置：
> Flink:1.16
>
> | Checkpointing Mode | Exactly Once |
> | Checkpoint Storage | FileSystemCheckpointStorage |
> | State Backend | EmbeddedRocksDBStateBackend |
> | Interval | 8m 0s |
>
>
>
这个取决于你是什么模型，比如python中sklearn的大多模型都可以导出成pmml格式模型，然后java用jpmml库就可以导入进行预测。
如果是tensorflow模型，也有，只不过我忘记了，你可以找找。
15904502343 <15904502...@163.com> 于2023年8月1日周二 16:48写道：
>
> 您好
> 我想知道是否有代码示例，可以在Flink程序中加载预先训练好的编码模型(用python编写)
你好，
不需要将所有的依赖都改为snapshot，仅需要将我们项目内的版本加上 snapshot 后缀。
可以在项目中统一替换版本号 1.x.x -> 1.x.x-SNAPSHOT，或者使用 mvn versions:set
-DnewVersion=1.x.x-SNAPSHOT 设置。
> 2023年8月2日 下午2:25，jinzhuguang 写道：
>
>
非常感谢你的提醒，我现在用maven工具修改了所有的版本号为snapshot，但是flink-connectors(connectors的父模块)也变成snapshot，打包的时候仓库里找不到他了，而且也没法想flink-runtime这些包手动改下版本好，这种该怎么办
> 2023年7月27日 11:05，Jiabao Sun 写道：
>
> 你好，
>
> 通常在 pom 中引入 maven-deploy-plugin，并且通过 声明私服地址，使用 mvn
> clean deploy 命令部署到nexus私服。
> 部署到 SNAPSHOT 仓库需要项目版本号包含
Hi, 我理解可以有两种方式：
1. 设定从某个存储集群上恢复并向另一个存储集群上快照，即设置[1]为 HDFS地址，[2] 为后面的对象存储地址
2. 还是在HDFS集群上启停作业，设置 savepoint 目录[3]到对象存储
关于 state processor api，目前 sql 作业确实操作起来比较困难，只能从日志里获取 uid 等信息，以及理解 sql
实际产生的状态才能使用；
[1]
/opt/flink/flink-1.17.1/bin/flink run-application -t yarn-application -yjm
1024m -ytm 1024m ./xx-1.0.jar
./config.properties以上提交命令制定的配置文件，为什么在容器内找配置文件？file
/home/yarn/nm/usercache/root/appcache/application_1690773368385_0092/container_e183_1690773368385_0092_01_01/./config.properties
does
*退订*
您好
我想知道是否有代码示例，可以在Flink程序中加载预先训练好的编码模型(用python编写)
我们要将当前在Hadoop Yarn上运行的flink
sql作业迁移到K8S上，状态存储介质要从HDFS更换到对象存储，以便作业能够从之前保存点恢复，升级对用户无感。
又因为flink作业状态文件内容中包含有绝对路径，所以不能通过物理直接复制文件的办法实现。
查了一下官网flink state processor api目前读取状态需要传参uid和flink状态类型，但问题是flink
sql作业的uid是自动生成的，状态类型我们也无法得知，请问有没有遍历目录下保存的所有状态并将其另存到另一个文件系统目录下的API ? 感觉state
processor
Hi，
如题，请教一下关于如何使用DataStream API实现有界流的join操作，我在调用join的时候必须要window，怎么避免，还是需要使用SQL
API才可以
感谢，
鱼
这个解决不了根本问题 主要是我们的任务比较多，业务上就需要保留几千个任务
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2023年07月28日 11:28，Shammon FY 写道：
Hi,
可以通过配置`jobstore.max-capacity`和`jobstore.expiration-time`控制保存的任务数，具体参数可以参考[1]
[1]
Hi
Flink UI 需要加载所有的 Job 信息并在 UI 渲染，在作业比较多的时候很容易导致 UI 卡死。
不只在这个页面，在一些并发比较大的任务上打开 subtask 页面也很容易导致UI 卡死。
Flink UI 需要一个分页的功能来减少数据加载和 UI 渲染的压力
Best,
Weihua
On Fri, Jul 28, 2023 at 11:29 AM Shammon FY wrote:
> Hi,
>
>
> 可以通过配置`jobstore.max-capacity`和`jobstore.expiration-time`控制保存的任务数，具体参数可以参考[1]
Hi,
可以通过配置`jobstore.max-capacity`和`jobstore.expiration-time`控制保存的任务数，具体参数可以参考[1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#full-jobmanager-options
Best,
Shammon FY
On Fri, Jul 28, 2023 at 10:17 AM 阿华田 wrote:
> 目前flink-job-history
>
目前flink-job-history 已经收录5000+任务，当点击全部任务查看时，job-history就会卡死无法访问，各位大佬有什么好的解决方式？
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
退订
On Thu, Jul 27, 2023 at 2:40 PM 许琦 wrote:
> *退订*
*退订*
你好，
通常在 pom 中引入 maven-deploy-plugin，并且通过 声明私服地址，使用 mvn
clean deploy 命令部署到nexus私服。
部署到 SNAPSHOT 仓库需要项目版本号包含 -SNAPSHOT 后缀，可以在IDE中全局替换，也可以使用 versions-maven-plugin
统一设置。
org.apache.maven.plugins
maven-deploy-plugin
2.8.2
我是基于flink 1.16.0开发的，由于版本号没有snapshot，现在又无法发布release版本的，我该怎么办？
好的，谢谢老师
在 2023-07-26 21:04:20，"Jiabao Sun" 写道：
>SqlSession 需要关闭，建议使用 SqlSessionManager，可以不用手动关闭 SqlSession。
>
>
>On 2023/07/18 02:13:16 lxk wrote:
>> 在flink内需要使用mybatis做些简化查询的工作，目前我的使用方式如下
>>
>> public class MybatisUtil {
>>
>> private static final Logger LOGGER =
>>
SqlSession 需要关闭，建议使用 SqlSessionManager，可以不用手动关闭 SqlSession。
On 2023/07/18 02:13:16 lxk wrote:
> 在flink内需要使用mybatis做些简化查询的工作，目前我的使用方式如下
>
> public class MybatisUtil {
>
> private static final Logger LOGGER =
> LogFactory.createNewLogger("MybatisUtil");
> private static ThreadLocal tl = new
退订
| |
lei-tian
|
|
totorobabyf...@163.com
|
你好，感谢回复。我使用reduce解决了问题。
祝好运。
发件人: weijie guo
发送时间: 2023年7月26日 10:50
收件人: user-zh@flink.apache.org
主题: Re: 关于DataStream API计算批数据的聚合值
你好：
Batch 模式下的 reduce 操作默认应该就是只输出最后一条数据(per-key)的。Agg 的话可能有点麻烦，可以使用
GlobalWindow + 自定义 Trigger 来 Workaround.
Best regards,
退订
wang <24248...@163.com> 于2023年7月13日周四 07:34写道：
> 退订
--
Best Regards,
*Yaohua Wang 王耀华*
School of Software Technology, Xiamen University
Tel: (+86)187-0189-5935
E-mail: wangyaohua2...@gmail.com
*退订*
你好，感谢老师回复
`insert into error_md5_info (action, serverIp,
handleSerialno,md5Num,insertTime,dateTime) values
(1,2,3,4,5,6),(1,2,3,4,9,10);`或者分成两条数据插入，我理解这两种情况的话，对于数据库来说，就是一次插入与两次插入的问题了吧，要是数据量大的话，感觉对性能还是有影响的
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 |
Hi,
目前JdbcSink会为每个Sink创建PreparedStatement，当进行batch数据处理时，会先调用PreparedStatement的addBatch()函数将数据放入缓存，到达flush条件后调用executeBatch()函数批量发送数据到jdbc
server，这样会节省网络IO。
具体到数据库侧，我理解执行 `insert into error_md5_info (action, serverIp,
handleSerialno,md5Num,insertTime,dateTime) values
你好：
Batch 模式下的 reduce 操作默认应该就是只输出最后一条数据(per-key)的。Agg 的话可能有点麻烦，可以使用
GlobalWindow + 自定义 Trigger 来 Workaround.
Best regards,
Weijie
Liu Join 于2023年7月26日周三 09:10写道：
> 例如：我使用DataStream api计算批数据也就是有界流的平均值，如何实现只输出最后一条平均值的数据，不输出中间值
>
Hi,
跟使用普通流式作业的DataStream用法一样，只需要在RuntimeMode里使用Batch模式，Flink在Batch模式下会只输出最后的结果，而不会输出中间结果。具体可以参考Flink里的WordCount例子
[1]
[1]
https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/wordcount/WordCount.java
On Wed, Jul
例如：我使用DataStream api计算批数据也就是有界流的平均值，如何实现只输出最后一条平均值的数据，不输出中间值
各位老师好，我这边在使用Flink 的JdbcSink的时候，有一个疑问想请教一下各位老师：
我的代码如下:我代码中设定的每一个批次插入1000条，或者是每隔200ms插入一次数据，但是由于我司musql资源不行，从监控页面看插入的IO过高，我想请教一下我使用这样的insert语句，当我积累了1000条，是怎么样的格式
是
insert into error_md5_info (action, serverIp,
handleSerialno,md5Num,insertTime,dateTime) values (1,2,3,4,5,6),(1,2,3,4,9,10);
或者是
相关配置：
Flink:1.16
| Checkpointing Mode | Exactly Once |
| Checkpoint Storage | FileSystemCheckpointStorage |
| State Backend | EmbeddedRocksDBStateBackend |
| Interval | 8m 0s |
我有一个程序，主要是用来统计一些热门商品之类的数据
具体代码如下：
.keyBy(data -> data.getShopId() + data.getYh_productid())
Hi, Jiacheng:
helm也是把values.yaml和你在命令行中传入的参数，代入到一些k8s的yaml模版里，render出来一个yaml文件，然后提交到k8s的。
这些是flink kubernetes operator的helm的模版。
https://github.com/apache/flink-kubernetes-operator/tree/main/helm/flink-kubernetes-operator/templates
你完全可以自己人肉修改这些yaml模版，然后提交到k8s，当然这很麻烦，也很容易出错。
Hi,
运行的是哪个例子？从错误上看是在从MiniCluster获取结果的时候，MiniCluster被关闭了
Best,
Shammon FY
On Sat, Jul 22, 2023 at 3:25 PM guanyq wrote:
> 本地IDEA运行 MiniCluster is not yet running or has already been shut down.
> 请问是什么原因，如何处理
>
>
>
>
> 15:19:27,511 INFO
>
退订
请问没有helm的情况下能否安装flink-k8s-operator？安装operator是否可以不要clusterrole
本地IDEA运行 MiniCluster is not yet running or has already been shut down.
请问是什么原因，如何处理
15:19:27,511 INFO
org.apache.flink.runtime.resourcemanager.ResourceManagerServiceImpl [] -
Stopping resource manager service.
15:19:27,503 WARN
请问，flink sql 能否通过sql语句将mysql表加载为flink 内存表
sql语句为多表关联
退订
代码如下：
package com.didichuxing.iov.func
import com.didichuxing.iov.util.JedisTool
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala.async.{ResultFuture,
RichAsyncFunction}
import org.slf4j.LoggerFactory
import redis.clients.jedis.Jedis
import
我也遇到类似的问题，我是链接失效了，最后没办法再注册了
> 2023年7月20日 14:54，李天龙 写道：
>
> 您好！
> 我想注册一个flink jira的账号，但由于提出的里有不充分给拒掉了，想再次申请，却提示邮箱已申请过，还未处理：
>
>
> There is already a pending Jira account request associated with this email
> address. Please wait for it to be processed
>
>
> 请问怎么解决这个问题，并且成功申请一个账号
>
>
>
>
您好！
我想注册一个flink jira的账号，但由于提出的里有不充分给拒掉了，想再次申请，却提示邮箱已申请过，还未处理：
There is already a pending Jira account request associated with this email
address. Please wait for it to be processed
请问怎么解决这个问题，并且成功申请一个账号
--
发自我的网易邮箱平板适配版
共有 16723 项搜索結果，以下是第 501 - 600 matches
Mail list logo
