hello all,
flink kubernetes
operator在生产环境的配置应该设置多少比较合适呢？目前我直接用helm去部署的，但是看到对应的pod中的两个container是没有设置request和limit
cpu和memory和JVM内存的，我应该设置吗？规模在1000左右的任务应该设置多少会比较合适呢？
best wishes,
tanjialiang.
| |
谭家良
|
|
tanjl_w...@126.com
|
tanjialiang.
| |
谭家良
|
|
tanjl_w...@126.com
|
hello,all
如题，目前我对1.16的新功能比较感兴趣，想问一下flink1.16什么时候可以完成release？什么时候会有一个可用的官方docker镜像？
| |
谭家良
|
|
tanjl_w...@126.com
|
Hi all，
目前Flink Session模式（on Yarn/on
K8s）采用的类似线程池模型，但好像都是临时taskmanager（类似线程池模型的临时线程，一定时间内就会destroy），能否设置常驻taskmanager？（生命周期跟随整个Flink集群，类似线程池模型的核心线程）
| |
谭家良
|
|
tanjl_w...@126.com
|
你好，
这个报错其实是一些安全漏洞软件的定时扫描导致的。
可能的解决方案是开启Flink的SSL认证。
相关issue：https://issues.apache.org/jira/browse/FLINK-24923
best，
tanjialiang
| |
谭家良
|
|
tanjl_w...@126.com
|
在2022年8月22日 10:34，杨扬 写道：
您好。
报错没有影响Flink任务正常运行，而且所有作业均在每天固定时间4点30分左右报错，比较符合您所说的情况。
但是还想请教下外部非预期的API请求，必须是访问了Flink服务的相关端口才有可能出现这个问题吧
其实没有这些命令很正常 因为这些辅助命令并不妨碍它运行
docker镜像自由度较高 你可以自己基于flink打镜像 自己安装你想要的命令
best,
tanjialiang.
回复的原邮件
| 发件人 | yidan zhao |
| 日期 | 2022年07月21日 17:59 |
| 收件人 | user-zh |
| 抄送至 | |
| 主题 | 为啥官方flink镜像连 ps、top、jps、ip、route 这些命令都没有。。。 |
~
可以参考：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/datastream/kafka/#monitoring
指标：currentEmitEventTimeLag
条件：kafka record必须有timestamp元数据（数据进入kafka的时间）
| |
谭家良
|
|
tanjl_w...@126.com
|
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2022年7月18日 22:55 |
| 收件人 | user
你好，感谢关注这个问题。经过后续排查与确认，大概是因为我这边运维的同事通过一些安全工具扫描导致的。
同时我搜索flink官方isuue发现一些可能的解决方案，但暂时未抽空验证：https://issues.apache.org/jira/browse/FLINK-24923
Best，
tanjialiang
在2022年7月4日 13:01，Zhanghao Chen 写道：
你好，能提供下完整的 jm/tm 侧报错日志吗？
Best,
Zhanghao Chen
From: 谭家良
Sent: Sunday
版本：flink-1.14任务：FlinkSQL，从kafka消费，TVF统计窗口输出出现问题：无论是Flink
JM和TM都出现了TooLongFrameException: Adjusted frame length exceeds 10485760:
369295622 - discarded
我看有部分任务会经常出现这种问题，想请教一下几个问题1. 出现这种问题的原因是什么？是JM与TM的通信问题还是TM与TM之间的通信问题？2.
这种情况的出现是否会带来数据丢失？3. 无论是jm和tm都会出现这种情况，有什么好的解决办法？
| |
谭家良
|
|
tanjl_w
大家好，关于kafka数据消费到hive/filesystem（orc/parquet）我有个疑问。orc/parquet如何调整落地的文件大小？是根据checkpoint时间来的吗？在落地到hive/filesystem
connector有什么优化建议吗？
best，
tanjialiang.
| |
谭家良
|
|
tanjl_w...@126.com
|
thanks，Yang.
Btw, 恭喜晋升apache flink的PMC！
Best，
tanjialiang.
在2022年5月12日 10:32，Yang Wang 写道：
可以临时通过-D "$internal.pipeline.job-id="来自定义job id，但是个内部参数
你可以看下[1]，了解更多讨论的信息
[1]. https://issues.apache.org/jira/browse/FLINK-19358
Best,
Yang
谭家良 于2022年5月11日周三 22:17写道：
我使用的App
In Flink k8s application mode with high-availability, it's job id always
00, but in history server, it make job's id for the key. How can I
using the application mode with HA and store the history job status with
history server?
Best,
tanjialiang.
我使用的Application模式：Kubernetes
我使用的HA模式：Kubernetes HA
目前Application + HA发现所有的Job ID都变成了“”，但是在HistoryServer中，他会使用Job
ID作为归档文件的文件名。那么如果这样，HistoryServer应该怎么与Application + HA相结合呢？
13 matches
Mail list logo
