| 发件人 | Geng Biao |
| 发送日期 | 2023年04月08日 23:20 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | Re: Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能 |
Hi yihan,
这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群)，所以技术上是可能的。
我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程，整体操作感觉比较复杂，通常而言，你需要如下步
请教如标题问题，谢谢。
原本作业基本处于半裸奔的状态，最近线上出了一次小事故后，在考虑如何实时采集作业日志或者metric再配置告警。
网上初步搜了一下，好像就是prometheus+grafana或者elk。
请教各位大佬的项目目前都是用什么方式，我们小公司就我一个人搞flink，半路出家水平也有限，请大佬们推荐个易维护坑少点的方式？谢谢。
发自我的iPhone
发自我的iPhone
大家好，
我遇到一个奇怪的问题，通过计算列提取出某一字段。定义为row_time的watermark，
如下面原始字段为message，从中提取13位unix-timestamp，转成timestamp（3）再定义为watermark。
执行窗口计算不报错，但是无输出结果。
数据源是kafka，各partition内数据均匀。
建表语句类似下面（单位机器不能联外网，下面的语句是我手打的，可能有typo请见谅）
create table kafka_source(
message Varchar,
ts as
举个例子比如我想要
insert into mysql_sink
select
ID，
amount，
………
from source
groupby ID；
这里就是想按照id为key，在数据库里更新这个id对应的amount等其他值。
但这样子不能通过calcite的sqlvalidation，select后面不能有非聚合项，必须在groupby后面加上所有select后面的项。
但这样带来一个问题，这样子key的state无限增长(比如说amount是一个随机的double数)，job跑不久就会fail掉。
各位好，
我有一个需求是要维表关联mysql数据，再upsert写入mysql，就是个丰富字段的简单需求。
现在有两个问题：
1.为了实现upsert插入，我试下来必须使用groupby指定key，但是select内又有很多非聚合项，所以没办法在groupby后面加上所有那些非聚合项，否则通不过calcite
validation。
2.现在遇到了一个问题，跑一段时间会抱full GC，我估计是因为groupby导致的状态不清理。
请问flink sql ddl能通过类似SET 语句来设定ttl吗，搜了官方文档只有提到table
