:266)
at
org.apache.flink.runtime.concurrent.FutureUtils.runIfNotDoneAndGet(FutureUtils.java:447)
... 5 more
guaishushu1...@163.com
？
guaishushu1...@163.com
这几天研究了flink table 转化为stream node 的源码，发现是某个算子的并发度取决于上一个算子的并发度。
但是在实际测试过程中发现使用window aggregate 语句时候 该算子的并发度和上游的source不一致 和我cli 命令配置的并发度一致
这是为什么呢？
guaishushu1...@163.com
uot;:"2021-02-19T17:52:20.921Z"}'.
at org.apache.flink.formats.json.JsonRowDataDeserializationSchema
guaishushu1...@163.com
看到社区文档说是Blink的去重是一种特殊Top-N。经了解Top-N会保留一个最小堆，麻烦问下那其他数据是被机制清除了，还是会保存在内存中呀。用了这个Blink去重还需要用Idle
State Retention Time来设置状态的TTL吗？
guaishushu1...@163.com
在用flink catalog+hive做元数据持久化的时候还存在几个问题
1. DDL的字段信息都在properties中导致字段无法增删改，只能重新建表；
2. 生成的表没有owner信息；
3. HMS的权限对于Flink + hive并没有作用，无权限也可以直接引用表；
guaishushu1...@163.com
发件人： 19916726683
发送时间： 2020-12-24 13:59
收件人： user-zh
主题： Re: Flink catalog+hive问题
可以参考下这个
https://hadoop.apache.org/docs/current
Flink
SQL中Source和sink可以通过修改connector配置实现并发度配置，而其他算子的并发度都是根据Source并发度来设置的，这样最多是128个并发度。但是有些算子做聚合等处理，128并发明显不够这个应该怎么解决呢？支持通过配置设置其他算子并发度吗？
guaishushu1...@163.com
在用flink
catalog+hive做元数据持久化的时候，发现hive的ACL权限没有起作用，麻烦问下知道的大佬，flink是会直接跳过hive的ACL权限吗？
guaishushu1...@163.com
t;object",
"properties" : {
"user_id222" : {type:"string"},
"name222" : {type:"string"}
}
}
}
}
}'
);
guaishushu1...@163.com
CliFrontend 向yarn上提交任务会因为资源不足等原因，导致任务提交进程一直卡着，直到有资源释放为止？
guaishushu1...@163.com
)
guaishushu1...@163.com
csv.field-delimiter
csv.line-delimiter
想问下大佬们 官方文档说是可以设置这两个值，指定行分隔和字段分隔，但是在设置kafka sinkTable的时候会出现语法错误？？？很奇怪
guaishushu1...@163.com
想问下关于RocksDBStateBackend
是直接把状态存在rocksdb数据库，还是等内存满了再存到RocksDB数据库。如果直接存在RocksDB数据库，那岂不是很影响数据处理速度。
guaishushu1...@163.com
(ContextDataFactory.java:109)
at
org.apache.logging.log4j.core.impl.ContextDataFactory.(ContextDataFactory.java:57)
... 29 more
guaishushu1...@163.com
大佬们知道 flink 的-yt命令是不支持多个目录吗，而且只能上传到集群.jar文件吗？？？
guaishushu1...@163.com
哪位大佬知道，如果要做Flink SQL血缘关系是在sqlNode中拿表之间关系好，还是在Transformation 算子中拿血缘关系好
guaishushu1...@163.com
哪位大佬知道Flink 1.10 PyFlink支持中间表 或者支持这种写法吗
source = st_env.scan("source_kafka_ifang_dkt_log")
dim_table = source.select("`cluster`, `caller`, `cid`,`content`, `ip` `path`,
`type`")
st_env.register_table('dim_table', dim_table)
guaishushu1...@163.com
PyFlink 从kafka写入ES 抛这个异常，但是host是正确的有哪位知道吗
File "main-0-8.py", line 74, in
.host("http://es9223.db.58dns.org:9223;)
TypeError: host() missing 2 required positional arguments: 'port' and 'protocol'
guaishushu1...@163.com
维表的Function是集成TableFunction，这样就没办法加载配置文件，大佬们有没有什么好的方式呀？？？
guaishushu1...@163.com
想问下大佬们 Flink的cpu利用率这么低吗 0.012？
guaishushu1...@163.com
而且 flink不是只支持这种"-MM-dd'T'HH:mm:ss.SSS'Z'" 类型解析为watermark吗，就对这样有点疑惑
guaishushu1...@163.com
发件人： guaishushu1...@163.com
发送时间： 2020-05-29 10:20
收件人： Benchao Li
抄送： user-zh
主题： Re: Re: flink-sql watermark问题
就是我是long类型的时间戳，但是用TO_TIMESTAMP转换成'-MM-dd HH:mm:ss' 之后依然可以生
就是我是long类型的时间戳，但是用TO_TIMESTAMP转换成'-MM-dd HH:mm:ss' 之后依然可以生成watermark。
guaishushu1...@163.com
发件人： Benchao Li
发送时间： 2020-05-28 17:00
收件人： user-zh
主题： Re: flink-sql watermark问题
Hi，
没太看明白你的问题是什么。目前的确是只支持Timestmap(3)作为事件时间列。
之所以还不支持long作为事件时间列，主要考虑的是时区问题。但是这个社区也在考虑，可以参考[1]
[1] https
flink-1.10 sql只支持 timestamp（3） 类型字段生成watermark
但是long这样转换后也可以生成watermark很奇怪？
CREATE TABLE user_log (
response_size int,
rowtime BIGINT,
w_ts as TO_TIMESTAMP(FROM_UNIXTIME(rowtime/1000),'-MM-dd HH:mm:ss'),
WATERMARK FOR w_ts AS w_ts - INTERVAL '5' SECOND --5秒的延迟
)
guaishushu1...@163.com
使用命令-pysf 加载python配置文件 发现classpath并没有这个文件
guaishushu1...@163.com
自定义的flink metrics可以通过flink rest接口拿到数据，但是prometheus没有拿到，有人遇到这种问题吗
guaishushu1...@163.com
大佬们，flink-tablesink 实现与sql-cli结合有什么案例吗？
guaishushu1...@163.com
From: user-zh-digest-help
Date: 2020-05-21 21:45
To: user-zh
Subject: user-zh Digest 21 May 2020 13:45:23 - Issue 703
user-zh Digest 21 May 2020 13:45:23 - Issue 703
Topics (messages 3698 through 3702)
回å¤?ï
fee":"0.0"}],"w_ts":"2020-05-20T13:58:37.131Z","w_table":"111"}
B
{"w_ts":"2020-05-20T13:58:37.131Z","city1_id":"test","cate3_id":null,"pay_order_id":""}
guaishushu1...@163.
9.0","sign":"00","account_pay_fee":"0.0"}],"w_ts":"2020-05-20T13:58:37.131Z","w_table":"111"}
B
{"w_ts":"2020-05-20T13:58:37.131Z","city1_id":"test","cate3_id":null,"pay_order_id":""}
guaishushu1...@163.com
kafka数据写入kafka 数据，flink1.10-sql解析复杂json中字段为string，导致数据丢失。
guaishushu1...@163.com
), 'pay_order_id') as pay_order_id
from hdp_lbg_huangye_payorder_binlog
)
GROUP BY TUMBLE(w_ts, INTERVAL '60' SECOND)
;
定义了eventime属性，但是算子并没有watermarks 导致数据一致不能输出
guaishushu1...@163.com
Yarn webUI 也查不到日志内容，日志都输出到.err文件里面了，flink和yarn查不到日志。
guaishushu1...@163.com
发件人： LakeShen
发送时间： 2020-05-09 11:18
收件人： user-zh
主题： Re: flink-1.10 on yarn日志输出问题
Yarn 日志的话，直接根据 任务的 Application ID ，去 Yarn 的 Web UI 上面看吧。
Best,
LakeShen
guaishushu1...@163.com 于2020年5月8日周五 下午3:43写道：
> 日志全部
hi 大家，我在使用TopN语法，往mysql写数据时，发现必须将rownum设置为数据库的主键，要不然会报错，有人遇到吗
guaishushu1...@163.com
日志全部输出到.err日志里面了，flink-web也看不到日志有人知道吗？
guaishushu1...@163.com
hi 大家
想问下flink-1.10-sql支持维表DDL吗，看社区文档好像mysql和hbase支持，但是需要什么字段显示声明为创建的表是维表呀？
guaishushu1...@163.com
因windows系统搭载虚拟机环境，总是不能成功编译flink源码，所以希望能得到一份编译后的1.6版本以上的flink源码
guaishushu1...@163.com
35 matches
Mail list logo
