这个问题不知道是不是这个原因导致的，我在Flink的webUI监控界面source和sink任务中都没看到watermark的值，其中source的Watermarks显示No
Data，sink显示的是No Watermark
我的SQL语句如下:
CREATE TABLE t_stock_match_p_1(
id VARCHAR,
stkcode INT,
volume INT,
matchtime BIGINT,
ts as TO_TIMESTAMP(FROM_UNIXTIME(matchtime/1000,'-MM-dd HH:mm:ss')),
Hi All,
生产环境有一个Job,在hadoopA集群运行稳定正常，checkpoint速度也很快（checkpoint间隔时间是30s,每一个checkpoint大小几十kb，做一次checkpoint耗时为毫秒级别）
相同的job，代码没有任何变化，将job迁移到另一个hadoopB集群，checkpoint就非常慢，做一次耗时10几分钟，导致job运行瘫痪，大部分时间和资源都在做checkpoint，而没有处理我们的业务逻辑。
不是指标显示问题，是数据一直没写到mysql中，也没啥错误日志，然后今天早上我把任务重启了下，数据就全部写入到mysql中了
> 在 2021年2月26日，15:02，Smile 写道：
>
> 你好，
>
> 关于指标的问题，可以进到具体的算子里面的 Metrics 页面看看每个算子的 numRecordsIn 和
> numRecordsOut，看是哪个算子开始有输入没输出的。
> 上面贴的指标看起来是 Overview 页面上的，这个地方展示的指标是对整个 Chain 起来的整体算的。
>
> GroupWindowAggregate(groupBy=[stkcode],
退订
Strong +1
Having two planners is confusing to users and the diverging semantics make
it difficult to provide useful learning material. It is time to rip the
bandage off.
Seth
On Fri, Feb 26, 2021 at 12:54 AM Kurt Young wrote:
> change.>
>
> Hi Timo,
>
> First of all I want to thank you for
或者如果不行我就继续合并在一起了。
但是这样就需要解决一个其他问题。
问题描述
能否基于检查点/保存点重启的时候，唯独让KafkaSource不基于检查点和保存点中的offset继续消费，而是通过我指定的offset开始消费。
简而言之：我希望保留状态的同时，忽略部分数据。应用场景：数据延迟了，但我希望快速赶到最新数据去，但不希望直接不基于保存点重启任务，因为部分算子的状态比较重要，是天级别的状态，需要一整天保留。
yidan zhao 于2021年2月26日周五 下午5:48写道：
> 如题，如果我任务本身是多个连续的window处理。
>
如题，如果我任务本身是多个连续的window处理。
现在想拆分，基于kafka中转数据。但面临的第一个麻烦问题就是watermark的推进，当然简单实现也能满足功能，但是比如我窗口都是5min的，会导致下游窗口晚5min触发。比如window1
=> window2的场景下，使用maxOutOfOrderness为1min的时候，[0-5)
的数据在6min数据到的时候触发计算。如果拆分了，那么window2需要11min时候window1输出[5-10)的数据到达window2时候才会触发window2的[0,5)的计算。
hi，这个是依赖的问题。如果集群flink/lib下已经有了flink-connector-kafka.jar，提交的任务pom里面就要provider一下
在 2021-01-22 16:14:17，"lp" <973182...@qq.com> 写道：
>测试代码如下：
>--
>public class Sink_KafkaSink_1{
>public static void main(String[] args) throws Exception {
>final
我也遇到类似的问题了, 求问楼主最后怎么解决的.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我也遇到相同的问题了, 区别在于我是有一个springboot的项目提交的sql, 1.11.3上是好的,
换成1.12.1之后就不行了.sql-client本身可以执行, 但是我自己在springboot里面就提交不了sql了. 报的错是一样的,
求问楼主最后怎么解决的, 我以为应该是包有冲突, 但是具体是哪个jar包有冲突我还说不上来.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Ok 感谢
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2021年02月26日 15:29，Rui Li 写道：
你好，
目前hive connector还没有支持ranger，只支持HMS端基于storage的权限控制。
On Thu, Feb 25, 2021 at 8:49 PM 阿华田 wrote:
11 matches
Mail list logo
