hi,
rocksdb作为statebackend时，TM节点挂掉了，为何任务不能恢复呢？
1、环境说明
flink版本：1.10.2
操作系统：centos 7
2、集群说明（当前模拟了2节点）
节点A | 节点B
角色| JM、TM|TM
taskslot | 4 | 4
3、statebackend配置
# rocksdb作为状态后备
state.backend: rocksdb
#
感谢如此详尽的回复！
但是我的场景似乎无法直接使用维表join。
因为我需要把look up的结果（会是多行数据），拼成一个数组放入数据行。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hello,kenyore.
在维表的DDL的WITH参数中添加async='true'，Async 相关参数如下。
参数说明是否必填备注
async 是否开启异步请求 否 默认值为fasle。
asyncResultOrder 异步结果顺序 否 取值如下：
- unordered（默认值）：无序。
- ordered：有序。
asyncTimeoutMs 异步请求的超时时间 否 单位毫秒，默认值为3分钟。
asyncCapacity 异步请求的队列容量 否 默认值为100。
asyncCallbackThreads 回调处理线程数 否
hi,all
我有一个场景是使用自定义的ScalaFunction实现所需要的look up功能（从数据库查询并将多行数据拼成一个数组）。
我正在试图尝试使用异步IO的方式以提高它的性能，但是似乎只有Stream API提供了该特性支持。
大家有什么建议吗？或者有其他优化思路吗？
谢谢！
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请教个问题，代码一直报 java.lang.NullPointerException错误，但变量明明初始化了，却仍然有该错误，找不到原因，请诸位指教。谢谢。
错误如下：
2021-01-12 04:36:09,950 INFO org.apache.flink.runtime.taskmanager.Task
- Window(TumblingEventTimeWindows(6), EventTimeTrigger,
WashDataDetectionFunction) -> Map -> Map -> Sink: Unnamed
试下这个命令
mvn clean install -DskipTests -Dfast -Drat.skip=true -Dhaoop.version=2.7.6
-Dinclude-hadoop -Dscala-2.11 -T2C
其中，-Dhaoop.version 为 hadoop 版本号
--
Sent from: http://apache-flink.147419.n8.nabble.com/
idea??flink-sql??current_dategroup
by
在sql client端，两种方式读取hive分区表如下：
1、Flink SQL> select platform,uv FROM
vip_dataeye_valid.dm_log_validuv_daily_5min /*+
OPTIONS('streaming-source.enable'='true','streaming-source.monitor-interval'='5
min','streaming-source.consume-start-offset'='dt=20210111/hm=1000') */
可以读取到数据；
2、Flink SQL>
Hi yujianbo,
FlinkHive??--??Flink1.12
https://mp.weixin.qq.com/s/99ehmNzJVwW3cOrw_UkGsg
FlinkHive??Hive Catalog??Hive Dialect--??Flink1.12
https://mp.weixin.qq.com/s/YuR-s5zCtBz_5ku_bttbaw
??
一、环境
1、Flink1.12.0
2、hive 2.1.1
3、下载release-1.12编译的jar包，用export HADOOP_CLASSPATH=`hadoop
classpath`连接Hadoop集群
4、flink的lib目录下是这些包：（是不是还需要加一下什么包？）
flink-csv-1.12.jar
flink-dist_2.11-1.12.jar
flink-json-1.12.jar
flink-shaded-zookeeper-3.4.14.jar
flink-table_2.11-1.12.jar
求助！编译flink1.11.1源码时，报错：Failed to execute goal
com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install
node and npm) on project flink-runtime-web_2.11: Could not download Node.js:
Got error code 404 from the server.
按照网上说的修改了flink-runtime-web的pom文件依然是这个问题
一个流式写Hive的任务，调用flink restapi stop 方法暂停作业。stop暂停任务的时候，应该是会触发一次savepoint 然后
cancel。
原本以为，暂停任务触发savepoint，只是保存了状态，并不会提交分区。等到任务恢复，再按照事件时间的watermark等分区条件OK后，执行分区提交。
实际上发现，只要是触发SP，就会提交分区。查看TM日志，发现执行SP时，出现了一次 MAX_CHECKPOINT
的checkpointid。定位源码，应该是有地方调用了 AbstractStreamingWriter.endInput
请问下，stop 为什么触发
一个流式写Hive的任务，调用flink restapi stop 方法暂停作业。stop暂停任务的时候，应该是会触发一次savepoint 然后
cancel。
原本以为，暂停任务触发savepoint，只是保存了状态，并不会提交分区。等到任务恢复，再按照事件时间的watermark等分区条件OK后，执行分区提交。
实际上发现，只要是触发SP，就会提交分区。查看TM日志，发现执行SP时，出现了一次 MAX_CHECKPOINT
的checkpointid。定位源码，应该是有地方调用了 AbstractStreamingWriter.endInput
请问下，stop 为什么触发
代码如下，Flink metastore报错日志: AlreadyExistsException(message:Database
default already exists)
但是我已经 USE了 luna db啊？很奇怪
tEnv.executeSql("CREATE CATALOG iceberg_hive WITH (\n" +
" 'type'='iceberg',\n" +
" 'catalog-type'='hive',\n" +
"
好的，感谢您的帮助！
> 在 2021年1月11日，20:23，Yun Tang 写道：
>
> Hi,
>
> 没有暴露现成的API，但是可以参照测试用例的写法，给jobGraph设置 savepointRestoreSettings [1]。
>
> [1]
>
Hi,
没有暴露现成的API，但是可以参照测试用例的写法，给jobGraph设置 savepointRestoreSettings [1]。
[1]
https://github.com/apache/flink/blob/ab87cf4ec0260c30194f3d8e75be1f43318aa32a/flink-tests/src/test/java/org/apache/flink/test/checkpointing/ResumeCheckpointManuallyITCase.java#L383
祝好
唐云
我试过 flink 1.7 升级到 1.10。如果使用到了 table api 涉及 group By 的话
savePoint恢复有问题，其他没发现过什么问题。或者可以使用下 process api 写一份数据，启动 job
在2021年1月7日 09:50，zhang hao 写道：
目前现状：公司flink任务都是跑在flin1.7当中，通过公司开发的流计算平台进行提交到flink yarn集群，flink on yarn
基于flink
图片好像发送不出去，这里贴一下代码
StreamSourceContexts#getSourceContext
public static SourceFunction.SourceContext getSourceContext(
TimeCharacteristic timeCharacteristic,
ProcessingTimeService processingTimeService,
Object checkpointLock,
StreamStatusMaintainer
flink 1.12 的 watermark strategy 重构之后，添加了一个 withIdleness 方法能将一个流在一定时间没有数据产生时设置为
idle 流
但是在 1.10 中没有这样的方法可以设置。
看了下 1.10 的代码发现在 StreamSourceContext 里是可以根据参数设置 idleTimeout 的，但是在
StreamSource 的 run 方法里实际使用该方法的时候直接将 idleTimeout 写死成 -1 了
[image: image.png]
StreamSource
[image: image.png]
Flink APi 中我们在java代码中使用客户端调用类ClusterClient如下的方法停止了任务：
CompletableFuture stopWithSavepoint(JobID var1, boolean var2, @Nullable
String var3);然后我们保存了该任务的savepoint信息，那恢复时没看到对应的恢复方法，找了些资料都是通过命令来恢复，有没有直接调用Java
API 层次的方法来恢复任务？
yinghua...@163.com
hello
你放 flink-sql-connector-kafka_2.11-1.11.3.jar 后有重启 sql client 和 集群吗？
Best
zhisheng
air23 于2021年1月11日周一 下午1:32写道：
> 下载个 flink-sql-connector-kafka 这个jar 放在lib下试下
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-09 02:08:12，"inza9hi" 写道：
> >搜了下之前的邮件，貌似没有发现和我同样的问题。
> >
> >lib 下的Jar
>
21 matches
Mail list logo
