jobmanager重启时会org.apache.flink.runtime.client.jobexecutionexception could not
set up jobmanager
cannot set up the user code libraries file does not exist
/flink/recovery/appid/blob/job***
到hdfs上看，果然对应文件不存在，请问这个是什么原因造成的
Hi,
是的，这个是在 FLINK 1.11 的版本里支持的，当前 FLINK 1.11代码已经冻结，正在测试中，最近应该快发布了，所以master
分支上的版本号为1.12-SNAPSHOT
，等1.11版本发布了就可以看到对应的文档。
回到这个问题，flink sql(blink planner) 支持 multiple-sinks 的， 在 1.10 版本也可以一个作业搞定。 把 `
select * from sourceTable , LATERAL TABLE(ParseUriRow(request_uri)) as T( )….`
这段 sql insert
各位好：
目前我使用的是Flink 1.9.2, 使用过程中发现ZK上的/leader/${job_id}
节点即使作业被Cancel了也不会被清理，导致运行久了之后，/leader/下有大量job_id的空ZNode，请问这块清理时机是什么时候呢？
MuChen1.??Hbase??zk??"org.apache.flink.shaded.curator.org.apache.curator.ConnectionStatenbsp;
- Authentication failed JobManager Web Interface:
http://uhadoop-op3raf-core24:42976 "2.Hbase"Caused by:
感谢，我查阅了下资料后发现CREATE VIEW这个语法是在Flink.1.12有提及而1.10版本没有 ，1.12版本暂未发行，
而我目前使用的版本是1.10版本。
而且很奇怪，我并没有找到1.11版本的文档
在 2020-06-23 10:58:25，"Leonard Xu" 写道：
>Hi,
>
>> 在 2020年6月23日，10:49，Weixubin <18925434...@163.com> 写道：
>>
>> //这个时候我希望能够创建一张临时中间表 tempTable用来存放
Hi,Roc Marshal:
Best,
MuChen.
----
??:"Roc Marshal"http://uhadoop-op3raf-core24:42976
sql-client:
bin/sql-client.sh embedded
hbaseflinksql??
# CREATE
Hi,
> 在 2020年6月23日，10:49，Weixubin <18925434...@163.com> 写道：
>
> //这个时候我希望能够创建一张临时中间表 tempTable用来存放 对Source表中数据拆分为多列后的结果，类似于下面这样（Flink
> 并不支持这么做）
看着描述应该是源数据中的一行拆成多行。这个需求是不是用 VIEW 就可以了[1]？Flink SQL 支持 VIEW 语法的[1]。
Best,
Leonard Xu
[1]
Hi,
我希望通过FlinkSQL的方式在一个Job中完成两步的操作，但似乎办不到，情况大致如下：
eg.有一个ETL过程，需要从Source获取数据--将每条数据拆分为一条多列数据--对拆分完的数据开窗聚合--输出到sink。
//从Source获取数据
CREATE TABLE sourceTable (
request_uri STRING
) WITH (
..
);
//这个时候我希望能够创建一张临时中间表 tempTable用来存放 对Source表中数据拆分为多列后的结果，类似于下面这样（Flink 并不支持这么做）
CREATE
MuChen??HBase??zk??meta??Flink??Hbase
Sourcezk??Best,Roc
Marshal.
?? 2020-06-23 10:17:35??"MuChen" <9329...@qq.com> ??
>Hi, All:
>
>
Hi, All:
??flinksqlhbase
hadoop??masterflink??
yarn-session:
bin/yarn-session.sh -jm 1g -tm 4g -s 4 -qu root.flink -nm fsql-cli 21
# ??
和版本应该没什么关系。如果是多节点部署的情况下，-C 所指定的URL 需要各个节点都能访问得到。 确认下该URL能被所有节点访问到吗
Best,
Bin
At 2020-06-22 11:43:11, "程龙" <13162790...@163.com> wrote:
>2020-06-22 10:16:34,379 INFO
>org.apache.flink.runtime.executiongraph.ExecutionGraph- Sink: Unnamed
>(6/6)
1.
savepoint??savepoint
2. ??window??tumble event time window
3. eventtimerecord
----
Hi
1 怎么对比得到“结果不一致”这个结论的呢？
2 是否有 window 算子呢，现在 checkpoint/savepoint 没有 记录 watermark 的。
3 你的 eventtime 是直接从 record 取的，还是计算出来的呢，如果是计算出来的话，重启是否影响计算逻辑得到的 eventtime 和
watermark 呢
Best,
Congxian
claylin <1012539...@qq.com> 于2020年6月22日周一 下午10:49写道：
> hi
hi
all??savepointevent
time
目前Flink里面的实现确实是这样的，遇到不认识的option就会停下来
所以你去掉-n之后就好了
Best,
Yang
MuChen <9329...@qq.com> 于2020年6月22日周一 下午9:48写道：
> hi,Yang Wang:
>
>
>
> HDFS上面staging目录($HOME/.flink/application_id)的*flink-conf.yaml*文件中没有提交命令中指定的-qu和-nm，而且-jm和-tm也是默认值，并不是我参数中指定的值。
>
>
>
hi,Yang Wang:
HDFSstaging($HOME/.flink/application_id)??*flink-conf.yaml*??-qu??-nm??-jm??-tm
??-n??-n
??
Best,
你可以看一下HDFS上面staging目录($HOME/.flink/application_id)里面有client端生效的*flink-conf.yaml*
看看里面的"yarn.application.queue"和"yarn.application.name"是不是预期的值。
另外，-n参数很早就不支持了，这样设置也不会起作用的，都是动态申请TM的
Best,
Yang
MuChen <9329...@qq.com> 于2020年6月22日周一 下午7:32写道：
> hi,all:
>
>
> 我有一个hadoop集群和一台机器A.
>
>
>
hi
这里说的 state 不一致是什么意思呢？checkpoint 恢复保证全局的 state 被重置到之前某个成功的 checkpoint。
Best,
Congxian
莫失莫忘 于2020年6月22日周一 下午8:09写道：
> 如题，可以要求flink失败重启时 必须正常从checkpoint恢复，否则就重启失败吗？
??flink??
??checkpoint
hi,all:
hadoop??A.
Abin/yarn-session.sh -n 5 -jm 1g -tm 4g -s 4 -qu root.flink -nm
fsql-cli /dev/null 21 yarn-session??
root.flinkfsql-cli.
-C,--classpath Adds a URL to each user code
classloader on all nodes in the
cluster. The paths must specify a
protocol (e.g. file://) and be
您好，jincheng老师，我已经验证了您提供的这种分开处理的逻辑，可以解决我的问题，非常感谢您的解惑
Best,
Jack
在 2020-06-22 14:28:04，"jincheng sun" 写道：
您好，jack：
Table API 不用 if/else 直接用类似逻辑即可：
val t1 = table.filter('x > 2).groupBy(..)
val t2 = table.filter('x <= 2).groupBy(..)
t1.insert_into("sink1)
t2.insert_into("sink2")
versin: 1.8.3graph: source - map - sink
Scenes??
source subtask failed causes the graph to restart, but the exception
displayed on the flink UI is not the cause of the task failure
displayed??
JM log:
020-06-22 14:29:01.087 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph - Job
https://issues.apache.org/jira/browse/FLINK-10636
看到这个issues说这个问题是Kafka 0.8的问题，我现在用的kafka是2.2.1+cdh6.3.2，这个kafka版本也有问题吗
在 2020-06-22 15:16:14，"Congxian Qiu" 写道：
>1 首先，-s 后面跟的参数可以是 savepoint 也可以是 checkpoint path，从 retain checkpoint
>恢复就是这么启动的[1]
>2 从你的发的日志看，里面有一些认证相关的问题
Hi,
这个报错通常是缺少了 connector 相关的jar包，或者 connector 的with参数填写错误。
> flink sql-client下建的表
这是什么表，可以把建表 SQL 发出来看看吗？
Best,
Leonard Xu
您好：
我现在用flink1.10.1版本在研究那个sql-client共hive集成，目前遇到这样一个问题想请教一下：
standalone部署，3台机器，ｈｉｖｅ用的是ｃｄｈ５版本 hive1.1.0
按官方文档，进行了集成，ｈｉｖｅ建的表在flink sql-client下能查询，但反过来，flink
sql-client下建的表无法查询。（sql-client与hive都不能查）
Could not find a suitable table factory for
1 首先，-s 后面跟的参数可以是 savepoint 也可以是 checkpoint path，从 retain checkpoint
恢复就是这么启动的[1]
2 从你的发的日志看，里面有一些认证相关的问题 `2020-06-22 13:00:59,368 ERROR
org.apache.flink.shaded.curator.org.apache.curator.ConnectionState -
Authentication failed` 或许你可以先尝试解决下这个问题看看。
[1]
你看一下你的 chk 间隔，看起来是作业还没调度起来就开始 chk 所以失败。可能原因资源不足，调度不起来或者调度得慢，你 chk 间隔又小，就这样了。
如果是一直 chk 以这个方式失败，应该看下调度的日志为啥迟迟调不起来
Best,
tison.
Yichao Yang <1048262...@qq.com> 于2020年6月22日周一 上午10:57写道：
> Hi
>
>
> 看日志应该只是INFO，而不是错误，你的job是做不了checkpoint吗？
>
>
> Best,
> Yichao Yang
>
>
>
>
>
flink run -s 后面跟的参数是不是只能是savepointPath，不能是flnk job 自动checkpoint path吗
在 2020-06-22 14:32:02，"Zhou Zach" 写道：
>重启了CDH6集群，还是报同样的错误，flink 故障恢复不成功，不敢上生产啊，哪位大佬帮忙看下啊
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2020-06-22 13:21:01，"Zhou Zach" 写道：
>
>用yarn application kill flink
重启了CDH6集群，还是报同样的错误，flink 故障恢复不成功，不敢上生产啊，哪位大佬帮忙看下啊
在 2020-06-22 13:21:01，"Zhou Zach" 写道：
用yarn application kill flink job把yarn的application杀掉后，
执行/opt/flink-1.10.0/bin/flink run -s
hdfs://nameservice1:8020/user/flink10/checkpoints/f1b6f5392cd5053db155e709ffe9f871/chk-15/_metadata
您好，jack：
Table API 不用 if/else 直接用类似逻辑即可：
val t1 = table.filter('x > 2).groupBy(..)
val t2 = table.filter('x <= 2).groupBy(..)
t1.insert_into("sink1)
t2.insert_into("sink2")
Best,
Jincheng
jack 于2020年6月19日周五 上午10:35写道：
>
> 测试使用如下结构：
> table= t_env.from_path("source")
>
> if
31 matches
Mail list logo
