Flink team好，
我有一个很一般的问题，关于如何释放 Flink Job 中某个对象持有的资源。
我是 Flink 的新用户。我搜索了很多，但没有找到相关文件。但我确信有一个标准的方法来解决它。
我的Flink 应用程序中需要访问 Elasticsearch 服务器。我们使用从
org.elasticsearch.client.RestHighLevelClient 扩展而来的类 EsClient 来完成查询工作，
一旦不再使用它就需要调用它的`close`方法来释放资源。
所以我需要找到合适的地方来确保资源总是可以被释放，即使在调用的某个地方发生了一些异常
邮件退订
我的数据源每一秒发送一条数据，下游算子每六秒才能处理完成入库，我测试时使用的是一个并行度，数据发送完毕后，在库里只有前三条发送和后两条发送的数据，中间的数据全部丢失了。应该是背压机制的问题，这是什么原因呢
flink on yarn per-job 模式提交报错，命令是 bin/flink run -m yarn-cluster -d -yjm 1024
-ytm 4096 /home/XX.jar
yarn 资源足够，提交别的程序也可以，只有这个程序提交就报错，但是命令修改为bin/flink run -m yarn-cluster -yjm 1024
-ytm 4096 /home/testjar/XX.jar 就能成功，即去掉-d 这个命令参数，但是是session模式，并且还会影响别的程序执行
报错信息：
2021-04-19 10:08:13,116
你好，我看目前jdbc
connector仅支持mysql，postgresql可以注册到flinksql,我想把Oracle维表注册进去，怎样扩展connector可以实现呢？
发自我的iPhone
请教大佬：
flink on
yarn按照并行度分配了2个taskManager,然后我们这有个jdbc的连接池在基础工程里「最大连接数是50」,有个算子的计算逻辑调用了基础工程的jdbc连接池进行业务处理。
那么2个taskManager共用这50个最大连接数还是每个taskmanager最大50 * 2 =100个连接数呢？
发自我的iPhone
请教大佬：
flink平台引入hive仅作为元数据管理，具体数据不存储在hdfs上，通过hivecatalog可以读取到具体的数据吗？
比如hive里面存储了Oracle的t_log表元数据信息，flink可以用hivecatalog读取到t_log具体的表数据吗？
发自我的iPhone
hi,all.
hive仅作为元数据管理，具体数据不存储在hdfs上，通过hivecatalog可以读取到具体的数据吗？
比如hive里面存储了MySQL,Oracle的表元数据信息，可以用hivecatalog读取到具体的表数据吗？
发自我的iPhone
下面是附件的内容，请问是因为什么导致重启呢？
2阶段提交demo:
@Slf4j public class CommonOracleSink extends
TwoPhaseCommitSinkFunctionhttp://node3:39469 was granted leadership with
leaderSessionID=----2020-08-10 16:37:34,312
INFO
您好，这里有个问题反馈下！
读取hive表的数据转化为流；按照jdbc两阶段提交方式写入oracle数据库，
没有抛任何异常但是checkpoint失败:
job eb447d27efb8134da40c0c1dd19fffdf is not in state RUNNING but SCHEDULED
instead. Aborting checkpoint.
附件
1.flink.log是yarn jobmanager打印的伪日志
2.Job.txt是job的伪代码
3.jdbc两阶段提交的伪代码附件
发自我的iPhone
好的，感谢回复，了解了，只能我们这边再去通知
了。
发自我的iPhone
-- 原始邮件 --
发件人: Congxian Qiu
1.??Flink??rabbitmq
2.??rabbitmqqos??1Flink??
We turned on debug logging for “org.apache.flink” on
this job this afternoon so maybe we’ll find something interesting if/when the
issue happens again. I do hope we can catch it in the act.
-Bruce
--
From: Zhu Zhu
Date: Monday, April 13, 2020 at 9:29 PM
To: Till Rohrmann
Cc: Aljoscha Krettek , u
.io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:148)
... 6 common frames omitted
[cid:image001.png@01D2B473.0F7F85E0]
Bruce Hanson
Principal Engineer
M: +1 425 681 0422
HERE Technologies
701 Pike Street, Suite 2000
Seattle, WA 98101 USA
47° 36' 41" N 122° 19'
between a failing cluster and a good one.
Does anyone here have any ideas as to what’s happening, or what I should be
looking for?
-Bruce
[cid:image001.png@01D2B473.0F7F85E0]
Bruce Hanson
Principal Engineer
M: +1 425 681 0422
HERE Technologies
701 Pike Street, Suite 2000
Seattle, WA 98101 USA
Good morning !
+1.
if you use nginx dynamic(redirect) proxy to Flink web ui ,
you can use Nginx bash_aush module implement simple username and password
authentication;
Thanks.
Wesley Peng 于2019年9月5日周四 上午10:48写道：
> Hi
>
> on 2019/9/5 10:46, wanghongquan.sh wrote:
> > FLink WEB
(DefaultOperatorStateBackend.java:220)
at
org.apache.flink.streaming.api.operators.AbstractStreamOperator.snapshotState(AbstractStreamOperator.java:363)
... 12 more
Regards,
Bruce
more
[cid:01830D03-C3D5-4C98-BB4D-27DC3889EBFC]
Bruce Hanson
Software Engineer
HERE Predictive Analytics
HERE Seattle
701 Pike St, Suite 2000, Seattle, WA 98101
47° 36' 41" N. 122° 19' 57"
W<http://here.com/usa/seattle/98101/pike-st/701/map=47.611439,-122.332741,17/title=HERE%20Seattl
provide more nuanced ways of upgrading a job’s software?
Are there folks out there that are working with this sort of problem, either
within Flink or around it?
Thank you for any help, thoughts, etc. you may have.
-Bruce
19 matches
Mail list logo
