退订
退订
Replied Message
| From | abc15...@163.com |
| Date | 05/10/2024 12:26 |
| To | user-zh@flink.apache.org |
| Cc | |
| Subject | Re: use flink 1.19 JDBC Driver can find jdbc connector |
I've solved it. You need to register the number of connections in the jar of
gateway
You can take a look at the document. [
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/config/#rocksdb-native-metrics
]
Thanks,
Zbz
> 2024年4月7日 13:41，Lei Wang 写道：
>
>
> Using big state and want to do some performance tuning, how can i enable
> RocksDB native
有没有比较方便快捷的解决方案？
有没有高手指点一二？？？在线等
回复的原邮件
| 发件人 | kellygeorg...@163.com |
| 日期 | 2024年03月11日 20:29 |
| 收件人 | user-zh |
| 抄送至 | |
| 主题 | flink operator 高可用任务偶发性报错unable to update ConfigMapLock |
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused by:io.fabric8.kubernetes.client.Kubernetes Client
Exception:Operation:[replace] for kind:[ConfigMap] with name:[flink task
xx- configmap] in namespace:[default]
Caused by:
Hi,Yuxin Tan:
Thank you very much. My problem has been resolved.
Best,
Zbz
ute
(MojoExecutor.java:351)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute
(MojoExecutor.java:215)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute
(MojoExecutor.java:171)
at org.apache.maven.lifecycle.internal.MojoExecutor.execute
(MojoExecutor.java:
据我了解，kafka支持事务，开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试：flink读取kafka的topic
a写入topic b，开启checkpoint及exactly-once，flink未执行完新一次的checkpoint，但topic
b已经可以消费到新数据，这是什么原因？请大家指教！
退订
xudongjun123...@163.com
退订
xudongjun123...@163.com
退订
xuxuewe...@163.com
look up除了缓存之外还有没有其他更好的优化手段？或者有什么其他的方案可以替代？
lxk7...@163.com
-4569-8d93-600a8c51abbe.jar:1.14.4]
at
org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:163)
~[flink-rpc-akka_95cbfbf8-1d54-4569-8d93-600a8c51abbe.jar:1.14.4]
at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:24)
[flink-rpc-akka_95cbfbf8
退订
: Total file length is 82894 bytes.
jobmanager.out : Total file length is 0 bytes.
launch_container.sh : Total file length is 21758 bytes.
prelaunch.err : Total file length is 0 bytes.
prelaunch.out : Total file length is 100 bytes.
best,
ynz...@163.com
From: Weihua Hu
Date: 2022-07-12 23:18
[akka.tcp://flink@n103:35961]
has failed, address is now gated for [50] ms. Reason: [Association failed with
[akka.tcp://flink@n103:35961]] Caused by: [java.net.ConnectException:
Connection refused: n103/192.168.10.227:35961]
best,
ynz...@163.com
From: Weihua Hu
Date: 2022-07-11 19:46
Hi，
我正在使用flink将数据写入hudi并同步至hive，将任务提交到yarn后，我从flink web ui看到：相关任务反复初始化，task
managers无任何信息。日志中也无明确错误提示 ；
当我删除代码中sync_hive相关配置，并且不改变其他配置，数据能正常写入hudi ；
我使用的hudi-0.11.1，flink-1.14.4，hadoop-3.3.1，hive-3.1.3 ；
best,
ynz...@163.com
影响
3.还有一个问题可能是我没有阐述清楚，我在sql里使用inner
join，没有注册水印，那么两个流的join应该是以处理时间来定义的？那么表的state的过期是否也是以处理时间来定义？
lxk7...@163.com
发件人： Shengkai Fang
发送时间： 2022-06-11 20:35
收件人： user-zh
主题： Re: Re: Flink 使用interval join数据丢失疑问
hi,
对于第一点，丢数据的情况有很多。首先，要确认是不是 JOIN 算子丢数据（SINK 的使用不当也会丢数据）。如果明确了是 join
算子丢的数据，建议明确下丢的
数据正常。
3.使用流转表，sql interval join,从数据中的事件时间提取水印，对比完结果数据，数据少。
从结果上看，我不太明白为什么sql里inner join能保证数据准确，而interval
join不行？有什么好的方式或者思路能让我更好的去尝试了解这个问题产生的原因
针对第二种方式，我的疑问是，sql里没有设置水印，那么表的state过期是以处理时间来计算吗？针对这种设置了表state过期时间的join，我能理解为这个inner
join其实是一个window join吗？
lxk7...@163.com
发件人： lxk
发送时间： 2022-06
-343be43b7874de49f6ce1d8bcb6a90a384203530-2e5afb6f8bf4834164c1bb92aaf97a00:2.2.0]
weishishuo...@163.com
任何问题，我会继续关注整体的数据量差异。
lxk7...@163.com
发件人： yue ma
发送时间： 2022-06-02 15:05
收件人： user-zh
主题： Re: Flink写入CK数据丢失问题
你好，你可以先看看你们的任务是否开启了 checkpoint ，以及任务运行的过程中是否发生了 failover
lxk 于2022年6月2日周四 11:38写道：
> 各位,请教个问题
> 目前使用flink往ck写入数据，使用的是datastream
> api以及rocksdb状态后端，程序中了开了两个窗口，都是10秒级别。同时
windowFunction)
是传入一个聚合函数和一个窗口函数，这种怎么实现灵活的组合；或者flinksql是怎么样实现的，想了解这一块的代码？但是不知道从哪里入手。希望有朋友可以指定下。
谢谢！
hdxg1101300...@163.com
重发下图
https://sm.ms/image/12XQHAOZdYoqraC
https://sm.ms/image/zJ2gfmxvSc85Xl7
lxk7...@163.com
发件人： lxk7...@163.com
发送时间： 2022-05-26 20:54
收件人： user-zh
主题： Flink异步IO使用问题
我在程序里使用了异步IO,但是好像识别不了这个list类型的数据
lxk7...@163.com
我在程序里使用了异步IO,但是好像识别不了这个list类型的数据
lxk7...@163.com
刚看了下keygroup的原理，前面的内容大致能理解了，对于下面这段话
"map-state的话相当于某些固定的key group里面的key都可以通过map-state的user-key去分别存储"
我理解
是因为如果使用value-state,一个task会存在多个key，不同的key的内容会进行替换，而使用map的话，就算同一个task有多个key,根据用户自定义的key还是可以匹配到的。
这样的话，大部分场景其实都适合使用map-state。
lxk7...@163.com
From: jurluo(罗凯)
Date: 2022-0
return "data{" +
"id='" + id + '\'' +
", goods='" + goods + '\'' +
", pageName='" + pageName + '\'' +
'}';
}
}
class MyKeySelector implements KeySelector{
@Override
void setPageName(String pageName) {
this.pageName = pageName;
}
@Override
public String toString() {
return "data{" +
"id='" + id + '\'' +
", goods='" + goods + '\'' +
", pageName='" + pag
如果是两次keyby的问题，我可以直接在一次keyby里将两个数据给拼接成字符串，这样的方式是跟两次keyby效果一样吗？
lxk7...@163.com
From: Xuyang
Date: 2022-05-24 20:51
To: user-zh
Subject: Re:Re: Re: Some question with Flink state
看起来你keyby了两次，可以自定义一个keyselector来替代这两个。另外如果担心相同key没有被分到同一个并行度时，可以在某个并行度的算子下将数据和该subtask的并行度index打出来，debug调查下
在 2022
好的，我会尝试去弄一下。
lxk7...@163.com
From: Xuyang
Date: 2022-05-24 20:51
To: user-zh
Subject: Re:Re: Re: Some question with Flink state
看起来你keyby了两次，可以自定义一个keyselector来替代这两个。另外如果担心相同key没有被分到同一个并行度时，可以在某个并行度的算子下将数据和该subtask的并行度index打出来，debug调查下
在 2022-05-24 20:43:19，"lxk7...@163.com" 写道：
>
https://s2.loli.net/2022/05/24/SgAWefJpaxtOH5l.png
https://s2.loli.net/2022/05/24/54dZkr19QCh3Djf.png
这样呢
lxk7...@163.com
From: Xuyang
Date: 2022-05-24 20:17
To: user-zh
Subject: Re:Re: Re: Some question with Flink state
Hi, 你的图还是挂了，可以使用图床工具试一下
在 2022-05-24 13:50:34，"lxk7...@16
[URL=https://s2.loli.net/2022/05/24/SgAWefJpaxtOH5l.png][IMG]https://s2.loli.net/2022/05/24/SgAWefJpaxtOH5l.png[/IMG][/URL]
[URL=https://s2.loli.net/2022/05/24/54dZkr19QCh3Djf.png][IMG]https://s2.loli.net/2022/05/24/54dZkr19QCh3Djf.png[/IMG][/URL]
看下这个是否能看见图片
lxk7...@163.com
From: Xuyang
Date
图片好像有点问题，重新上传一下
lxk7...@163.com
From: Hangxiang Yu
Date: 2022-05-24 12:09
To: user-zh
Subject: Re: Re: Some question with Flink state
你是用data stream作业吗，相同key如果分配到了不同的并行度，有可能是和你写的key
selector相关（你可以参照下KeySelector的comments去看是否符合它的规范）；
或者方便的话你可以分享下你的key selector相关的逻辑和使用state的逻辑；
On Tue, May 24
以下是我的代码部分
这是最新的一版，根据测试的时候没有啥问题
但是之前使用value state的时候能从数据上看出不对
lxk7...@163.com
From: Hangxiang Yu
Date: 2022-05-24 12:09
To: user-zh
Subject: Re: Re: Some question with Flink state
你是用data stream作业吗，相同key如果分配到了不同的并行度，有可能是和你写的key
selector相关（你可以参照下KeySelector的comments去看是否符合它的规范）；
或者方便的话你可以分享下你
一个key的数据都会被同一个task处理。
lxk7...@163.com
From: Hangxiang Yu
Date: 2022-05-23 23:09
To: user-zh; lxk7491
Subject: Re: Some question with Flink state
Hello,
All states will not be shared in different parallelisms.
BTW, English questions could be sent to u...@flink.apache.org.
Best,
Hangxiang
the value is Thread-Level
But when I used map-state,the value is correctly. I mean the map-state was
shared by every parallelism.
looking forward to your reply
lxk7...@163.com
退订
xudongjun123...@163.com
第一次弄，不知道这么写的对不对
https://issues.apache.org/jira/projects/FLINK/issues/FLINK-27604
18579099...@163.com
发件人： Jingsong Li
发送时间： 2022-05-13 15:06
收件人： user-zh
主题： Re: Re: flink sql无法读取Hive映射的HBase表
Hi, 推荐 https://www.deepl.com/translator
非常好用
我记得对Hive Custom Storage Handler(hbase)是有问题的
Best
我英文能力不允许啊
18579099...@163.com
发件人： yuxia
发送时间： 2022-05-11 15:11
收件人： user-zh
主题： Re: flink sql无法读取Hive映射的HBase表
不好意思，我尝试复现你的问题，但是我没有 hbase 环境，不过看起来是只有当 STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 有问题？
我之后空了再debug 看看。
不过我看了一下 flink 这块的代码，从 flink 这块的代码来看，应该是 get 这个
-1.13.6.jar:1.13.6]
at
org.apache.flink.table.client.gateway.local.LocalExecutor.executeOperation(LocalExecutor.java:213)
~[flink-sql-client_2.11-1.13.6.jar:1.13.6]
... 12 more
18579099...@163.com
发件人： yuxia
发送时间： 2022-05-10 09:32
收件人： user-zh
主题： Re: flink sql无法读取Hive映射的HBase表
用的是 Hive
: Failed to get table
schema from deserializer。
不知道有没有什么办法可以解决这个问题，使用spark引擎是可以读取到数据的。
18579099...@163.com
;
lpengdr...@163.com
.onMissingDeploymentsOf(JobMaster.java:248)
... 34 more
```
不知道root cause是什么，web 界面是否可以查到呢？还是到哪里去查看呢？
weishishuo...@163.com
cdc项目中每种connector都分成flink-connector-xxx和flink-sql-connector-xxx，比如flink-connector-mysql-cdc和flink-sql-connector-mysql-cdc，这两个的区别是什么呢？在什么场景下用前者，什么场景下用后者？
weishishuo...@163.com
(SelectStockJob.getClass,
profiles)
}
repository = SpringContextHolder.getBean(classOf[xxxRepository])
}
wch...@163.com
发件人： 676360...@qq.com.INVALID
发送时间： 2022-04-18 14:28
收件人： user-zh@flink.apache.org
主题： flink发布集群端运行，如何在sink或source中使用springboot的bean
您好：
首先很感谢您能在百忙之中看到我的邮件。在使用flink框架过程中我遇到了一些
使用 Postgres 数据库作为 Catalog
时如何设置一些其他参数，例如sink.buffer-flush.interval,sink.buffer-flush.max-rows
17610801...@163.com
e.seconds(10)).reduce((a,b)->b).addSink()
>
> 实际上逆序输出了窗口内的所有记录。
>
> 谢谢，
>
> 王磊
>
>
>
> On Mon, Feb 28, 2022 at 9:59 AM 18703416...@163.com <18703416...@163.com>
> wrote:
>
>> keyBy 算子之后接 timewindow 窗口， 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力，取决于这个窗口的大小
keyBy 算子之后接 timewindow 窗口， 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力，取决于这个窗口的大小
> 2022年2月25日 下午6:45，Lei Wang 写道：
>
> 场景描述：
> Kafka 中的数据直接入到 MySQL 数据库中，数据格式如下:
> order_id status
> 只有两个字段， order_id 为主键，以 replace 覆盖方式写入到数据库中。
>
> 对同一个 order_id, status 变化很频繁，为不对数据库造成压力，不会对每一条记录都做入库操作，但一定要保证这个 order_id
>
自定义 kafkasource 的 DeserializationSchema
丢弃的返回 null， source 的下一个filter 算子进行过滤即可
> 2022年2月26日 上午9:01，jack zhang 写道：
>
> 1、flink程序资源有限，kafka中数据比较多，想要按一定比例丢弃数据(或者其它策略)，减轻flink 程序压力，有什么方法吗？
如果不同算子 需要共享状态，是否考虑 归为一个算子进行处理，同理后面的算子也是
> 2022年2月25日 下午4:30，huangzhi...@iwgame.com 写道：
>
> 对于keyed datastream 不同的算子之间是否能够共享同一状态，或者后面的算子任务，是否可以拿到前一个算子任务中的状态？
>
>
>
> huangzhi...@iwgame.com
类似kafka这样的消息管道应该用来 削峰填谷，
可以先sink 至kafka，再从kafka -> db
> 2022年1月26日 上午2:11，Jing 写道：
>
> Hi Flink中文社区，
>
> 我碰到一个这样的问题，我的数据库有write throttle, 我的flink
> app是一个10分钟窗口的聚合操作，这样导致，每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
> 有什么办法把这些写请求均匀分布到10分钟吗？
>
>
> 谢谢，
> Jing
退订
你好，我理解你的意思了。
可以看下 flink-cep 相关内容， 利用模式匹配去实现
> 2022年1月8日 下午7:10，18765295...@163.com 写道：
>
> 您好：
> 请教一个问题，
> 例如：开启一个5秒钟的滚动窗口，当key001的两条数据进来时，没有满足时间触发，但是当key002的数据进来满足窗口触发条件，会将key001的两条数据输出出去。
>
> 我想实现的是一个基于事件时间设置的滚动窗口，当key001的数据到来时，没有满足时间时，不会因为key002的数据到来触发key001的数据进行输出。
>
您好：
请教一个问题，
例如：开启一个5秒钟的滚动窗口，当key001的两条数据进来时，没有满足时间触发，但是当key002的数据进来满足窗口触发条件，会将key001的两条数据输出出去。
我想实现的是一个基于事件时间设置的滚动窗口，当key001的数据到来时，没有满足时间时，不会因为key002的数据到来触发key001的数据进行输出。
每个key都有一个属于自己的时间窗口，不会受其他分组key的影响，并且可以为每个key的时间窗口设置一个基于数量和时间的触发器，当满足数量时触发或者时间到了触发。
经过测试发现，现在设置的时间窗口里面会有不同key的数据在一起
Hi:
flink使用log4j.properties配置，.properties配置似乎没有办法配置AsyncAppender，所以在flink的日志没有办法使用AsyncAppender了吗？是否有其他的办法可以绕行
lpengdr...@163.com
TTL的配置再调用每个execNode转换成operator的方法，来做到Transformation级别的TTL控制，这个配置开放给平台的用户，通过Transformation的id做识别，是否能给一些建议
gygz...@163.com
发件人： Yun Tang
发送时间： 2021-12-09 10:57
收件人： user-zh
主题： Re: flink sql支持细粒度的状态配置
Hi 你好，
我认为这是一个很好的需求，对于data stream以及python API来说，state
TTL都是通过API逐个配置的，你的需求就可以直接满足。但是对于SQL来说，由于
个任务每个sql配置不同的TTL时间，这种场景应该如何去做 ？
gygz...@163.com
应该如何去做 ？
gygz...@163.com
您好
我将flink
sql建表程序提交到k8s执行时抛出如下异常，网上提示需要引入flink-table-planner-blink等依赖，但实际pom文件中已经引入，请问这个该如何解决，附部分pom文件，flink版本为1.13。谢谢。
取消订阅
tanggen...@163.com
作为读的数据源时，使用的hbase的sdk
scanner读取，不是全量读。见org.apache.flink.connector.hbase2.source.AbstractTableInputFormat#nextRecord。
作为维表时，使用Guava
cache缓存每次join到的key。见org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction#eval。
Best Wishes!
- Yuan
在2021年11月7日 16:26，guanyq 写道：
请大佬指导下：
-- 在 Flink
您好:
目前公司数据都是密文，要进行密文数据的比较或者计算的话，只能调用公司密文计算的接口，去看了下flink的分组和join算子，都只能指定分组的key或者join的key，不知道怎么改写比较的规则，我用mapreduce实现了重写shuffle的比较规则，可以实现密文下的join和group
by，对于使用spark和flink算子不知道如何实现。
问题:
请问有啥办法，实现密文下的join和group by操作吗？(在不能解密，只能调用公司密文计算的接口)
谢谢您。
发自 网易邮箱大师
| |
aegean0933
邮箱：aegean0...@163.com
|
退订
退订
tanggen...@163.com
退订
tanggen...@163.com
a schema = table.getSchema();
schema.getTableColumns().forEach(column -> {
System.err.println(column.asSummaryString());
});
DataStream> tuple2DataStream =
tableEnv.toRetractStream(table, Row.class);
tuple2DataStream.print(mainTable);
dataStream.print(mainTable);
}
xia_...@163.com
Hi：
请教下Flink的operator-chain的机制，
我看AsyncWaitOperator的chainingStrategy是ALWAYS，但是实际使用发现在所有算子并行度都设置为1的情况下这个operator没有办法和上游算子chain串起来只能跟下游的算子slot共享，这里边是还有什么其他规则吗？
退订
| |
aegean0933
邮箱：aegean0...@163.com
|
你好，
生成的三个文件挺小的，不到2kb，1k多一点，配这个是为了合并后比2k大
lixin58...@163.com
发件人： Rui Li
发送时间： 2021-08-05 11:42
收件人： user-zh
主题： Re: filesystem connector不支持跨subtask合并小文件
你好，
看到你的compaction.file-size配置成了2kb，这个是希望合并以后的文件的target size只有2kb么
On Wed, Aug 4, 2021 at 5:39 PM lixin58...@163.com
wrote:
>
',
'path' = 'hdfs:///data/fs_parquet_compact',
'format' = 'parquet',
'auto-compaction' = 'true',
'compaction.file-size' = '2kb',
'sink.rolling-policy.file-size' = '500b',
'sink.rolling-policy.rollover-interval' = '800s',
'sink.rolling-policy.check-interval' = '60s'
);
lixin58...@163.com
你好，
感谢回复，看了下这个文档，提到对于parquet这种列式文件只会使用onCheckpointRollPolicy，也就是只在做检查点时会滚动。flink
filesystem table这块的parquet列式文件写入是不是也这样呢？
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/streamfile_sink.html
lixin58...@163.com
发件人： Jingsong Li
发送时间： 2021-07-27 10:30
收件人
大家好，
检查点配的是120s，滚动时长800s，滚动大小1kb，并行度配的2
不过在跑的过程中发现不管写入的多快，同时只存在一个in-progress文件，且最终生成的文件是严格按照120s生成的，这个很奇怪，似乎只有按检查点滚动生效了，与json格式的不一样。真的是这样吗？不过看官方文档没有这样说
求大佬们解惑！
create table fs_parquet
(userid bigint, name string, part string)
PARTITIONED BY (part)
with(
'connector' = 'filesystem',
'path' =
时缺包，目前pom文件是有hbase-client、hbase-commen、flink-sql-connector-hbase。
Sincerely，
xie_guo...@163.com
??,
??
watermark
jiangshan0...@163.com
op
?? 2021-06-23 17:03
user-zh
?? Processing-time temporal join is not supported yet
hi
你用EventTimeSession窗口的超时也是按照你的事件时间来判断的，要有超过超时时间边界的数据输入了才能触发
lpengdr...@163.com
发件人： raofang
发送时间： 2021-06-18 12:20
收件人： user-zh
主题： flink1.12.2 sql session窗口间隔时间段内没有新数据窗口不关闭
hi，请教大家一个问题：
flink1.12.2 sql BlinkPlanner
使用基于routime的session窗口时，在设置的间隔时间10分钟内没有接收到新数据，窗口没有关闭输出计算结果；但是接收到10分钟之后的新数据时
For flink1.12.1 version, set taskmanager.memory.process.size: 1024m.
When running, Heap Maximum: 146M, Non-Heap Maximum: 744 MB, Heap usage rate
is about 10%-30%.
What is the reasonable Heap usage rate? So as to do further resource
optimization.
--
Sent from:
我这个情况还有点不一样的，本来单条数据是如下的:一条数据对应一个offset
{"name":"test1"}
但是Nifi采集数据后，写入kafka格式是下面这样的,一个offset对应下面几条数据（每一个offset对应的真实数据条数还不是固定的）
{"name":"test1"}
{"name":"test2"}
{"name":"test3"}
...
感谢你的回复，我借鉴下看怎么处理下，多谢了！
我们使用Nifi将数据采集到kafka,然后使用Flink处理kafka中的数据，现在Nifi如果将多条数据当做一条记录（写入kafka中的数据格式为csv或者json）写入kafka后（就是一个offset中包含了多条数据），Flink只会处理其中的一条数据？有没有什么办法让Flink都处理一个offset中的多条数据？
yinghua...@163.com
退订
周德虎
电话：15021351770
邮箱：zander0...@163.com
非常感谢！
发件人： Leonard Xu
发送时间： 2021-05-07 14:26
收件人： user-zh
主题： Re: 扩展SqlServerDialect 运行在flink on k8s报错
Hi
看日志是加载不到对应的class文件，(1)可以对比下你jar包里的路径是不是不正确,(2) 检查下集群上是不是还有之前的jar包，没替换干净
祝好
Leonard
> 在 2021年5月7日，13:58，18756225...@163.com 写道：
>
> 大家好，遇到一个问题：
> 坏境：flink 版本1.1
大家好，遇到一个问题：
坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql
参考mysqlDialect 扩展了一个
SqlServerDialect，替换了flink的lib包下的flink-connector-jdbc_2.11-1.12.1.jar，在on yarn时
任务正常运行，flink-sql也可以将数据写入到sqlserver
在同一台机器坏境 提交到k8s搭建的flink session模式集群， 就报如下错误 ， JdbcBatchingOutputFormat
yinghua...@163.com
)
Caused by: org.apache.kafka.common.errors.ProducerFencedException: Producer
attempted an operation with an old epoch. Either there is a newer producer with
the same transactionalId, or the producer's transaction has been expired by the
broker.
tanggen...@163.com
可以尝试在kafka 写个拦截器处理json
19971028...@163.com
发件人： guoyb
发送时间： 2021-04-27 17:55
收件人： user-zh
主题： 解析kafka 非标准JSON问题
您好！请问遇到如下格式的该如何用SQL解析。
string {name=string} {id : 1, name : abram}
eg:
2021-04-03x{name=aa} {id : 1, name : abram}
最重要为第三个字段 JSON，里面包含了data
第一和第二个字段可要可不要
请问，有思路可以参考吗？或者
to
EXITED_WITH_FAILURE
2021-04-20 23:34:16,069 INFO
org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch:
Cleaning up container container_1618931441017_0004_03_01
tanggen...@163.com
to
EXITED_WITH_FAILURE
2021-04-20 23:34:16,069 INFO
org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch:
Cleaning up container container_1618931441017_0004_03_01
tanggen...@163.com
默认的lib路径是/opt/flink/lib
现在我无法操作/opt/flink/lib, 但是又想往里面放东西,所以想请教是否可以修改在flink-conf.yaml指定lib路径?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
退订
huangqibing...@163.com
发件人： Chen Virtual
发送时间： 2021-04-08 12:19
收件人： user-zh@flink.apache.org
主题： 退订
退订
退订
zhaorui_9...@163.com
退订
| |
aegean0933
邮箱：aegean0...@163.com
|
退订
我也遇到这个问题，集群可以提交正常提交任务，但是jobmanager的日志一直有这个, 请问可有办法解决？
发件人： casel.chen
发送时间： 2021-02-07 16:33
收件人： user-zh@flink.apache.org
主题： flink 1.12.0 k8s session部署异常
在k8s上部署sesson模式的flink集群遇到jobmanager报如下错误，请问这是什么原因造成的？要如何fix?
2021-02-07 08:21:41,873 INFO
知道原因了
hdxg1101300...@163.com
发件人： hdxg1101300...@163.com
发送时间： 2021-03-20 22:07
收件人： user-zh
主题： flink 1.11.2 使用rocksdb时出现org.apache.flink.util.SerializedThrowable错误
你好：
最近升级flink版本从flink 1.10.2 升级到flink.1.11.2；主要是考虑日志太大查看不方便的原因；
代码没有变动只是从1.10.2.编译为1.11.2 ，集群客户端版本升级到1.11.2；任务提交到yarn 使
:1.11.2]
at
org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:186)
~[flink-dist_2.11-1.11.2.jar:1.11.2]
hdxg1101300...@163.com
l.java:511)
at
org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:260)
hdxg1101300...@163.com
Caused by: java.lang.OutOfMemoryError: Java heap space
yinghua...@163.com
发件人： william
发送时间： 2021-03-15 16:32
收件人： user-zh
主题： flink 1.12 使用流式写入hive报错，Failed to create Hive RecordWriter
flink 1.12
hadoop 2.7.5
hive 2.3.6
报错内容：
2021-03-15 16:29:43
大佬们，我现在flink的版本是flink 1.10,但是我通过-ynm 指定yarn上的任务名称不起作用，一直显示的是Flink per-job
cluster
lxk7...@163.com
退订
tiantingting5...@163.com
:266)
at
org.apache.flink.runtime.concurrent.FutureUtils.runIfNotDoneAndGet(FutureUtils.java:447)
... 5 more
guaishushu1...@163.com
？
guaishushu1...@163.com
1 - 100 of 348 matches
Mail list logo
