Re: jdbc connectors

不是replace，用的是insert into duplicate key update ---Original--- From: "liujian"<13597820...@qq.com Date: Thu, Apr 1, 2021 16:02 PM To: "user-zh"

Re: flink集群提交任务挂掉

增大`taskmanager.memory.task.off-heap.size`配置 bowen li 于2021年4月2日周五 上午10:54写道： > Hi,大家好： > 现在我们遇到的场景是这样的,提交任务的时候会报错。我们使用的版本是1.12.1,搭建模式是standalone的。下面是报错信息。 > >java.lang.OutOfMemoryError: Direct buffer memory. The direct > out-of-memory error has occurred. This can mean two things:

flink集群提交任务挂掉

Hi,大家好： 现在我们遇到的场景是这样的,提交任务的时候会报错。我们使用的版本是1.12.1,搭建模式是standalone的。下面是报错信息。 java.lang.OutOfMemoryError: Direct buffer memory. The direct out-of-memory error has occurred. This can mean two things: either job(s) require(s) a larger size of JVM direct memory or there is a direct memory

求助：通过实时 Pipeline 的手段消费 Hive Table 报java.lang.ArrayIndexOutOfBoundsException: -1，谢谢！

你好： 1. 实时通过读KAFKA，然后将数据写入了hive，建一张hive表,format 是 Parquet,是按天、小时、分钟来分区； 2. 通过实时 Pipeline 的手段消费 Hive Table 报java.lang.ArrayIndexOutOfBoundsException: -1 在flink sql client下： 1）直接select 所有字段，是没有问题，可以正常读出所有数据。 执行： select * from ubtCatalog.ubtHive.event_all_dwd /*+

blink planner里的Scala代码，未来会由Java改写吗？

目前blink planner中有大量Scala代码，Scala在这方面写起来确实简单不少。未来不需要用Java重写是吗？

Re: flink 1.12.2 sql-cli 写入Hive报错 is_generic

查看hdfs文件： 分区一直是这样的一个文件，没有生成 _SUCCESS文件 .part-40a2c94d-0437-4666-8d43-31c908aaa02e-0-0.inprogress.73dcc10b-44f4-47e3-abac-0c14bd59f9c9 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.12.2 sql-cli 写入Hive报错 is_generic

你好，这个问题已经解决了。 我现在通过官方例子： SET table.sql-dialect=default; create table flink_kafka( sys_time bigint, rt AS TO_TIMESTAMP(FROM_UNIXTIME(sys_time / 1000, '-MM-dd HH:mm:ss')), WATERMARK FOR rt AS rt - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'xx',

????

Re: flink 1.12.2 sql-cli 写入Hive报错 is_generic

你好， 我用你提供的这个DDL没有复现这个问题，有更详细的操作步骤么？另外如果kafka表是通过create table like创建的话有个已知问题： https://issues.apache.org/jira/browse/FLINK-21660 On Thu, Apr 1, 2021 at 4:08 PM HunterXHunter <1356469...@qq.com> wrote: > 当配置好HiveCatalog后， > SQL-Cli 也可以查到hive库表信息 > 创建kafka表： > > create table test.test_kafka( > word

Re: 回复：现在的flink1.12支持批流混合的作业吗？

谢谢老哥的回复。 可能我举得例子不是很好。我其实还是单纯的想问 使用DataStream的API，支不支持同一个应用中批流混合的作业（比如一个应用多个job，job有流有批）... 就我目前看到的文档中来看，是支持的。但是指定execution.runtime-mode为批、流、自动模式后，作业的执行还是会依照批和流其中一种模式，所以在性能上不能很好的支持批流混合的作业。 不知道我理解的是否正确，学生狗一只。 祝好， 耳朵 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于Flink水位线与时间戳分配的疑问

hi, 图挂了。 1. 可以这么使用这个方法： ··· input.assignTimestampsAndWatermarks( WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofMillis(10)) .withTimestampAssigner((event, timestamp) -> 42L)); ··· TimestampAssigner 会从输入的event上读取数据 并由watermark generator 决定输出对应的watermark. 3.

Re: FS StateBackend 到 RocksDB StateBackend 状态恢复问题

Hi fanrui, thank you so much! Best, LakeShen 范瑞 <836961...@qq.com> 于2021年4月1日周四 下午7:36写道： > Hi Lake: > > > 目前的 Flink 版本应该都是不支持的，也就是说换了 StateBackend 不能正常恢复。Flink 1.13 > 做了这个事情，具体参考：FLIP41 和 FLINK-20976 > > > >

Re: FS StateBackend 到 RocksDB StateBackend 状态恢复问题

确定了 不能 LakeShen 于2021年4月1日周四 下午7:15写道： > Hi 社区， >如果实时任务状态后端之前是 FS StateBackend ，然后任务停止后，换成 RocksDB StateBackend > 做恢复，作业状态能恢复吗？ > > Best, > LakeShen >

回复：FS StateBackend 到 RocksDB StateBackend 状态恢复问题

Hi Lake: 目前的 Flink 版本应该都是不支持的，也就是说换了 StateBackend 不能正常恢复。Flink 1.13 做了这个事情，具体参考：FLIP41 和 FLINK-20976 https://cwiki.apache.org/confluence/display/FLINK/FLIP-41%3A+Unify+Binary+format+for+Keyed+State https://issues.apache.org/jira/browse/FLINK-2097 Best, fanrui ---原始邮件--- 发件人: "LakeShen"

FS StateBackend 到 RocksDB StateBackend 状态恢复问题

Hi 社区， 如果实时任务状态后端之前是 FS StateBackend ，然后任务停止后，换成 RocksDB StateBackend 做恢复，作业状态能恢复吗？ Best, LakeShen

Re: 关于flink CheckPoint 状态数据保存的问题

关于 chk 下只有 _metadata 的问题，大概是因为 state 比较小，被嵌入到 _medata 文件里了。可以参考这个配置项 [1]。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#state-backend-fs-memory-threshold Best, Paul Lam > 2021年4月1日 16:25，lp <973182...@qq.com> 写道： > > 好的，谢谢 > > > > -- > Sent from:

回复：现在的flink1.12支持批流混合的作业吗？

哈哈，建议你去了解flink-cdc 发自我的iPhone -- 原始邮件 -- 发件人: 键盘击打者 http://apache-flink.147419.n8.nabble.com/file/t1425/1617266981%281%29.jpg; 祝好， 耳朵 -- Sent from: http://apache-flink.147419.n8.nabble.com/

现在的flink1.12支持批流混合的作业吗？

嗨，您好！ 比如我想在一个应用里同时跑实时数据清洗和历史数据清洗（批作业和流作业混合）？ 类似下图的应用。 祝好， 耳朵 -- Sent from: http://apache-flink.147419.n8.nabble.com/

关于Flink水位线与时间戳分配的疑问

您好: 我是目前正在自学Flink以完成毕业设计的计算机专业学生。目前对Flink时间戳与水位线的代码有很多不确定且找不到权威解答的疑问，自己调试程序也因为之前没有Flink经验而对Debug变量窗口中各种复杂的结构找不到头绪。因此，抱着试一试的想法尝试通过这个邮箱寻求解答。 下面两个图片是一个分配器 我有一下几个疑问:1.是不是我们只要调用env.addSource(...).assignTimestampsAndWatermarks(new

Re: Connection reset by peer

加内存试试 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于flink CheckPoint 状态数据保存的问题

好的，谢谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

???????????????? OutOfMemoryError: Metaspace ????

?? sql ?? s3 clickhouse ?? kafka ?? task-manager OutOfMemoryError: Metaspace ?? flink ??1.12.2 ?? standalone kubernetes session ??

Re: 关于flink CheckPoint 状态数据保存的问题

如题，除了通过这种全局配置文件中的方式修改，能在程序中通过代码的方式修改吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

???????????????? OutOfMemoryError: Metaspace ????

?? sql ?? s3 clickhouse ?? kafka ?? task-manager OutOfMemoryError: Metaspace ?? flink ??1.12.2 ?? standalone kubernetes session ??

Re: 关于flink CheckPoint 状态数据保存的问题

这个配置本身我看了一下只能走 flink-conf.yaml，而且似乎是 per cluster 配置的，虽然 perjob / application 部署的时候没啥问题，但是 session 可能就不行了。配置这块 Flink 是有点全走 flink-conf.yaml + 默认你是用 perjob / application 的意思。 你提的数据看不到的问题，首先确认一下是否 chk 真的有数据。另外我依稀记得 tangyun(in cc) 做过一个改动，可以问下他的看法。 Best, tison. tison 于2021年4月1日周四 下午3:50写道： >

flink 1.12.2 sql-cli 写入Hive报错 is_generic

当配置好HiveCatalog后， SQL-Cli 也可以查到hive库表信息 创建kafka表： create table test.test_kafka( word VARCHAR ) WITH ( 'connector' = 'kafka', 'topic' = 'xx', 'scan.startup.mode' = 'latest-offset', 'properties.bootstrap.servers' = 'xx', 'properties.group.id' = 'test', 'format' = 'json',

jdbc connectors

Hi: jdbc connectors sink??mysql, ?? replace into??,,mysqlid,AUTO_INCREMENT ??2

Re: 关于flink CheckPoint 状态数据保存的问题

只有一个的问题是因为默认保留的 chk 数量是一个，可以修改这个配置[1]来改变。 Best, tison. [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#state-checkpoints-num-retained lp <973182...@qq.com> 于2021年4月1日周四 下午3:48写道： > 我写了一个带状态的function > 采用了如下cp配置： > env.enableCheckpointing(5000L,

关于flink CheckPoint 状态数据保存的问题

我写了一个带状态的function 采用了如下cp配置： env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(100L); env.getCheckpointConfig().setCheckpointTimeout(6L);

退订

退订