debezium-json数据timestamp类型时区问题

Hi all， 我们有一个场景，是把oracle数据通过debezium-oracle-cdc插件抽到kafka中，后面接flink sql分析，现在遇到一个时区的问题，比如数据库中有一个timestamp类型的字段，值是‘2022-11-17 16:16:44’，但是debezium处理的时候用了int64保存，还不带时区信息，变成1668701804000，导致flink sql中用FROM_UNIXTIME处理后变成‘2022-11-18 00:16:44 ’，差了8小时，需要手工再减8h。请问有没有一种统一的方式处理这种情况？ Best

关于flink table store的疑问

Hi all, 看table store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？ Best.

用什么工具展示实时报表？

Hi all， 经过flink处理过的数据想要做成实时报表，现在业内都在用什么方案？是通过flink写入db，然后用永洪/帆软等定时刷新，还是flink写入kafka，有工具能读取kafka数据源展示？ Best

Oracle CDC产生大量logminer日志

Hi，Team 最近在使用cdc的方式获取oracle数据的时候，dba反馈产生了大量的logminer日志，有没有方式调整日志级别，或者有特定参数可以加上？ Best

flink-k8s-operator中webhook的作用

Hi，all 最近在看flink-k8s-operator[1]，架构里有一个flink-webhook，请问这个container的作用是什么，如果配置 webhook.create=false对整体功能有什么影响？ Best regards [1] https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.1/docs/concepts/architecture/

Re: Flink SQL 怎么为每一个任务分配不同的内存配置

一个集群跑一个SQL任务怎么样 On Mon, Dec 14, 2020 at 8:42 AM yinghua...@163.com wrote: > Flink 作业在提交时可以通过参数指定JobManager > 和TaskManager的内存配置，但是SQL执行时怎么为每一个任务指定其内存配置，是不是都是读同一个flink-conf.yaml中的配置？ > > https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-configuration >

Re: flink sql es写入时，用户名密码认证不支持

Hi,你说的是这个问题么 https://issues.apache.org/jira/browse/FLINK-16788 On Mon, Nov 30, 2020 at 7:23 PM cljb...@163.com wrote: > 看了一下官网文档，目前还不支持sql 写入es时进行用户名密码认证，有什么比较简单的解决方法吗？ > 除了用api之外。 > > 感谢！ > > > > cljb...@163.com >

Re: flink sql 连接mysql 无数据输出

上面写错了，table要转成stream再打印 On Thu, Nov 26, 2020 at 11:46 AM Kyle Zhang wrote: > 调用executeSql，应该输出到另一张表里，比如printTable才能打印。 > 要不就是bsTableEnv.sqlQuery("select * from meson_budget_data").print()打印出来; > > On Thu, Nov 26, 2020 at 9:54 AM Leonard Xu wrote: > >> Hi >>

Re: flink sql 连接mysql 无数据输出

调用executeSql，应该输出到另一张表里，比如printTable才能打印。 要不就是bsTableEnv.sqlQuery("select * from meson_budget_data").print()打印出来; On Thu, Nov 26, 2020 at 9:54 AM Leonard Xu wrote: > Hi > > 调用了executeSql，作业就已经执行了，不用再调用下面的这个执行方法，看你已经配置了cp，确认下mysql的参数是否正确。 > > > 在 2020年11月25日，18:42，冯草纸 写道： > > > >

ProcessingTime下的watermark

Hi， 使用flink1.11，在SQL ddl中基于process time声明watermark报错 SQL validation failed. Watermark can not be defined for a processing time attribute column. 文档里关于watermark的解释也基本是跟eventTime在一起[1] 我想问的是基于processingTime的流处理是不需要watermark，还是被flink优化，不需要我们关心？ [1]

Re: window和timeWindow的区别

第一个是TumblingWindow,第二个是SlidingWindow https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/stream/operators/windows.html#tumbling-windows Best Regards On Sun, Oct 25, 2020 at 9:20 PM Natasha <13631230...@163.com> wrote: > hi 社区， >

关于内存大小设置以及预测

Hi all， 最近也是遇到比较常见的内存溢出的错误OutOfMemoryError: Java heap space，JM:1g TM:2g，简单粗暴的设置成2g、4g就可以运行了， INFO [] - Loading configuration property: cluster.termination-message-path, /flink/log/termination.log INFO [] - Final TaskExecutor Memory configuration: INFO [] - Total Process Memory:

Re: kafka topic字段 不全的统计场景

group by id应该就可以了吧，其他几个字段用last value或者first value[1],还有就是考虑迟到的数据怎么处理 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/functions/systemFunctions.html On Thu, Oct 15, 2020 at 5:01 PM 史 正超 wrote: > 大佬们，现在我有个场景： > 一个kafka 主题 有 4个字段 ， id, field2, field3, field4，其中id 是唯一标识，

Re: flink-connector-jdbc 落入mysql的时候timestamp 有时差问题

感觉是时区的问题 ，是使用ddl做的么 *show* variables *like* '%time_zone%’ 看一下 On Tue, Oct 13, 2020 at 2:56 PM 姬洪超 wrote: > flink-connector-jdbc 获取mysql的timestamp类型的数据后，sink到mysql后时间会晚八个小时。Ex: > 获取到的是2020-05-12T11:53:08，写入mysql后变成2020-05-11 22:53:08

Re: Flink的table-api不支持.

试一试select * from OrderA orderA join OrderB orderB on orderA.user=orderB.user On Sun, Oct 4, 2020 at 5:09 PM 忝忝向仧 <153488...@qq.com> wrote: > Hi,all: > > > Table api的sql查询里面join的时候不能写"."么? > 这样写就会报错 如下 > Exception in thread "main" org.apache.flink.table.api.SqlParserException: > SQL parse

Re: 关于flink sql cdc

show variables like '%binlog_format%'确实是ROW On Tue, Sep 29, 2020 at 7:39 PM Kyle Zhang wrote: > Hi,all > 今天在使用sql cdc中遇到以一个问题 ，版本1.11.2，idea中运行，我的ddl是 > CREATE TABLE mysql_binlog ( > id INT NOT NULL, > emp_name STRING, > age INT > ) WITH ( > 'connector' = 'mysql-cd

Re: 关于flink sql cdc

nnector-mysql-cdc-1.1.0.jar:1.1.0] at com.github.shyiko.mysql.binlog.BinaryLogClient.connect(BinaryLogClient.java:581) [flink-connector-mysql-cdc-1.1.0.jar:1.1.0] at com.github.shyiko.mysql.binlog.BinaryLogClient$7.run(BinaryLogClient.java:860) [flink-connector-mysql-cdc-1.1.0.jar:1.1.0] at java.lang

关于flink sql cdc

) ~[flink-connector-mysql-cdc-1.1.0.jar:1.1.0] at io.debezium.connector.mysql.BinlogReader.handleEvent(BinlogReader.java:583) ~[flink-connector-mysql-cdc-1.1.0.jar:1.1.0] ... 5 more sql cdc还会解析我其他的表然后报错么？，有没有人遇到类似的问题 Best, Kyle Zhang

关于如何贡献社区

Hi， 我在jira上建了一个issue(FLINK-19433 )，后续如何跟进呢，是否要有commiter把任务指配给我？ Best regards

关于sql中null值设置watermark

Hi， 我在flink1.11 create ddl中使用 WATERMARK FOR wm AS wm - INTERVAL '5’ SECOND 设置watermark，当有脏数据的时候wm为null，就会报RowTime field should not be null, please convert it to a non-null long value.有没有好的方法直接忽略脏数据。 Best

kafka connector从指定timestamp开始消费

Hi， kafka connector ddl能不能像flinkKafkaConsumer.setStartFromTimestamp(xx)一样从指定timestamp开始消费，我看文档里只提到了earliest-offset,latest-offset,group-offsets,specific-offsets CREATE TABLE MyUserTable ( ... ) WITH ( 'connector.type' = 'kafka', 'connector.version' = '0.11', -- required:

sql中使用Create view 报错

Hi， 最近在使用tEnv.sqlUpdate("create view ….的时候报错，Unsupported query: create view。稍微看了一下，master上的SqlToOperationConverter.convert里是有“validated instanceof SqlCreateView”，这个判断的，1.10的分支上还没有，感觉这个功能应该挺常见的吧，Flink SQL CLI上也是支持create view的，还没合并是有什么考虑么。

用Sql输出到oracle

大家好，最近刚开始用flink，遇到一些问题。 我的场景是从kafka读数，group by之后输出到oracle，但是我看现在JdbcDialects只有mysql、postgres跟derby，大家oracle怎么用的。 现在我是把table转成stream再写到oracle里。