Re: Flink CDC MySqlSplitReader问题

Hi，casel 这段逻辑应该只有在处理到新增表的时候才会用到。 CDC 读取数据正常是会在所有SnapshotSplit读取完成后，才会下发BinlogSplit。 但是如果是在增量阶段重启作业，同时新增加了一些表，就会出现同时有BinlogSplit和SnapshotSplit的情况，此时才会走到这段逻辑。 Best， Hang key lou 于2023年12月20日周三 16:24写道： > 意思是当 有 binlog 就意味着 已经读完了 snapshot > > casel.chen 于2023年12月19日周二 16:45写道： > > >

需要帮助：在使用AsyncLookupFunction时如果asyncLookup抛出异常，则会遇到了SerializedThrowable 的StackOverflowError

简单示例： public class TableA implements LookupTableSource { @Nullable private final LookupCache cache; public TableA(@Nullable LookupCache cache) { this.cache = cache; } @Override public LookupRuntimeProvider getLookupRuntimeProvider(LookupContext context) {

Re: Flink CDC MySqlSplitReader问题

意思是当 有 binlog 就意味着 已经读完了 snapshot casel.chen 于2023年12月19日周二 16:45写道： > 我在阅读flink-connector-mysql-cdc项目源码过程中遇到一个不清楚的地方，还请大佬指点，谢谢！ > > > MySqlSplitReader类有一段代码如下，注释“(1) Reads binlog split firstly and then read > snapshot split”这一句话我不理解。 > 为什么要先读binlog split再读snapshot

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Thanks everyone for the feedback! It doesn't have more feedback here, so I started the new vote[1] just now to update the default value of backoff-multiplier from 1.2 to 1.5. [1] https://lists.apache.org/thread/0b1dcwb49owpm6v1j8rhrg9h0fvs5nkt Best, Rui On Tue, Dec 12, 2023 at 7:14 PM

Flink CDC MySqlSplitReader问题

我在阅读flink-connector-mysql-cdc项目源码过程中遇到一个不清楚的地方，还请大佬指点，谢谢！ MySqlSplitReader类有一段代码如下，注释“(1) Reads binlog split firstly and then read snapshot split”这一句话我不理解。 为什么要先读binlog split再读snapshot split？为保证记录的时序性，不是应该先读全量的snapshot split再读增量的binlog split么？ private MySqlRecords pollSplitRecords() throws

Re: 退订

Please send email to user-unsubscr...@flink.apache.org if you want to unsubscribe the mail from u...@flink.apache.org, and you can refer [1][2] for more details. 请发送任意内容的邮件到 user-unsubscr...@flink.apache.org 地址来取消订阅来自 u...@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1]

RE: flink1.15-flink1.18官方提供写入Elasticsearch的接口报序列化异常

Hi, createIndexRequest是否不是静态的，scala的话可以在object中声明该方法。 Lambda中访问非静态方法，并且外部类不是可序列化的，可能会导致lambda无法被序列化。 Best, Jiabao On 2023/12/12 07:53:53 李世钰 wrote: > val result: ElasticsearchSink[String] = new Elasticsearch7SinkBuilder[String] > // This instructs the sink to emit after every element,

退订

退订

Re:关于文档中基于Table API 实现实时报表的问题

Hi, 你可以试一下用TO_TIMESTAMP(FROM_UNIXTIME(transaction_time)) 将long转为timestamp -- Best！ Xuyang 在 2023-12-13 15:36:50，"ha.fen...@aisino.com" 写道： >文档中数据来源于kafka >tEnv.executeSql("CREATE TABLE transactions (\n" + >"account_id BIGINT,\n" + >"amount BIGINT,\n" +

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Thank you Rui! I think a 1.5 multiplier is a reasonable tradeoff between restarting fast but not putting too much pressure on the cluster due to restarts. -Max On Tue, Dec 12, 2023 at 8:19 AM Rui Fan <1996fan...@gmail.com> wrote: > > Hi Maximilian and Mason, > > Thanks a lot for your feedback! >

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Hi Maximilian and Mason, Thanks a lot for your feedback! After an offline consultation with Max, I guess I understand your concern for now: when flink job restarts, it will make a bunch of calls to the Kubernetes API, e.g. read/write to config maps, create task managers. Currently, the default

退订

退订

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Hey Rui, +1 for changing the default restart strategy to exponential-delay. This is something all users eventually run into. They end up changing the restart strategy to exponential-delay. I think the current defaults are quite balanced. Restarts happen quickly enough unless there are consecutive

Re:Flink脏数据处理

Hi, 目前flink sql主动收集脏数据的行为。有下面两种可行的办法： 1. 如果知道脏数据是什么格式，那么将脏数据打个标，不走正常的处理逻辑，只收集，然后由一个UDAF来负责在达到一定的量的时候cancen。 2. 如果不知道脏数据是什么格式，可以在处理数据的那一个节点上使用UDX来处理正常的数据和脏数据，同时统计脏数据的数量，在达到一定上限的时候抛异常。 但是这里在udx里抛异常应该只会导致作业fo，无法让作业达到失败的状态。 要想让作业达到失败的状态，如果在source端就可以识别到脏数据的话，需要魔改下source

Re:Re:Flink SQL作业配置'table.exec.sink.upsert-materialize'参数会影响TIMESTAMP类型精度？

Hi, 可以提供一下最小能复现的query么？ 我在本地尝试了下貌似并未复现，source数据为： 1,1,1970-01-01 00:00:00.001001 2,2,1970-01-01 00:00:00.002002 3,3,1970-01-01 00:00:00.003003 query为： //tEnv.getConfig.getConfiguration // .set(ExecutionConfigOptions.TABLE_EXEC_SINK_UPSERT_MATERIALIZE,

Re:Flink SQL作业配置'table.exec.sink.upsert-materialize'参数会影响TIMESTAMP类型精度？

补充一下，flink版本是 1.17.1 在 2023-12-01 15:49:48，"casel.chen" 写道： >线上有一个flink sql作业，创建和更新时间列使用的是 TIMESTAMP(3) >类型，没有配置'table.exec.sink.upsert-materialize'参数时是正常时间写入的`-MM-dd >HH:mm:ss.SSS`格式， >然后添加了'table.exec.sink.upsert-materialize'='NONE'参数后，输出的时间格式变成了 `-MM-dd

Flink SQL作业配置'table.exec.sink.upsert-materialize'参数会影响TIMESTAMP类型精度？

线上有一个flink sql作业，创建和更新时间列使用的是 TIMESTAMP(3) 类型，没有配置'table.exec.sink.upsert-materialize'参数时是正常时间写入的`-MM-dd HH:mm:ss.SSS`格式， 然后添加了'table.exec.sink.upsert-materialize'='NONE'参数后，输出的时间格式变成了 `-MM-dd HH:mm:ss.SS`。数据类型变成了TIMESTAMP(6)，请问这是已知的issue么？ -U[2023-11-29T21:11:02.327, 2023-11-29,

回复：退订

退订 回复的原邮件 | 发件人 | 新鹏 | | 发送日期 | 2023年11月22日 17:48 | | 收件人 | user-zh | | 主题 | 退订 | 退订

[ANNOUNCE] Apache Flink 1.16.3 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.16.3, which is the third bugfix release for the Apache Flink 1.16 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data

Re:回复: flink sql如何实现json字符数据解析？

社区Flink自带的那些json函数都没有解析一串json string返回一行或多行ROW的 在 2023-11-23 15:24:33，"junjie.m...@goupwith.com" 写道： >可以看下JSON函数 >https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/functions/systemfunctions/#json-functions > > > >Junjie.M > >发件人： casel.chen >发送时间：

Re:Re: flink sql如何实现json字符数据解析？

filed字段数量是固定的，但body_data数组包含的元素个数不固定，所以 Insert into SinkT (result) select Array[ROW(uuid, null,body_data[1]. field1 as body_data.fild1, body_data[1]. Field2 as body_data.fild2), ROW(uuid, null,body_data[2]. field, body_data[2]. field2)] as result 这种写死body_data[X]的sql语句应该不work 在

Re: [ANNOUNCE] Apache Flink 1.17.2 released

Thanks Yun for driving the release. Thanks a lot to everyone that has contributed with bug fixes and other improvements! Best, Leonard > 2023年11月29日 下午1:05，Yun Tang 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.17.2, which is the second

[ANNOUNCE] Apache Flink 1.17.2 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.17.2, which is the second bugfix release for the Apache Flink 1.17 series. Apache Flink® Is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink

Re: 退订

你好, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Zhanghao Chen From: 唐凯 Sent: Saturday, November 25, 2023 9:23 To: user-zh Subject: 退订 退订

Re: 关于Flink SQL语句内的函数名和内建函数名称对应不上的问题

感谢大佬，我找到了。 所以说SQL类的内建函数实际上使用的是calcite的能力，而flink自己的内建函数是在table api中使用 > 2023年11月24日 17:07，Xuyang 写道： > > Hi, > 关于你举的例子，如果编译了源码的话，可以在FlinkSqlParserImpl这个被动态生成的词法解析器类中找到PostfixRowOperator方法，大致是通过识别到IS > NOT NULL这三个关键字，转化为Calcite的这个内置函数SqlStdOperatorTable.IS_NOT_NULL > > > > > -- > >

Re:关于Flink SQL语句内的函数名和内建函数名称对应不上的问题

Hi, 关于你举的例子，如果编译了源码的话，可以在FlinkSqlParserImpl这个被动态生成的词法解析器类中找到PostfixRowOperator方法，大致是通过识别到IS NOT NULL这三个关键字，转化为Calcite的这个内置函数SqlStdOperatorTable.IS_NOT_NULL -- Best！ Xuyang 在 2023-11-24 15:15:04，"jinzhuguang" 写道： >flink 1.18.0 > > >例如我写下一条SQL： > select * from KafkaTable where

关于Flink SQL语句内的函数名和内建函数名称对应不上的问题

flink 1.18.0 例如我写下一条SQL： select * from KafkaTable where id is not null; IS NOT NULL应该属于系统内建函数，于是我找到相关代码： public static final BuiltInFunctionDefinition IS_NOT_NULL = BuiltInFunctionDefinition.newBuilder() .name("isNotNull") .kind(SCALAR)

Re: Flink-1.15版本

看起来是类似的，不过这个报错应该是作业失败之后的报错，看还有没有其他的异常日志。 Best, Feng On Sat, Nov 4, 2023 at 3:26 PM Ray wrote: > 各位专家：当前遇到如下问题1、场景：在使用Yarn场景下提交flink任务2、版本：Flink1.15.03、日志：查看yarn上的日志发下，版本上的问题2023-11-04 > 15:04:42,313 ERROR org.apache.flink.util.FatalExitExceptionHandler > [] - FATAL: Thread

Re: flink sql如何实现json字符数据解析？

Flink SQL比较适合处理结构化的数据，不知道你的body_data中的filed数量是否是固定的。如果是固定的，那可以将源和目标的格式写成Table形式。 比如： SourceT: ( uuid String, body_data ARRAY> ) SinkT ( result ARRAY> ) Insert into SinkT (result) select Array[ROW(uuid, null,body_data[1]. field1 as body_data.fild1, body_data[1]. Field2

Re:Re: 退订

退订 -- 发自我的网易邮箱手机智能版 - Original Message - From: "Junrui Lee" To: user-zh@flink.apache.org Sent: Wed, 22 Nov 2023 10:19:32 +0800 Subject: Re: 退订 Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui 万建国 <1097498...@qq.com.invalid> 于2023年11月22日周三 10:10写道： >

[ANNOUNCE] Apache Flink Kubernetes Operator 1.7.0 released

The Apache Flink community is very happy to announce the release of Apache Flink Kubernetes Operator 1.7.0. The Flink Kubernetes Operator allows users to manage their Apache Flink applications and their lifecycle through native k8s tooling like kubectl. Release highlights: - Standalone

Re:Re:Re:flink sql支持批量lookup join

Hi, casel. 这种现在应该是没支持，好像也没有issue说要支持，可以去jira里建一个feature看看大家的反响。 目前同样可以实现的方式： 1. 三次look up join + union + udaf。 2. udf，row by row自己查，搞一个缓存提高性能。 3. 将社区的connector魔改一下，重新打包使用。 4. .. -- Best！ Xuyang 在 2023-11-22 20:44:47，"casel.chen" 写道： >有一张维表 user，包含id和name字段 >id | name

flink sql如何实现json字符数据解析？

输入： { "uuid"："", "body_data": "[{\"fild1\":1"1231","fild2\":1"2341"},{"fild1\":"abc\","fild2\":"cdf\"}]" } 输出： [ { "uuid": "", "body_data: null, "body_data.fild1": "123”, "body_data.fild2": "234" }, { "uuid": "", "body_data": null, "body_data.fild1":

Re:Re:flink sql支持批量lookup join

有一张维表 user，包含id和name字段 id | name - 1 | zhangsan 2 | lisi 3 | wangwu 现在实时来了一条交易数据 id | creator_id | approver_id | deployer_id - 1 | 1| 2 | 3 希望lookup维表user返回各用户名称 id |

退订

退订

Re:退订

退订 At 2023-10-04 10:06:45, "1" wrote: >

退订

Re:flink sql支持批量lookup join

Hi, casel. 可以对“批量lookup join”再描述详细一点么？看上去是符合一个lookup join里直接带上k1=v1 and k2=v2 and k3=v3的用法的。 -- Best！ Xuyang 在 2023-11-22 11:55:11，"casel.chen" 写道： >一行数据带了三个待lookup查询的key，分别是key1,key2和key3 > > >id key1 key2 key3 >想实现批量lookup查询返回一行数据 id value1 value2 value3 > > >查了下目前包括jdbc

flink sql支持批量lookup join

一行数据带了三个待lookup查询的key，分别是key1,key2和key3 id key1 key2 key3 想实现批量lookup查询返回一行数据 id value1 value2 value3 查了下目前包括jdbc connector在内的lookup都不支持批量查询，所以只能先将多列转成多行分别lookup再将多行转成多列，如下所示 id key1 key2 key3 先将多列转成多行 id key1 id key2 id key3 分别进行lookup join后得到 id value1 id value2 id value3 最后多行转多列返回一行数据 id

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui 万建国 <1097498...@qq.com.invalid> 于2023年11月22日周三 10:10写道： > 退订

Re: flink sql作业如何支持配置流？

Hi casel, 我们在生产中有类似的做法，可以考虑实现一个udtf，监听apollo的配置，根据配置选择是否filter数据。 Best, Yu Chen > 2023年11月20日 21:05，Xuyang 写道： > > Hi, >是否可以将这个”配置维表“换成流表，利用flink cdc，改动这个配置表的时候，监听字段cdc变化，同时下游上流join呢？ > > > > > -- > >Best！ >Xuyang > > > > > > 在 2023-11-20 19:24:47，"casel.chen" 写道： >>

Re:flink sql作业如何支持配置流？

Hi, 是否可以将这个”配置维表“换成流表，利用flink cdc，改动这个配置表的时候，监听字段cdc变化，同时下游上流join呢？ -- Best！ Xuyang 在 2023-11-20 19:24:47，"casel.chen" 写道： >我有一个flink >sql作业过滤条件customer_id是需要根据用户配置来定的，类似于Apollo配置中心，是否可以通过定义一张配置维表来实现呢？设置TTL定期去获取最新配置。 > > >create table customer_conf_tbl ( > customer_id

flink sql作业如何支持配置流？

我有一个flink sql作业过滤条件customer_id是需要根据用户配置来定的，类似于Apollo配置中心，是否可以通过定义一张配置维表来实现呢？设置TTL定期去获取最新配置。 create table customer_conf_tbl ( customer_id STRING ) with ( 'connector' = 'apollo', '其他属性' ); select * from biz_table where customer_id in (select string_split(customer_id, ',') from

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Hi David and Mason, Thanks for your feedback! To David: > Given that the new default feels more complex than the current behavior, if we decide to do this I think it will be important to include the rationale you've shared in the documentation. Sounds make sense to me, I will add the related

Re:Re:flink的sql gateway支持自定义的UDF吗？

Hi， 这种ADD JAR的方式测试了也可以用，谢谢了老哥 Thanks 在 2023-11-01 17:34:48，"Xuyang" 写道： >Hi, >你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ > > > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ > >-- > >Best！ >Xuyang > > > > > >在 2023-11-01

Re:Re:flink的sql gateway支持自定义的UDF吗？

Hi, 是的，自定义的UDF比较多，或者实现方式不同，所以加载的时候，想单独加载下， sql-client有个参数就可以支持，-j sql gateway为什么不提供了？ Thanks 在 2023-11-01 17:34:48，"Xuyang" 写道： >Hi, >你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ > > > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ >

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Rui, I don't have any direct experience with this topic, but given the motivation you shared, the proposal makes sense to me. Given that the new default feels more complex than the current behavior, if we decide to do this I think it will be important to include the rationale you've shared in the

[DISCUSS] Change the default restart-strategy to exponential-delay

Hi dear flink users and devs: FLIP-364[1] intends to make some improvements to restart-strategy and discuss updating some of the default values of exponential-delay, and whether exponential-delay can be used as the default restart-strategy. After discussing at dev mail list[2], we hope to collect

[SUMMARY] Flink 1.19 Release Sync 11/14/2023

Hi devs and users, Yesterday was the first release sync of Flink 1.19, I’d like to share the summary: - Sync meeting We switched back to google meet because there's some account limitation for zoom on some region and the google meet is available when creator is not online. The meeting will

Re:Flink sql 1.17.1 字段类型 DECIMAL(10, 0) 无法执行sql

Hi, 你的图挂了，可以贴一下图床链接或者直接贴一下代码。 -- Best！ Xuyang 在 2023-11-15 09:39:22，"刘聪聪" 写道： Flink 1.17.1 遇到 DECIMAL(10, 0)类型字段，直接无法运行，我用强转都不行，还是报数组越界，去除 DECIMAL(10, 0)类型字段，sql运行都正常。

Re: 关于Apache Flink源码贡献流程

hi， 你可以发给dev那个邮件列表咨询，这个邮件列表是用户交流用的开发者没那个多 Best regards, k...@jiayeli.cn tanjialiang 于 4月24日 下午4:06写道： Hello，everyone. 我想向apache flink贡献源码，由于修复这个issue需要新增一些API，按照流程需要发起邮件讨论，但这个topic只得到一名开发者关注，这样的情况下我应该如何进行后面的流程？期待有熟悉flink源码贡献的开发者可以提供帮助 issue:

Flink sql 1.17.1 字段类型 DECIMAL(10, 0) 无法执行sql

Flink 1.17.1 遇到 DECIMAL(10, 0)类型字段，直接无法运行，我用强转都不行，还是报数组越界，去除 DECIMAL(10, 0)类型字段，sql运行都正常。

Re: Canal-json格式下乱码导致结果不符合预期

hi 这个看起来不像是乱码造成的。 你可以尝试加上去重，还原出正确的CDC 再看下结果。 具体步骤如下： 1. 给 source 设置主键 2. table config 中设置 table.exec.source.cdc-events-duplicate 参数为 true 或者 set 'table.exec.source.cdc-events-duplicate'='true' Best, Feng On Mon, Nov 13, 2023 at 4:09 PM yawning wrote: > mysql里面字段： > > `encrypted_xx` blob >

Re: Re: Re: 关于 flink connect jar release 使用问题

感谢 Xuyang 于2023年11月10日周五 15:19写道： > 另外，我确认了一下，你贴的kafka connector官方文档下载链接和maven依赖确实都是有问题的，社区已经有issue了[1]。 > 具体connector版本和flink版本对应关系就参考链接[2]吧，实际上kafka connector针对flink > 1.18的jar包已经有了，对应的版本是maven仓库[3]里的‘3.0.1-1.18’。 > > > [1] https://issues.apache.org/jira/browse/FLINK-33512 > [2]

Re:Re: Re: 关于 flink connect jar release 使用问题

另外，我确认了一下，你贴的kafka connector官方文档下载链接和maven依赖确实都是有问题的，社区已经有issue了[1]。 具体connector版本和flink版本对应关系就参考链接[2]吧，实际上kafka connector针对flink 1.18的jar包已经有了，对应的版本是maven仓库[3]里的‘3.0.1-1.18’。 [1] https://issues.apache.org/jira/browse/FLINK-33512 [2] https://flink.apache.org/downloads/ [3]

Re: Re: 关于 flink connect jar release 使用问题

谢谢了，这些文档我都看到了，看起来 要使用1.18 还需要再等等了 Xuyang 于2023年11月10日周五 14:32写道： > Hi, > 可以关注下这个讨论[1]，1.18的connector还没有release出来。 > 在flink 1.17的时候，flink connector基本上都从主仓库移出去了，参考kafka connector [1]。 > connector的下载和兼容的flink版本可以看下这个界面[3]。 > > > > > [1]

Re:Re: 关于 flink connect jar release 使用问题

Hi, 可以关注下这个讨论[1]，1.18的connector还没有release出来。 在flink 1.17的时候，flink connector基本上都从主仓库移出去了，参考kafka connector [1]。 connector的下载和兼容的flink版本可以看下这个界面[3]。 [1] https://lists.apache.org/thread/r31f988m57rtjy4s75030pzwrlqybpq2 [2] https://issues.apache.org/jira/browse/FLINK-30859 [3]

Re: 关于 flink connect jar release 使用问题

所有的指向1.18 的 几乎都是，另外是 对应的 connector 以后是不是不要依赖 flink的具体版本了？，不然这个升级难道老大了 文档: https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/connectors/datastream/kafka/ [image: image.png][image: image.png] Xuyang 于2023年11月10日周五 11:13写道： > Hi, 可以贴一下release文档的地址吗？应该不需要自己编译才对。 > > > > > -- > >

Re:关于 flink connect jar release 使用问题

Hi, 可以贴一下release文档的地址吗？应该不需要自己编译才对。 -- Best！ Xuyang 在 2023-11-09 15:46:06，"zhhui yan" 写道： >我们这边想测试一下 升级flink 到1.18 但是我们的release 文档里面给的 connect 包都是404 ，这个是用1.17 >的包，还是需要自己编译?

关于 flink connect jar release 使用问题

我们这边想测试一下 升级flink 到1.18 但是我们的release 文档里面给的 connect 包都是404 ，这个是用1.17 的包，还是需要自己编译?

Re:FLINK-33365 - Missing filter condition in execution plan containing lookup join with mysql jdbc connector

Hi, 看了下发现这个jira下面已经有人在尝试复现但是没有成功。 如果可以的话，可以在jira下面留言回复一起多提供一些可以复现的case，帮助assigner复现这个问题，从而更快的定位+修复。 -- Best！ Xuyang 在 2023-11-07 15:59:53，"casel.chen" 写道： >这个critical issue有人fix吗？我们线上使用flink 1.17.1版本有使用jdbc维表查询on带and过滤条件，发现and过滤条件不起作用 > > >例如 >select xxx from a left join b on

FLINK-33365 - Missing filter condition in execution plan containing lookup join with mysql jdbc connector

这个critical issue有人fix吗？我们线上使用flink 1.17.1版本有使用jdbc维表查询on带and过滤条件，发现and过滤条件不起作用 例如 select xxx from a left join b on a.id = b.id and b.type = 'xxx' 发现b.type='xxx'这个过滤条件不起作用

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best Yunfeng Zhou On Mon, Nov 6, 2023 at 5:30 PM maozhaolin wrote: > > 退订

退订

退订

Flink-1.15版本

各位专家：当前遇到如下问题1、场景：在使用Yarn场景下提交flink任务2、版本：Flink1.15.03、日志：查看yarn上的日志发下，版本上的问题2023-11-04 15:04:42,313 ERROR org.apache.flink.util.FatalExitExceptionHandler [] - FATAL: Thread 'flink-akka.actor.internal-dispatcher-3' produced an uncaught exception. Stopping the

Re:疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

Hi, 验证了下，问题疑似出现在reduce函数中，复用了下wordCount1这个对象。我试了下new一个新的WordCount作为输出应该就可以了。 猜测这可能和基于Heap的state backend有关，多个窗口的heap state可能直接使用的是一个对象的地址。 ``` .reduce( (wordCount1, wordCount2) -> { WordCount newWC = new WordCount( wordCount1.word, wordCount1.count + wordCount2.count);

疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

reduce()方法的状态在窗口间未被隔离,多个窗口聚合时使用的是同一对象.一个数据进入时,被重复累加 是reduce的特性吗? 还是reduce中的窗口间隔离出现问题? 希望得到回复 测试输入如下: 1001,/home,1000 1002,/home,2000 输出如下: input> test.Event(user=1001, page=/home, ts=1000) input> test.Event(user=1002, page=/home, ts=2000) test.WordCount(word=/home, count=2)

Re:flink的sql gateway支持自定义的UDF吗？

Hi, 你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ [1] https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ -- Best！ Xuyang 在 2023-11-01 14:21:04，"RS" 写道： >Hi >flink的sql gateway支持自定义的UDF吗？包括java和python的，有示例可以参考下吗？

flink的sql gateway支持自定义的UDF吗？

Hi flink的sql gateway支持自定义的UDF吗？包括java和python的，有示例可以参考下吗？

Re:flink 1.18.0的sql gateway支持提交作业到k8s上运行吗？

Hi， 提交到本地是flink配置文件里面配置的jobmanager的地址，所以肯定也是提交到K8S的吧 yarn的不太清楚。 在 2023-10-30 14:36:23，"casel.chen" 写道： >想问一下目前flink 1.18.0的sql gateway只支持提交作业到本地运行吗？能否支持提交作业到yarn或k8s上运行呢？

[ANNOUNCE] Apache Flink Kubernetes Operator 1.6.1 released

The Apache Flink community is very happy to announce the release of Apache Flink Kubernetes Operator 1.6.1. Please check out the release blog post for an overview of the release: https://flink.apache.org/2023/10/27/apache-flink-kubernetes-operator-1.6.1-release-announcement/ The release is

Re: Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

hiveserver2 endpoint 就是让 flink gateway 直接变成 hive server2，对外来讲它就是 hive server2 了，它可以直接跟已有的跟 hive server2 的工具配合一起使用。 但是现在你其实用的是 flink jdbc driver，这个并不是跟 hive server2 交互，它就是跟 flink gateway 交互，所以你用hive server2的模式启动，它就不认识了。 casel.chen 于2023年10月30日周一 14:36写道： > > 果然不指定endpoint为hiveserver2类型后使用hive

Re:Re:Re:回复： flink sql不支持show create catalog 吗？

谢谢解答，我查了一下目前有两种CatalogStore实现，一个是基于内存的，另一个是基于文件系统的。 请问要如何配置基于文件系统的CatalogStore？这个文件可以在对象存储上吗？flink sql client要如何使用这个CatalogStore? 谢谢！ 在 2023-10-30 10:28:34，"Xuyang" 写道： >Hi, CatalogStore 的引入我理解是为了Catalog能被更好地管理、注册和元数据存储，具体motivation可以参考Flip295[1].

flink 1.18.0的sql gateway支持提交作业到k8s上运行吗？

想问一下目前flink 1.18.0的sql gateway只支持提交作业到本地运行吗？能否支持提交作业到yarn或k8s上运行呢？

Re:Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

果然不指定endpoint为hiveserver2类型后使用hive beeline工具连接上了。感谢！ 不过我仍然有个疑问，看官网文档上有写提供 hiveserver2 endpoint 是为了兼容hive方言，按理也应该可以使用beeline连接上，因为原本beeline支持连接hiveserver2 以下是原文： HiveServer2 Endpoint is compatible with HiveServer2 wire protocol and allows users to interact (e.g. submit Hive SQL) with Flink SQL

Re: flink sql如何处理脏数据问题？

还有一种做法就是使用datastream，datastream支持sideoutput，但 flink sql不支持，不过有一种迂回的做法就是flinksql -> datastream -> flink sql，可以查一下官网资料，flinksql和datastream可以互相转换。 Xuyang 于2023年10月30日周一 10:17写道： > Flink SQL目前对于脏数据没有类似side output的机制来输出，这个需求用自定义connector应该可以实现。 > > > > > > > > -- > > Best！ > Xuyang > > > > >

Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

Hi casel, Flink JDBC 链接到 gateway 目前使用的是 flink 的 gateway 接口，所以你在启动 gateway 的时候不用指定 endpoint 为 hiveserver2 类型，用 Flink 默认的 gateway endpoint 类型即可。 casel.chen 于2023年10月29日周日 17:24写道： > > 1. 启动flink集群 > bin/start-cluster.sh > > > 2. 启动sql gateway > bin/sql-gateway.sh start

Re:Re:回复： flink sql不支持show create catalog 吗？

Hi, CatalogStore 的引入我理解是为了Catalog能被更好地管理、注册和元数据存储，具体motivation可以参考Flip295[1]. 我的理解是倒不是说“引入CatalogStore后才可以提供show create catalog语法支持”，而是之前没有直接存储catalog配置的地方和能力，在CatalogStore之后，天然支持了对catalog配置的存储，因此这个feat就可以直接快速的支持了。 [1]

Re:flink sql如何处理脏数据问题？

Flink SQL目前对于脏数据没有类似side output的机制来输出，这个需求用自定义connector应该可以实现。 -- Best！ Xuyang 在 2023-10-29 10:23:38，"casel.chen" 写道： >场景：使用flink >sql将数据写入下游OLAP系统，如doris，遇到一些异常情况，比如字段值超长或者分区字段值为当前doris表不存在的分区（需要先人为创建）等等，当前写入这些脏数据会使得作业写入报错，进而导致作业失败。我们是希望能够将这些“脏”数据单独发到一个kafka >

Re:回复： flink sql不支持show create catalog 吗？

请问flink 1.18引入的CatalogStore是为了解决什么问题呢？为什么引入CatalogStore后才可以提供show create catalog语法支持？ 在 2023-10-20 17:03:46，"李宇彬" 写道： >Hi Feng > > >我之前建过一个jira（https://issues.apache.org/jira/browse/FLINK-24939），引入CatalogStore后，实现这个特性的时机应该已经成熟了，我们这边业务场景里用到了很多catalog，管理起来很麻烦，有这个特性会好很多。 >| | >

flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

1. 启动flink集群 bin/start-cluster.sh 2. 启动sql gateway bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 3. 将flink-sql-jdbc-driver-bundle-1.18.0.jar放到apache-hive-3.1.2-bin/lib目录下 4. 到apache-hive-3.1.2-bin目录下启动beeline连接sql gateway，提示输入用户名和密码时直接按的回车 $ bin/beeline SLF4J: Class path

flink sql如何处理脏数据问题？

场景：使用flink sql将数据写入下游OLAP系统，如doris，遇到一些异常情况，比如字段值超长或者分区字段值为当前doris表不存在的分区（需要先人为创建）等等，当前写入这些脏数据会使得作业写入报错，进而导致作业失败。我们是希望能够将这些“脏”数据单独发到一个kafka topic或者写入一个文件便于事后审查。这个目前有办法做到吗？

FW: Unable to achieve Flink kafka connector exactly once delivery semantics.

Hi, Can someone please help me to resolve the below issue while running flink job. Or provide me any doc/example which describe the exactly-once delivery guarantee semantics. Thanks, Gopal. From: Gopal Chennupati (gchennup) Date: Friday, 27 October 2023 at 11:00 AM To:

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations and thanks release managers and everyone who has contributed! Best, Jark On Fri, 27 Oct 2023 at 12:25, Hang Ruan wrote: > Congratulations! > > Best, > Hang > > Samrat Deb 于2023年10月27日周五 11:50写道： > > > Congratulations on the great release > > > > Bests, > > Samrat > > > > On

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations! Best, Hang Samrat Deb 于2023年10月27日周五 11:50写道： > Congratulations on the great release > > Bests, > Samrat > > On Fri, 27 Oct 2023 at 7:59 AM, Yangze Guo wrote: > > > Great work! Congratulations to everyone involved! > > > > Best, > > Yangze Guo > > > > On Fri, Oct 27, 2023 at

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui 13430298988 <13430298...@163.com> 于2023年10月27日周五 11:00写道： > 退订

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui chenyu_opensource 于2023年10月27日周五 10:20写道： > 退订

退订

退订

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work! Congratulations to everyone involved! Best, Yangze Guo On Fri, Oct 27, 2023 at 10:23 AM Qingsheng Ren wrote: > > Congratulations and big THANK YOU to everyone helping with this release! > > Best, > Qingsheng > > On Fri, Oct 27, 2023 at 10:18 AM Benchao Li wrote: >> >> Great work,

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations and big THANK YOU to everyone helping with this release! Best, Qingsheng On Fri, Oct 27, 2023 at 10:18 AM Benchao Li wrote: > Great work, thanks everyone involved! > > Rui Fan <1996fan...@gmail.com> 于2023年10月27日周五 10:16写道： > > > > Thanks for the great work! > > > > Best, > >

退订

退订

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work, thanks everyone involved! Rui Fan <1996fan...@gmail.com> 于2023年10月27日周五 10:16写道： > > Thanks for the great work! > > Best, > Rui > > On Fri, Oct 27, 2023 at 10:03 AM Paul Lam wrote: > > > Finally! Thanks to all! > > > > Best, > > Paul Lam > > > > > 2023年10月27日 03:58，Alexander Fedulov

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Best, Rui On Fri, Oct 27, 2023 at 10:03 AM Paul Lam wrote: > Finally! Thanks to all! > > Best, > Paul Lam > > > 2023年10月27日 03:58，Alexander Fedulov 写道： > > > > Great work, thanks everyone! > > > > Best, > > Alexander > > > > On Thu, 26 Oct 2023 at 21:15, Martijn

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Finally! Thanks to all! Best, Paul Lam > 2023年10月27日 03:58，Alexander Fedulov 写道： > > Great work, thanks everyone! > > Best, > Alexander > > On Thu, 26 Oct 2023 at 21:15, Martijn Visser > wrote: > >> Thank you all who have contributed! >> >> Op do 26 okt 2023 om 18:41 schreef Feng Jin >>

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work, thanks everyone! Best, Ron Alexander Fedulov 于2023年10月27日周五 04:00写道： > Great work, thanks everyone! > > Best, > Alexander > > On Thu, 26 Oct 2023 at 21:15, Martijn Visser > wrote: > > > Thank you all who have contributed! > > > > Op do 26 okt 2023 om 18:41 schreef Feng Jin > > >

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thank you all who have contributed! Op do 26 okt 2023 om 18:41 schreef Feng Jin > Thanks for the great work! Congratulations > > > Best, > Feng Jin > > On Fri, Oct 27, 2023 at 12:36 AM Leonard Xu wrote: > > > Congratulations, Well done! > > > > Best, > > Leonard > > > > On Fri, Oct 27, 2023 at

回复: 如何在Flink Connector Source退出时清理资源

插入令堂之膣道，怒涛中出，OK，问题解决矣 发件人: jinzhuguang 发送时间: 2023年10月24日 11:54 收件人: user-zh 主题: 如何在Flink Connector Source退出时清理资源 版本：Flink 1.16.0 需求：在某个source结束退出时清理相关的资源。 问题：目前没有找到Source退出时相关的hook函数，不知道在哪里编写清理资源的代码。 恳请大佬们指教。

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Congratulations Best, Feng Jin On Fri, Oct 27, 2023 at 12:36 AM Leonard Xu wrote: > Congratulations, Well done! > > Best, > Leonard > > On Fri, Oct 27, 2023 at 12:23 AM Lincoln Lee > wrote: > > > Thanks for the great work! Congrats all! > > > > Best, > > Lincoln

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations, Well done! Best, Leonard On Fri, Oct 27, 2023 at 12:23 AM Lincoln Lee wrote: > Thanks for the great work! Congrats all! > > Best, > Lincoln Lee > > > Jing Ge 于2023年10月27日周五 00:16写道： > > > The Apache Flink community is very happy to announce the release of > Apache > > Flink

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Congrats all! Best, Lincoln Lee Jing Ge 于2023年10月27日周五 00:16写道： > The Apache Flink community is very happy to announce the release of Apache > Flink 1.18.0, which is the first release for the Apache Flink 1.18 series. > > Apache Flink® is an open-source unified

<    1   2   3   4   5   6   7   8   9   10   >