Re: 退订

2024-05-09 文章 Yunfeng Zhou 
Hi,

退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org
.

Best,
yunfeng

On Thu, May 9, 2024 at 5:58 PM xpfei0811  wrote:
>
> 退订
>
>  回复的原邮件 
> | 发件人 | wangfengyang |
> | 发送日期 | 2024年04月23日 18:10 |
> | 收件人 | user-zh  |
> | 主题 | 退订 |
> 退订

Re: Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项？

2024-04-18 文章 Yunfeng Zhou 
流模式和批模式在watermark和一些算子语义等方面上有一些不同，但没看到Join和Window算子上有什么差异，这方面应该在batch
mode下应该是支持的。具体的两种模式的比较可以看一下这个文档

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/

On Thu, Apr 18, 2024 at 9:44 AM casel.chen  wrote:
>
> 有人尝试这么实践过么？可以给一些建议么？谢谢！
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2024-04-15 11:15:34，"casel.chen"  写道：
> >我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache
> > DolphinScheduler的数据质量模块。
> >但这种方式的最大缺点是需要使用spark sql重写flink 
> >sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink 
> >sql，只需要将数据源从cdc或kafka换成hologres或starrocks表，再新建跑批结果表，最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问：
> >1. 原实时flink sql表定义中包含的watermark, process_time和event_time这些字段可以复用在batch 
> >mode下么？
> >2. 实时双流关联例如interval join和temporal join能够用于batch mode下么？
> >3. 实时流作业中的窗口函数能够复用于batch mode下么？
> >4. 其他需要关注的事项有哪些？

Re: HBase SQL连接器为啥不支持ARRAY/MAP/ROW类型

2024-04-06 文章 Yunfeng Zhou 
应该是由于这些复杂集合在HBase中没有一个直接与之对应的数据类型，所以Flink SQL没有直接支持的。

一种思路是把这些数据类型按照某种格式（比如json）转换成字符串/序列化成byte array，把字符串存到HBase中，读取出来的时候也再解析/反序列化。

On Mon, Apr 1, 2024 at 7:38 PM 王广邦  wrote:
>
> HBase SQL 连接器（flink-connector-hbase_2.11） 为啥不支持数据类型：ARRAY、MAP / MULTISET、ROW 
> 不支持？
> https://nightlies.apache.org/flink/flink-docs-release-1.11/zh/dev/table/connectors/hbase.html
> 另外这3种类型的需求处理思路是什么？
>
>
>
>
> 发自我的iPhone

Re: 退订

2023-11-06 文章 Yunfeng Zhou 
Hi,

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。

Best
Yunfeng Zhou

On Mon, Nov 6, 2023 at 5:30 PM maozhaolin  wrote:
>
> 退订

Re: 退订

2023-10-06 文章 Yunfeng Zhou 
Hi,

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。

Best,
Yunfeng

On Wed, Oct 4, 2023 at 10:07 AM 1  wrote:
>
>

Re: 退订

2023-09-24 文章 Yunfeng Zhou 
Hi,

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org  邮件组的邮件，你可以参考[1][2]
管理你的邮件订阅。
Please send email to user-zh-unsubscr...@flink.apache.org if you want to
unsubscribe the mail from user-zh@flink.apache.org ,
and you can refer [1][2] for more details.

Best,
Yunfeng

On Mon, Sep 25, 2023 at 10:43 AM 星海 <2278179...@qq.com.invalid> wrote:
>
> 退订

Re: jobmanager 与taskmanager间的对象传递

2022-07-03 文章 Yunfeng Zhou 
你好。

如果只是需要从各个subtask中收集一些信息，在JobManager中汇总的话，我觉得可以用累加器和计数器[1]。

如果需要双向通信的话，可以考虑一下FLIP-27[2]引入的OperatorCoordinator。如何通过通信来传递对象可以通过自定义算子或函数来实现。

在自定义算子中使用OperatorCoordinator可能还有一些不方便的地方，可以追踪一下相关ticket的进展[3]。

[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/user_defined_functions/#accumulators--counters
[2]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface
[3] https://issues.apache.org/jira/browse/FLINK-26029

On Sat, Jul 2, 2022 at 5:43 PM ycbch...@gmail.com 
wrote:

> 各位大佬： 
> 请教个问题，有个jobmanager产生的map对象，传递到各个taskmanager的function里，保证每个taskmanager内的对象有且仅有一个，然后会随时根据数据改变map对象的值，我想定时从taskmanager收集这个map对象整合后到jobmanager端，然后进行存储，有什么API或者通讯方式来支持吗？
> 
> 
> 
> 
> https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=ycbcholy%40gmail.com=ycbcholy%40gmail.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Aycbcholy%40gmail.com%22%5D;
> style="display:block;background:#fff; max-width: 400px; _width:
> 400px;padding:15px 0 10px 0;text-decoration: none;
> outline:none;-webkit-tap-highlight-color:transparent;-webkit-text-size-adjust:none
> !important;text-size-adjust:none !important;">
> 
> 
> 
> 
>  style="vertical-align:middle; width: 38px; height: 38px;
> border-radius:50%;" src="
> https://mail-online.nosdn.127.net/qiyelogo/defaultAvatar.png; />
> 
> 
> ycbch...@gmail.com
> 
> 
> 
> 
> 邮箱：
> ycbch...@gmail.com
> 
> 
> 
> 
> 
> 
>