好的，谢谢，我这边尝试下异步保证顺序，我们这边有些场景
在 2021-12-07 14:17:51，"Caizhi Weng" 写道：
>Hi！
>
>1. 直接用 futrue.complate(rowdata) 传递数据，只是实现了发送是异步，异步join 得自己实现，这个理解对吗？
>
>
>正确。例如 HBaseRowDataAsyncLookupFunction 里就调用了 hbase 提供的 table#get 异步方法实现异步查询。
>
>2. 像join hbase 里面通过线程池实现了join异步，是无法保证顺序，并没有看到任何保证顺序的操作，还是有其他逻辑保证顺序吗？
Hi！
1. 直接用 futrue.complate(rowdata) 传递数据，只是实现了发送是异步，异步join 得自己实现，这个理解对吗？
正确。例如 HBaseRowDataAsyncLookupFunction 里就调用了 hbase 提供的 table#get 异步方法实现异步查询。
2. 像join hbase 里面通过线程池实现了join异步，是无法保证顺序，并没有看到任何保证顺序的操作，还是有其他逻辑保证顺序吗？
Async operator 就是为了提高无需保序的操作（例如很多 etl 查维表就不关心顺序）的效率才引入的，如果对顺序有强需求就不能用
Hi！
1. 直接用 futrue.complate(rowdata) 传递数据，只是实现了发送是异步，异步join 得自己实现，这个理解对吗？
正确。例如 HBaseRowDataAsyncLookupFunction 里就调用了 hbase 提供的 table#get 异步方法实现异步查询。
2. 像join hbase 里面通过线程池实现了join异步，是无法保证顺序，并没有看到任何保证顺序的操作，还是有其他逻辑保证顺序吗？
Async operator 就是为了提高无需保序的操作（例如很多 etl 查维表就不关心顺序）的效率才引入的，如果对顺序有强需求就不能用
deal all?? table api join
AsyncTableFunction#eval ?? public void
eval(CompletableFuture
deal all：
目前在看table api 中，自定义的异步 join 方法 AsyncTableFunction#eval 方法时，发现接口提供的是：
public void eval(CompletableFuture>
future,Object... keys) {...}
目前遇到两个问题：
1. 直接用 futrue.complate(rowdata) 传递数据，只是实现了发送是异步，异步join 得自己实现，这个理解对吗？
2. 像join hbase
支持，例子参考hudi官网
chengyanan1...@foxmail.com
发件人： casel.chen
发送时间： 2021-12-06 23:55
收件人： user-zh@flink.apache.org
主题： flink cdc支持mysql整库同步进hudi湖吗？
flink cdc支持mysql整库同步进hudi湖吗？如果支持的话，希望能给一个例子，还要求能够支持schema变更。谢谢！
flink cdc支持mysql整库同步进hudi湖吗？如果支持的话，希望能给一个例子，还要求能够支持schema变更。谢谢！
如果是两套oss或s3
bucket(每个bucket对应一组accessKey/secret)要怎么配置呢？例如写数据到bucketA，但checkpoint在bucketB
在 2021-12-06 18:59:46，"Yang Wang" 写道：
>我觉得你可以尝试一下ship本地的hadoop conf，然后设置HADOOP_CONF_DIR环境变量的方式
>
>-yt /path/of/my-hadoop-conf
>-yD
我觉得你可以尝试一下ship本地的hadoop conf，然后设置HADOOP_CONF_DIR环境变量的方式
-yt /path/of/my-hadoop-conf
-yD containerized.master.env.HADOOP_CONF_DIR='$PWD/my-hadoop-conf'
-yD containerized.taskmanager.env.HADOOP_CONF_DIR='$PWD/my-hadoop-conf'
Best,
Yang
chenqizhu 于2021年11月30日周二 上午10:00写道：
> all，您好：
>
>
Hi Till,
Thanks for your feedback.
>>> How will our tests be affected by these changes? Will Flink require
more resources and, thus, will it risk destabilizing our testing
infrastructure?
There are some tests that need to be adjusted, for example,
BlockingShuffleITCase. For other tests,
退订
™薇维苿尉℃ 于2021年12月6日 周一16:20写道：
> 退订
MySQL CDC connector
支持并发读取的，读取过程也不会用锁，600万的数据量很小了，百亿级的分库分表我们和社区用户测试下都是ok的，你可以自己试试。
祝好，
Leonard
> 2021年12月6日 下午3:54，张阳 <705503...@qq.com.INVALID> 写道：
>
> 因为数据量有600w 所以担心初始化时间太长 或者性能问题
>
>
>
>
> --原始邮件--
> 发件人:
15 matches
Mail list logo
