hbase维表的数据量，大概500G
Dream-底限 于2020年8月13日周四 下午12:16写道：
> flink暴漏的lookup
>
> 是支持设置缓存记录条数和缓存时间的吧，把时间和条数设置的小一点或者直接禁用缓存，如果流表数据量不大的话可以不用异步访问，数据量大的话异步访问不加缓存维表存储引擎可能压力过大
>
> Jim Chen 于2020年8月13日周四 上午11:53写道：
>
> > 请问下，如果使用了localcache+asyncIO的方式，缓存一致性，有什么解决的思路吗？维表的状态是频繁更新的
> >
> >
> >
> > --
> > Sent
flink暴漏的lookup
是支持设置缓存记录条数和缓存时间的吧，把时间和条数设置的小一点或者直接禁用缓存，如果流表数据量不大的话可以不用异步访问，数据量大的话异步访问不加缓存维表存储引擎可能压力过大
Jim Chen 于2020年8月13日周四 上午11:53写道：
> 请问下，如果使用了localcache+asyncIO的方式，缓存一致性，有什么解决的思路吗？维表的状态是频繁更新的
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
请问下，如果使用了localcache+asyncIO的方式，缓存一致性，有什么解决的思路吗？维表的状态是频繁更新的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
igu...@stevegame.cn> wrote:
>
> 可以通过异步的方式(RichAsyncFunction)进行维表关联操作，异步多线程方式进行维表读取！
>
>
>
>
> 发件人： Jim Chen
> 发送时间： 2020-06-19 10:34
> 收件人： user-zh
> 主题： Re: 对于维表频繁更新，状态越来越大的场景如何保证数据的准确性
> 请问下，在flink sql1.10中， localcache+异步IO，这个方案，是直接写sql关联维表就行了吗？flink
> sql会自动在底层做优化工作吗？如果
可以通过异步的方式(RichAsyncFunction)进行维表关联操作，异步多线程方式进行维表读取！
发件人： Jim Chen
发送时间： 2020-06-19 10:34
收件人： user-zh
主题： Re: 对于维表频繁更新，状态越来越大的场景如何保证数据的准确性
请问下，在flink sql1.10中， localcache+异步IO，这个方案，是直接写sql关联维表就行了吗？flink
sql会自动在底层做优化工作吗？如果要自己手动实现的话，有没有什么demo呢？谢谢
Jark Wu 于2020年6月17日周三 上午12:11写道：
> 如果
请问下，在flink sql1.10中， localcache+异步IO，这个方案，是直接写sql关联维表就行了吗？flink
sql会自动在底层做优化工作吗？如果要自己手动实现的话，有没有什么demo呢？谢谢
Jark Wu 于2020年6月17日周三 上午12:11写道：
> 如果更新非常频繁，又要保证关联的准确性，又要保证吞吐，那么最佳的解决方案我觉得只能是关联 changelog 了，
> 只是 Flink 目前还没有原生支持维表关联一个 changelog，会在Flink SQL 1.12中去支持。
>
> 当前版本下的话，可以尝试
如果更新非常频繁，又要保证关联的准确性，又要保证吞吐，那么最佳的解决方案我觉得只能是关联 changelog 了，
只是 Flink 目前还没有原生支持维表关联一个 changelog，会在Flink SQL 1.12中去支持。
当前版本下的话，可以尝试 keyby+localcache+异步IO。
Best,
Jark
On Tue, 16 Jun 2020 at 22:35, 李奇 <359502...@qq.com> wrote:
> 或者采用redis做维表存储介质。
>
> > 在 2020年6月16日，下午10:10，wangxiangyan 写道：
> >
> >
频繁是什么级别的？可以加缓存。然后再定期更新。
> 在 2020年6月16日，下午10:10，wangxiangyan 写道：
>
> hi，大家
> 维表被频繁更新，数据量1g左右，需要频繁同步，使用什么方案去关联比较好呢？
