Terry Wang:
通过本地调试,发现Flink orc
connector没有问题,是我们自己的schema中有部分字段有大小写,所以在匹配的时候没有匹配到,谢谢!
Qi Shu
> 在 2019年9月24日,上午11:01,Terry Wang 写道:
>
> 能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题
> Best,
> Terry Wang
>
>
>
>> 在 2019年9月23日,下午5:11,ShuQi 写道:
>>
>>
非常感谢,大家同行。
我们目前是确实按照类似你说的这些方式去完成的。但是我们始终觉得应该有更加flink的方式优雅完成,就像维表join。之前一直没有细看,谢谢提醒。
haoxin...@163.com
发件人: 高博
发送时间: 2019-09-24 16:03
收件人: user-zh
主题: Re: 请教初始化系统缓存的问题
你好,
我这里提供几个思路,我们公司做车联网的,目前线上运行的程序,都需要处理你说的这些场景。
1.
你好,
我这里提供几个思路,我们公司做车联网的,目前线上运行的程序,都需要处理你说的这些场景。
1.
有什么方式能否保证数据开始处理的时候,基础数据已经缓存好了,可以在流处理中获取到(类似valueState),算子的open函数似乎不能写到valueState里面去,只能初始化state。
目前我们需要使用的外部缓存数据,包含需要调用接口的,需要读取数据库的基础数据。
针对调用接口,我们使用的guava的异步缓存刷新策略
针对数据库中的基础数据,我们类似懒加载,当第一条数据过来的时候,我们会锁住流,等待所有的数据都读取完了,整个流才继续执行。
2.