Re: Flink ORC 读取问题

2019-09-24 文章 163
Terry Wang: 通过本地调试,发现Flink orc connector没有问题,是我们自己的schema中有部分字段有大小写,所以在匹配的时候没有匹配到,谢谢! Qi Shu > 在 2019年9月24日,上午11:01,Terry Wang 写道: > > 能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题 > Best, > Terry Wang > > > >> 在 2019年9月23日,下午5:11,ShuQi 写道: >> >>

Re: Re: 请教初始化系统缓存的问题

2019-09-24 文章 haoxin...@163.com
非常感谢,大家同行。 我们目前是确实按照类似你说的这些方式去完成的。但是我们始终觉得应该有更加flink的方式优雅完成,就像维表join。之前一直没有细看,谢谢提醒。 haoxin...@163.com 发件人: 高博 发送时间: 2019-09-24 16:03 收件人: user-zh 主题: Re: 请教初始化系统缓存的问题 你好, 我这里提供几个思路,我们公司做车联网的,目前线上运行的程序,都需要处理你说的这些场景。 1.

Re: 请教初始化系统缓存的问题

2019-09-24 文章 高博
你好, 我这里提供几个思路,我们公司做车联网的,目前线上运行的程序,都需要处理你说的这些场景。 1. 有什么方式能否保证数据开始处理的时候,基础数据已经缓存好了,可以在流处理中获取到(类似valueState),算子的open函数似乎不能写到valueState里面去,只能初始化state。 目前我们需要使用的外部缓存数据,包含需要调用接口的,需要读取数据库的基础数据。 针对调用接口,我们使用的guava的异步缓存刷新策略 针对数据库中的基础数据,我们类似懒加载,当第一条数据过来的时候,我们会锁住流,等待所有的数据都读取完了,整个流才继续执行。 2.