Re: Flink SQL 可以使用异步IO特性吗

Mon, 11 Jan 2021 23:23:49 -0800 

Hello,kenyore.

在维表的DDL的WITH参数中添加async='true'，Async 相关参数如下。
参数说明是否必填备注
async 是否开启异步请求 否 默认值为fasle。
asyncResultOrder 异步结果顺序 否 取值如下：

   - unordered（默认值）：无序。
   - ordered：有序。

asyncTimeoutMs 异步请求的超时时间 否 单位毫秒，默认值为3分钟。
asyncCapacity 异步请求的队列容量 否 默认值为100。
asyncCallbackThreads 回调处理线程数 否
回调类中的onComplete和onError默认会在线程池中处理该线程池的大小，默认值为50。
asyncConnectionQueueMaxsize 最大请求发送数 否 当等待某个服务器返回结果的请求数量达到
asyncConnectionQueueMaxsize值时，异步请求调用也会被阻塞，以防止客户端自身OOM（OutOfMemory），默认值为100。
asyncCallbackQueueMaxsize 最大回调处理队列 否 当等待回调处理的请求达到asyncCallbackQueueMaxsize
值时，异步请求调用也会被阻塞，以防止客户端自身OOM，默认值为500。

CREATE TABLE test(
    id VARCHAR,
    PRIMARY KEY(id)
) WITH(
    async='true',
    asyncResultOrder = 'unordered'
);


kenyore <[email protected]> 于2021年1月12日周二 下午2:38写道：

> hi,all
>   我有一个场景是使用自定义的ScalaFunction实现所需要的look up功能（从数据库查询并将多行数据拼成一个数组）。
>   我正在试图尝试使用异步IO的方式以提高它的性能，但是似乎只有Stream API提供了该特性支持。
>   大家有什么建议吗？或者有其他优化思路吗？
>   谢谢！
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

回复