[jira] (ASTERIXDB-1777) Budget does not consider the runfile frame that should be temporarily cached in massive memory.

[Wenhai (JIRA)]

Title: Message Title

Wenhai updated an issue   Apache AsterixDB / ASTERIXDB-1777 Budget does not consider the runfile frame that should be temporarily cached in massive memory. Change By: Wenhai Till now, we ensued that two cases should consider caching the frames in the memory (to shoe up the pipeline scheduling) before we write (syncwrite) them onto the Runfile: 1. Replicate: In parallel sort case, if we have massive memory, we should cache the  framework  frames  in the memory (rather than directly writing them onto the Runfile) before forward them onto distributed range partitions. 2. ExternalSort: The current Sorter caches the frames by the constraint of compiler.sortmemory in asterix-configuration.xml. In other words, we sort such batch size of frames in one-shot. Actually, we can run faster if we configure smaller sortmemory budget (in our memory-resident experiment, 64MB saves 20% sort time as compared to that in 320MB), but the per-round sorted frames will be written onto Runfile with 1:1 of the total data size before we actually merge them. We can also consider this case similar to the above Replicate case. Still we are thinking the general cases like the above ... Add Comment   This message was sent by Atlassian JIRA (v6.3.15#6346-sha1:dbc023d)