alamb commented on issue #5942:
URL:
https://github.com/apache/arrow-datafusion/issues/5942#issuecomment-1510379787
> DuckDB not making use of the hierarchical layout is perplexing, I wonder
if this was an intentional design decision, it certainly isn't in the spirit of
the specification
I don't understand this statement
This is my understanding of the difference:
```
┌──────────────────────────────────┐
┌──────────────────────────────────┐
│ RowGroup Metadata │ │ RowGroup Metadata
│
│ │ │
│
├──────────────────────────────────┤
├──────────────────────────────────┤
│ ┌───────────────────────────────┐│ │ RowGroup Metadata
│
│ │ ││ │
│
│ └───────────────────────────────┘│
├──────────────────────────────────┤
│ ┌───────────────────────────────┐│ │ RowGroup Metadata
│
│ │ ││ │
│
│ └───────────────────────────────┘│
└──────────────────────────────────┘
│ ┌───────────────────────────────┐│
┌──────────────────────────────────┐
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ RowGroup Data │ │
└───────────────────────────────┘│
└──────────────────────────────────┘ │
┌───────────────────────────────┐│
┌──────────────────────────────────┐ │ │
││
│ RowGroup Metadata │ │
└───────────────────────────────┘│
│ │ │
┌───────────────────────────────┐│
├──────────────────────────────────┤ │ │
││
│ ┌───────────────────────────────┐│ │
└───────────────────────────────┘│
│ │ ││ │ RowGroup Data
│
│ └───────────────────────────────┘│
└──────────────────────────────────┘
│ ┌───────────────────────────────┐│
┌──────────────────────────────────┐
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ ┌───────────────────────────────┐│ │
└───────────────────────────────┘│
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ RowGroup Data │ │
└───────────────────────────────┘│
└──────────────────────────────────┘ │
┌───────────────────────────────┐│
┌──────────────────────────────────┐ │ │
││
│ RowGroup Metadata │ │
└───────────────────────────────┘│
│ │ │ RowGroup Data
│
├──────────────────────────────────┤
└──────────────────────────────────┘
│ ┌───────────────────────────────┐│
┌──────────────────────────────────┐
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ ┌───────────────────────────────┐│ │
└───────────────────────────────┘│
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ ┌───────────────────────────────┐│ │
└───────────────────────────────┘│
│ │ ││ │
┌───────────────────────────────┐│
│ └───────────────────────────────┘│ │ │
││
│ RowGroup Data │ │
└───────────────────────────────┘│
└──────────────────────────────────┘ │ RowGroup Data
│
└──────────────────────────────────┘
Arrow DuckDB
```
Wouldn't the DuckDB implementation actually potentially be better (as it
allows the metadata to be fetched with one contiguous IO.
Perhaps I am mis understanding
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
