jonvex commented on PR #13508:
URL: https://github.com/apache/hudi/pull/13508#issuecomment-3085228234
ok my glob was wrong. Here it is with merge records:
```
hudi:trips_table->show logfile records --logFilePathPattern
/tmp/trips_table/san_francisco/{.*_20250717150317470.log.1_0-108-238,.*_20250717150416856.log.1_0-131-286,*_20250717150457961.log.1_0-154-325}
--mergeRecords true
===============> Showing only 10 records <===============
979155 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
===========================> MERGING RECORDS <===================
979166 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238',
fileLen=-1}
979166 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
at instant 20250717150317470
979166 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
979173 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286',
fileLen=-1}
979174 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
at instant 20250717150416856
979174 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
979185 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150457961.log.1_0-154-325',
fileLen=-1}
979185 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150457961.log.1_0-154-325
at instant 20250717150457961
979185 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Merging the
final data blocks
979185 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 3
979200 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 2
979206 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 1
979218 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150457961.log.1_0-154-325
979218 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of log
files scanned => 3
979218 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of
entries in Map => 3
979218 [main] INFO
org.apache.hudi.common.util.collection.ExternalSpillableMap [] -
KeyBasedFileGroupRecordBuffer : Total entries in InMemory map 3, with average
record size as 1048, currentInMemoryMapSize 3144. No entries were spilled to
disk.
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╗
║ Records
║
╠══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╣
║ {"_hoodie_commit_time": "20250717150457961", "_hoodie_commit_seqno":
"20250717150457961_0_7", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 49.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_3", "_hoodie_record_key":
"9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695046462179, "uuid": "9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "rider":
"rider-D", "driver": "driver-L", "fare": 43.9, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_6", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 47.7, "city": "san_francisco"} ║
╚══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╝
```
and here it is without:
```
hudi:trips_table->show logfile records --logFilePathPattern
/tmp/trips_table/san_francisco/{.*_20250717150317470.log.1_0-108-238,.*_20250717150416856.log.1_0-131-286,*_20250717150457961.log.1_0-154-325}
===============> Showing only 10 records <===============
1035104 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
1035107 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150457961.log.1_0-154-325
1035116 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150457961.log.1_0-154-325
1035119 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
1035120 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
1035121 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
1035122 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╗
║ Records
║
╠══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╣
║ {"_hoodie_commit_time": "20250717150457961", "_hoodie_commit_seqno":
"20250717150457961_0_7", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 49.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_5", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 39.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_6", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 47.7, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_1", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 29.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_3", "_hoodie_record_key":
"9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695046462179, "uuid": "9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "rider":
"rider-D", "driver": "driver-L", "fare": 43.9, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_2", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 37.7, "city": "san_francisco"} ║
╚══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╝
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
