jonvex commented on PR #13508:
URL: https://github.com/apache/hudi/pull/13508#issuecomment-3085222564
```
hudi:trips_table->show logfile records --logFilePathPattern
/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
--mergeRecords true
===============> Showing only 10 records <===============
859177 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
===========================> MERGING RECORDS <===================
859199 [main] INFO
org.apache.hudi.common.table.timeline.versioning.v2.ActiveTimelineV2 [] -
Loaded instants upto :
Option{val=[20250717150457961__20250717150458885__deltacommit__COMPLETED]}
# WARNING: Unable to attach Serviceability Agent. Unable to attach even with
module exceptions: [org.apache.hudi.org.openjdk.jol.vm.sa.SASupportException:
Sense failed., org.apache.hudi.org.openjdk.jol.vm.sa.SASupportException: Sense
failed., org.apache.hudi.org.openjdk.jol.vm.sa.SASupportException: Sense
failed.]
859688 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238',
fileLen=-1}
859690 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
at instant 20250717150317470
859690 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Merging the
final data blocks
859691 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 1
859703 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
859703 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of log
files scanned => 1
859703 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of
entries in Map => 3
859704 [main] INFO
org.apache.hudi.common.util.collection.ExternalSpillableMap [] -
KeyBasedFileGroupRecordBuffer : Total entries in InMemory map 3, with average
record size as 1048, currentInMemoryMapSize 3144. No entries were spilled to
disk.
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╗
║ Records
║
╠══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╣
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_1", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 29.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_3", "_hoodie_record_key":
"9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695046462179, "uuid": "9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "rider":
"rider-D", "driver": "driver-L", "fare": 43.9, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_2", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 37.7, "city": "san_francisco"} ║
╚══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╝
hudi:trips_table->show logfile records --logFilePathPattern
/tmp/trips_table/san_francisco/{.*_20250717150317470.log.1_0-108-238,.*_20250717150416856.log.1_0-131-286}
--mergeRecords true
===============> Showing only 10 records <===============
870522 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
===========================> MERGING RECORDS <===================
870535 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238',
fileLen=-1}
870536 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
at instant 20250717150317470
870536 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
870553 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286',
fileLen=-1}
870554 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
at instant 20250717150416856
870554 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Merging the
final data blocks
870554 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 2
870568 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 1
870582 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
870583 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of log
files scanned => 2
870583 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of
entries in Map => 3
870583 [main] INFO
org.apache.hudi.common.util.collection.ExternalSpillableMap [] -
KeyBasedFileGroupRecordBuffer : Total entries in InMemory map 3, with average
record size as 1048, currentInMemoryMapSize 3144. No entries were spilled to
disk.
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╗
║ Records
║
╠══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╣
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_5", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 39.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_3", "_hoodie_record_key":
"9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695046462179, "uuid": "9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "rider":
"rider-D", "driver": "driver-L", "fare": 43.9, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_6", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 47.7, "city": "san_francisco"} ║
╚══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╝
hudi:trips_table->show logfile records --logFilePathPattern
/tmp/trips_table/san_francisco/{.*_20250717150317470.log.1_0-108-238,.*_20250717150416856.log.1_0-131-286,e8eb0f6c-*_20250717150457961.log.1_0-154-325}
--mergeRecords true
===============> Showing only 10 records <===============
878902 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
===========================> MERGING RECORDS <===================
878910 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238',
fileLen=-1}
878910 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
at instant 20250717150317470
878910 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150317470.log.1_0-108-238
878918 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Scanning log
file
HoodieLogFile{pathStr='file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286',
fileLen=-1}
878918 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Reading a data
block from file
file:/tmp/trips_table/san_francisco/.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
at instant 20250717150416856
878918 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Merging the
final data blocks
878918 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 2
878924 [main] INFO
org.apache.hudi.common.table.log.BaseHoodieLogRecordReader [] - Number of
remaining logblocks to merge 1
878931 [main] INFO org.apache.hudi.common.table.log.HoodieLogFileReader []
- Closing Log file reader
.e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0_20250717150416856.log.1_0-131-286
878931 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of log
files scanned => 2
878931 [main] INFO
org.apache.hudi.common.table.log.HoodieMergedLogRecordReader [] - Number of
entries in Map => 3
878931 [main] INFO
org.apache.hudi.common.util.collection.ExternalSpillableMap [] -
KeyBasedFileGroupRecordBuffer : Total entries in InMemory map 3, with average
record size as 1048, currentInMemoryMapSize 3144. No entries were spilled to
disk.
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╗
║ Records
║
╠══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╣
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_5", "_hoodie_record_key":
"334e26e9-8355-45cc-97c6-c31daf0df330", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695159649087, "uuid": "334e26e9-8355-45cc-97c6-c31daf0df330", "rider":
"rider-A", "driver": "driver-K", "fare": 39.1, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150317470", "_hoodie_commit_seqno":
"20250717150317470_0_3", "_hoodie_record_key":
"9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695046462179, "uuid": "9909a8b1-2d15-4d3d-8ec9-efc48c536a00", "rider":
"rider-D", "driver": "driver-L", "fare": 43.9, "city": "san_francisco"} ║
╟──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────�
�─────────────────────────────────────────────────────────────────────────────────╢
║ {"_hoodie_commit_time": "20250717150416856", "_hoodie_commit_seqno":
"20250717150416856_0_6", "_hoodie_record_key":
"e96c4396-3fad-413a-a942-4cb36106d721", "_hoodie_partition_path":
"san_francisco", "_hoodie_file_name": "e8eb0f6c-f0ea-4c0d-b4e5-ff93b87d6a1a-0",
"ts": 1695091554788, "uuid": "e96c4396-3fad-413a-a942-4cb36106d721", "rider":
"rider-C", "driver": "driver-M", "fare": 47.7, "city": "san_francisco"} ║
╚══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════�
�═════════════════════════════════════════════════════════════════════════════════╝
```
forgot to set merge records
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
