[GitHub] [incubator-druid] mihai-cazacu-adswizz opened a new issue #8063: The compaction task fails without errors

Wed, 24 Jul 2019 23:38:52 -0700 

mihai-cazacu-adswizz opened a new issue #8063: The compaction task fails 
without errors
URL: https://github.com/apache/incubator-druid/issues/8063
 
 
   The compaction task fails without errors.
   
   ### Affected Version
   
   0.15.0-incubating
   
   ### Description
   
   We have a datasource which has 26,074 segments in 336 intervals:
   
   ```
   2019-03-03T23        34      49.1 MB
   2019-03-03T22        40      56.7 MB
   2019-03-03T21        47      66.3 MB
   2019-03-03T20        50      71.3 MB
   2019-03-03T19        53      78.1 MB
   2019-03-03T18        59      86.9 MB
   2019-03-03T17        61      92.9 MB
   2019-03-03T16        59      87 MB
   2019-03-03T15        68      100 MB
   2019-03-03T14        70      103 MB
   2019-03-03T13        82      121 MB
   2019-03-03T12        81      122 MB
   2019-03-03T11        86      128 MB
   2019-03-03T10        83      123 MB
   2019-03-03T09        82      116 MB
   2019-03-03T08        62      92.3 MB
   2019-03-03T07        49      72.4 MB
   2019-03-03T06        39      57.8 MB
   2019-03-03T05        35      51.2 MB
   2019-03-03T04        36      52.9 MB
   2019-03-03T03        34      52.6 MB
   2019-03-03T02        36      54.6 MB
   2019-03-03T01        38      56.1 MB
   2019-03-03T00        39      56.8 MB
   2019-03-02T23        39      55.4 MB
   2019-03-02T22        42      60.4 MB
   2019-03-02T21        47      68.5 MB
   2019-03-02T20        50      73.8 MB
   2019-03-02T19        55      80.6 MB
   2019-03-02T18        63      93.9 MB
   2019-03-02T17        72      104 MB
   2019-03-02T16        76      113 MB
   2019-03-02T15        83      120 MB
   2019-03-02T14        80      119 MB
   2019-03-02T13        83      124 MB
   2019-03-02T12        81      121 MB
   2019-03-02T11        90      133 MB
   2019-03-02T10        88      129 MB
   2019-03-02T09        89      131 MB
   2019-03-02T08        77      115 MB
   2019-03-02T07        59      87.4 MB
   2019-03-02T06        49      73.3 MB
   2019-03-02T05        41      61.5 MB
   2019-03-02T04        44      65.5 MB
   2019-03-02T03        48      69.3 MB
   2019-03-02T02        46      67.5 MB
   2019-03-02T01        50      75.6 MB
   2019-03-02T00        52      76.2 MB
   2019-03-01T23        52      74.5 MB
   2019-03-01T22        56      80.5 MB
   2019-03-01T21        58      84.9 MB
   2019-03-01T20        68      96.5 MB
   2019-03-01T19        72      109 MB
   2019-03-01T18        80      123 MB
   2019-03-01T17        92      135 MB
   2019-03-01T16        99      149 MB
   2019-03-01T15        102     156 MB
   2019-03-01T14        107     163 MB
   2019-03-01T13        106     162 MB
   2019-03-01T12        111     163 MB
   2019-03-01T11        112     161 MB
   2019-03-01T10        100     146 MB
   2019-03-01T09        95      137 MB
   2019-03-01T08        93      138 MB
   2019-03-01T07        80      114 MB
   2019-03-01T06        63      93.5 MB
   2019-03-01T05        55      80.3 MB
   2019-03-01T04        52      74 MB
   2019-03-01T03        50      72.5 MB
   2019-03-01T02        52      74.2 MB
   2019-03-01T01        53      79.6 MB
   2019-03-01T00        56      80.8 MB
   2019-02-28T23        60      85.3 MB
   2019-02-28T22        62      93 MB
   2019-02-28T21        71      103 MB
   2019-02-28T20        79      115 MB
   2019-02-28T19        87      128 MB
   2019-02-28T18        94      141 MB
   2019-02-28T17        110     158 MB
   2019-02-28T16        109     161 MB
   2019-02-28T15        114     167 MB
   2019-02-28T14        123     179 MB
   2019-02-28T13        117     176 MB
   2019-02-28T12        115     166 MB
   2019-02-28T11        128     187 MB
   2019-02-28T10        126     179 MB
   2019-02-28T09        105     149 MB
   2019-02-28T08        101     144 MB
   2019-02-28T07        83      117 MB
   2019-02-28T06        69      103 MB
   2019-02-28T05        56      83.1 MB
   2019-02-28T04        52      77.9 MB
   2019-02-28T03        53      78.2 MB
   2019-02-28T02        55      81.9 MB
   2019-02-28T01        59      87.5 MB
   2019-02-28T00        60      90.4 MB
   2019-02-27T23        60      85.5 MB
   2019-02-27T22        63      92 MB
   2019-02-27T21        71      103 MB
   2019-02-27T20        77      113 MB
   2019-02-27T19        81      119 MB
   2019-02-27T18        89      131 MB
   2019-02-27T17        92      138 MB
   2019-02-27T16        93      140 MB
   2019-02-27T15        94      147 MB
   2019-02-27T14        100     151 MB
   2019-02-27T13        118     173 MB
   2019-02-27T12        118     172 MB
   2019-02-27T11        120     175 MB
   2019-02-27T10        116     164 MB
   2019-02-27T09        100     149 MB
   2019-02-27T08        94      135 MB
   2019-02-27T07        86      126 MB
   2019-02-27T06        71      101 MB
   2019-02-27T05        59      87.9 MB
   2019-02-27T04        53      78.4 MB
   2019-02-27T03        55      82.4 MB
   2019-02-27T02        56      83.1 MB
   2019-02-27T01        56      84.2 MB
   2019-02-27T00        55      80.7 MB
   2019-02-26T23        55      78.6 MB
   2019-02-26T22        65      91.8 MB
   2019-02-26T21        73      103 MB
   2019-02-26T20        74      110 MB
   2019-02-26T19        88      129 MB
   2019-02-26T18        89      137 MB
   2019-02-26T17        92      140 MB
   2019-02-26T16        99      146 MB
   2019-02-26T15        107     161 MB
   2019-02-26T14        121     175 MB
   2019-02-26T13        128     190 MB
   2019-02-26T12        128     190 MB
   2019-02-26T11        120     175 MB
   2019-02-26T10        111     160 MB
   2019-02-26T09        110     158 MB
   2019-02-26T08        88      131 MB
   2019-02-26T07        85      125 MB
   2019-02-26T06        69      102 MB
   2019-02-26T05        60      90 MB
   2019-02-26T04        55      80.1 MB
   2019-02-26T03        55      81.9 MB
   2019-02-26T02        55      81.5 MB
   2019-02-26T01        58      83.8 MB
   2019-02-26T00        57      86.7 MB
   2019-02-25T23        55      80.2 MB
   2019-02-25T22        64      94.8 MB
   2019-02-25T21        69      101 MB
   2019-02-25T20        72      108 MB
   2019-02-25T19        80      119 MB
   2019-02-25T18        89      137 MB
   2019-02-25T17        101     152 MB
   2019-02-25T16        105     161 MB
   2019-02-25T15        110     163 MB
   2019-02-25T14        122     181 MB
   2019-02-25T13        118     176 MB
   2019-02-25T12        116     178 MB
   2019-02-25T11        119     180 MB
   2019-02-25T10        113     163 MB
   2019-02-25T09        112     157 MB
   2019-02-25T08        89      130 MB
   2019-02-25T07        82      120 MB
   2019-02-25T06        66      96.3 MB
   2019-02-25T05        53      81 MB
   2019-02-25T04        49      69.8 MB
   2019-02-25T03        45      66.5 MB
   2019-02-25T02        45      66.7 MB
   2019-02-25T01        43      66 MB
   2019-02-25T00        45      67.2 MB
   2019-02-24T23        41      58.5 MB
   2019-02-24T22        48      68.2 MB
   2019-02-24T21        53      75.6 MB
   2019-02-24T20        58      85.5 MB
   2019-02-24T19        64      93.3 MB
   2019-02-24T18        68      98.8 MB
   2019-02-24T17        72      109 MB
   2019-02-24T16        78      116 MB
   2019-02-24T15        81      119 MB
   2019-02-24T14        84      128 MB
   2019-02-24T13        94      138 MB
   2019-02-24T12        93      137 MB
   2019-02-24T11        99      142 MB
   2019-02-24T10        95      138 MB
   2019-02-24T09        98      142 MB
   2019-02-24T08        75      112 MB
   2019-02-24T07        57      87.6 MB
   2019-02-24T06        49      72.6 MB
   2019-02-24T05        43      64.5 MB
   2019-02-24T04        47      66.2 MB
   2019-02-24T03        44      62.8 MB
   2019-02-24T02        45      67.1 MB
   2019-02-24T01        47      70.3 MB
   2019-02-24T00        47      70.6 MB
   2019-02-23T23        43      64 MB
   2019-02-23T22        45      67.8 MB
   2019-02-23T21        55      80.4 MB
   2019-02-23T20        61      90.6 MB
   2019-02-23T19        67      104 MB
   2019-02-23T18        80      119 MB
   2019-02-23T17        80      122 MB
   2019-02-23T16        93      138 MB
   2019-02-23T15        91      137 MB
   2019-02-23T14        95      141 MB
   2019-02-23T13        101     152 MB
   2019-02-23T12        100     150 MB
   2019-02-23T11        111     162 MB
   2019-02-23T10        111     162 MB
   2019-02-23T09        112     160 MB
   2019-02-23T08        92      135 MB
   2019-02-23T07        67      102 MB
   2019-02-23T06        55      81.4 MB
   2019-02-23T05        49      73 MB
   2019-02-23T04        48      72.2 MB
   2019-02-23T03        55      78.8 MB
   2019-02-23T02        55      81.5 MB
   2019-02-23T01        57      87.2 MB
   2019-02-23T00        54      84.8 MB
   2019-02-22T23        57      82.6 MB
   2019-02-22T22        66      93.9 MB
   2019-02-22T21        74      109 MB
   2019-02-22T20        76      113 MB
   2019-02-22T19        86      131 MB
   2019-02-22T18        98      142 MB
   2019-02-22T17        104     155 MB
   2019-02-22T16        110     166 MB
   2019-02-22T15        115     171 MB
   2019-02-22T14        119     176 MB
   2019-02-22T13        123     179 MB
   2019-02-22T12        133     190 MB
   2019-02-22T11        137     195 MB
   2019-02-22T10        132     183 MB
   2019-02-22T09        115     163 MB
   2019-02-22T08        98      147 MB
   2019-02-22T07        82      122 MB
   2019-02-22T06        71      105 MB
   2019-02-22T05        56      85.8 MB
   2019-02-22T04        57      84.9 MB
   2019-02-22T03        58      84.2 MB
   2019-02-22T02        57      84.1 MB
   2019-02-22T01        61      88.5 MB
   2019-02-22T00        56      83.6 MB
   2019-02-21T23        57      82 MB
   2019-02-21T22        63      91.5 MB
   2019-02-21T21        73      105 MB
   2019-02-21T20        77      114 MB
   2019-02-21T19        85      128 MB
   2019-02-21T18        102     148 MB
   2019-02-21T17        99      152 MB
   2019-02-21T16        107     158 MB
   2019-02-21T15        108     162 MB
   2019-02-21T14        113     171 MB
   2019-02-21T13        131     191 MB
   2019-02-21T12        129     192 MB
   2019-02-21T11        132     194 MB
   2019-02-21T10        122     179 MB
   2019-02-21T09        111     160 MB
   2019-02-21T08        93      135 MB
   2019-02-21T07        82      116 MB
   2019-02-21T06        63      93.5 MB
   2019-02-21T05        55      81.3 MB
   2019-02-21T04        51      76.8 MB
   2019-02-21T03        49      73.9 MB
   2019-02-21T02        55      80.9 MB
   2019-02-21T01        58      84.5 MB
   2019-02-21T00        59      87.5 MB
   2019-02-20T23        60      82.8 MB
   2019-02-20T22        65      95.5 MB
   2019-02-20T21        71      103 MB
   2019-02-20T20        83      121 MB
   2019-02-20T19        84      125 MB
   2019-02-20T18        90      133 MB
   2019-02-20T17        96      141 MB
   2019-02-20T16        112     168 MB
   2019-02-20T15        111     167 MB
   2019-02-20T14        113     174 MB
   2019-02-20T13        122     180 MB
   2019-02-20T12        123     182 MB
   2019-02-20T11        120     179 MB
   2019-02-20T10        130     190 MB
   2019-02-20T09        119     169 MB
   2019-02-20T08        100     142 MB
   2019-02-20T07        85      121 MB
   2019-02-20T06        64      97.4 MB
   2019-02-20T05        59      87.1 MB
   2019-02-20T04        61      85.2 MB
   2019-02-20T03        58      84 MB
   2019-02-20T02        55      82.8 MB
   2019-02-20T01        60      89.3 MB
   2019-02-20T00        59      89.1 MB
   2019-02-19T23        62      89 MB
   2019-02-19T22        71      100 MB
   2019-02-19T21        68      100 MB
   2019-02-19T20        77      111 MB
   2019-02-19T19        86      124 MB
   2019-02-19T18        88      130 MB
   2019-02-19T17        93      138 MB
   2019-02-19T16        92      136 MB
   2019-02-19T15        93      137 MB
   2019-02-19T14        107     160 MB
   2019-02-19T13        111     162 MB
   2019-02-19T12        120     174 MB
   2019-02-19T11        124     177 MB
   2019-02-19T10        113     161 MB
   2019-02-19T09        109     152 MB
   2019-02-19T08        91      132 MB
   2019-02-19T07        73      109 MB
   2019-02-19T06        68      97.3 MB
   2019-02-19T05        51      77.2 MB
   2019-02-19T04        49      71.1 MB
   2019-02-19T03        47      68.7 MB
   2019-02-19T02        48      69.5 MB
   2019-02-19T01        50      73.3 MB
   2019-02-19T00        48      71 MB
   2019-02-18T23        49      71.1 MB
   2019-02-18T22        54      79.1 MB
   2019-02-18T21        64      91.5 MB
   2019-02-18T20        68      100 MB
   2019-02-18T19        74      108 MB
   2019-02-18T18        81      119 MB
   2019-02-18T17        85      127 MB
   2019-02-18T16        89      133 MB
   2019-02-18T15        95      140 MB
   2019-02-18T14        93      138 MB
   2019-02-18T13        84      126 MB
   2019-02-18T12        91      138 MB
   2019-02-18T11        109     152 MB
   2019-02-18T10        108     147 MB
   2019-02-18T09        94      131 MB
   2019-02-18T08        79      115 MB
   2019-02-18T07        71      99.2 MB
   2019-02-18T06        60      84.8 MB
   2019-02-18T05        47      68.8 MB
   2019-02-18T04        43      62.3 MB
   2019-02-18T03        43      62.3 MB
   2019-02-18T02        40      58 MB
   2019-02-18T01        42      59.4 MB
   2019-02-18T00        40      59.2 MB
   ```
   
   The compaction task:
   
   ```
   {
       "type": "compact",
       "dataSource": "the-datasource",
       "interval": "2019-02-18/2019-03-01",
       "keepSegmentGranularity": false,
       "segmentGranularity": "week",
       "queryGranularity": "day",
        "tuningConfig": {
                "type": "index",
                "targetPartitionSize" : 12000000,
                "maxRowsInMemory": 25000,
                "maxBytesInMemory": 2147483647,
                "forceExtendableShardSpecs": true
        }
   }
   ```
   
   fails wihout any exception. Duration: ~30 min.
   
   The last lines in the log file:
   
   ```
   2019-07-11T07:14:35,260 INFO [task-runner-0-priority-0] 
org.apache.druid.storage.s3.S3DataSegmentPuller - Pulling index at 
path[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58/index.zip]
 to 
outDir[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58]
   2019-07-11T07:14:35,351 INFO [task-runner-0-priority-0] 
org.apache.druid.storage.s3.S3DataSegmentPuller - Loaded 1448032 bytes from 
[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58/index.zip]
 to 
[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/58]
   2019-07-11T07:14:35,352 INFO [task-runner-0-priority-0] 
org.apache.druid.storage.s3.S3DataSegmentPuller - Pulling index at 
path[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59/index.zip]
 to 
outDir[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59]
   2019-07-11T07:14:35,444 INFO [task-runner-0-priority-0] 
org.apache.druid.storage.s3.S3DataSegmentPuller - Loaded 1423122 bytes from 
[s3://host/devel/druid/druid-dev-1/segments/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59/index.zip]
 to 
[/mnt/druid/persistent/task/compact_the-datasource_2019-07-11T06:33:52.964Z/work/the-datasource/2019-02-28T23:00:00.000Z_2019-03-01T00:00:00.000Z/2019-07-10T15:27:33.889Z/59]
   ```
   
   We have also monitored the Peon and there were no issues regarding the cpu, 
memory or disk.
   
   
![profiler](https://user-images.githubusercontent.com/45362709/61033118-6f269980-a3cb-11e9-9dce-1c5fe4a90a2c.png)

----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
 
For queries about this service, please contact Infrastructure at:
us...@infra.apache.org


With regards,
Apache Git Services

---------------------------------------------------------------------
To unsubscribe, e-mail: commits-unsubscr...@druid.apache.org
For additional commands, e-mail: commits-h...@druid.apache.org

Reply via email to