smengcl opened a new pull request, #8937:
URL: https://github.com/apache/ozone/pull/8937
## What changes were proposed in this pull request?
Currently `MiniOzoneClusterImpl` (non-HA) mixes OM and SCM metadata dirs all
under `ozone-meta`. e.g. under
`./hadoop-ozone/integration-test/target/test-dir/MiniOzoneClusterImpl-53868f3f-ffb9-495f-96ab-da3f551b9f06/`
```bash
.
└── ozone-meta
├── datanode-1
│ ├── data-0
│ │ └── hdds
│ │ └── 53868f3f-ffb9-495f-96ab-da3f551b9f06
│ │ ├── current
│ │ │ └── containerDir0
│ │ │ ├── 1
│ │ │ │ ├── chunks
│ │ │ │ └── metadata
│ │ │ ├── 2
│ │ │ │ ├── chunks
│ │ │ │ └── metadata
│ │ ├── DS-974ed241-60c2-416c-aff0-4074acd5165f
│ │ │ ├── container.db
│ │ │ ├── db.checkpoints
│ │ │ └── db.snapshots
│ │ │ └── checkpointState
│ │ └── tmp
│ │ ├── deleted-containers
│ │ └── disk-check
│ ├── meta
│ │ ├── db.checkpoints
│ │ ├── db.snapshots
│ │ │ └── checkpointState
│ │ ├── dnlayoutversion
│ │ ├── webserver
│ │ └── witnessed_container.db
│ └── ratis
│ ├── 15d8f352-a9ca-474c-afe5-6a154bb0694f
│ │ ├── current
│ │ └── sm
│ ├── 82cd09bf-ad27-44c0-b979-5625bf6ad9f4
│ │ ├── current
│ │ └── sm
│ ├── ac9d6dfc-16c0-4796-95a1-7b50c331b1e2
│ │ ├── current
│ │ └── sm
│ └── tmp
│ └── disk-check
├── datanode-2
...
├── datanode-3
...
├── db.checkpoints
├── db.snapdiff
├── db.snapshots
│ ├── checkpointState
│ └── diffState
│ ├── compaction-log
│ ├── compaction-sst-backup
│ └── snapDiff
├── om
│ └── current
├── om.db
│ └── archive
├── ratis
│ └── bf265839-605b-3f16-9796-c5ba1605619e
│ ├── current
│ └── sm
├── scm
│ └── current
├── scm-ha
│ └── 53868f3f-ffb9-495f-96ab-da3f551b9f06
│ ├── current
│ └── sm
├── scm.db
│ └── archive
├── snapshot
└── webserver
```
This makes it hard to calculate OM metadata disk usage.
Also, some dirs are incorrectly shared among OM and SCM, such as
{{snapshot}} and {{webserver}}.
The goal is to separate those dirs for OM and SCM like we would do in prod.
## What is the link to the Apache JIRA
https://issues.apache.org/jira/browse/HDDS-13569
## How was this patch tested?
- Existing tests
- Eyeball new meta dir structure:
```bash
.
├── om
│ ├── data
│ │ ├── db.checkpoints
│ │ ├── db.snapshots
│ │ │ ├── checkpointState
│ │ │ │ ├── om.db-1bcfd4d3-6c44-4f16-b0ea-c5035fcdeead
│ │ │ │ └── om.db-6dc5ca52-0471-4c84-94b4-39ee9a90bc9b
│ │ │ └── diffState
│ │ │ ├── compaction-log
│ │ │ ├── compaction-sst-backup
│ │ │ └── snapDiff
│ │ ├── om
│ │ │ └── current
│ │ └── om.db
│ │ └── archive
│ ├── ozone-metadata
│ │ ├── db.snapdiff
│ │ ├── snapshot
│ │ └── webserver
│ └── ratis
│ └── bf265839-605b-3f16-9796-c5ba1605619e
│ ├── current
│ └── sm
├── ozone-metadata
│ ├── datanode-1
│ │ ├── data-0
│ │ │ └── hdds
│ │ │ └── fa2ba8de-2651-4ed0-9e02-6c9bc16258a4
│ │ │ ├── current
│ │ │ │ └── containerDir0
│ │ │ │ ├── 1
│ │ │ │ │ ├── chunks
│ │ │ │ │ └── metadata
│ │ │ │ ├── 2
│ │ │ │ │ ├── chunks
│ │ │ │ │ └── metadata
...
│ │ │ ├── DS-8aaa133f-56c4-414b-a5e4-6941bf65028e
│ │ │ │ ├── container.db
│ │ │ │ ├── db.checkpoints
│ │ │ │ └── db.snapshots
│ │ │ │ └── checkpointState
│ │ │ └── tmp
│ │ │ ├── deleted-containers
│ │ │ └── disk-check
│ │ ├── meta
│ │ │ ├── db.checkpoints
│ │ │ ├── db.snapshots
│ │ │ │ └── checkpointState
│ │ │ ├── dnlayoutversion
│ │ │ └── witnessed_container.db
│ │ └── ratis
│ │ ├── 66b1eb71-d37d-438b-afa4-2ca5646ab092
│ │ │ ├── current
│ │ │ └── sm
│ │ ├── aef89295-7190-49f2-a483-f3a8dcc3b457
│ │ │ ├── current
│ │ │ └── sm
│ │ ├── c219a99e-5f88-4537-8bf5-41e07a246622
│ │ │ ├── current
│ │ │ └── sm
│ │ └── tmp
│ │ └── disk-check
│ ├── datanode-2
...
│ └── datanode-3
...
└── scm
├── data
│ ├── db.checkpoints
│ ├── db.snapshots
│ │ └── checkpointState
│ ├── scm
│ │ └── current
│ └── scm.db
│ └── archive
├── ozone-metadata
│ ├── snapshot
│ └── webserver
└── ratis
└── fa2ba8de-2651-4ed0-9e02-6c9bc16258a4
├── current
└── sm
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
