SVM - 윈디하나의 솔라나라

분류: 저장장치
설명: SVM(Solaris Volume Manager)에 대해 설명 (2011-09-04)
위치: 윈디하나의 솔라나라: SVM (처음 오신 분은 윈디하나의 솔라나라 이야기를 읽어주십시오)
윈디하나의 솔라나라 트위터 @solanara

개요

솔라리스 볼륨 매니저(Solaris Volume Manager, 이하 SVM)는 솔라리스의 '볼륨'을 관리할 수 있는 툴이다. 소프트웨어 레이드(Software RAID) 지원해주는 기능으로, 보통 미러링과 클러스터링 용도로 사용한다. 예전엔 Solstice DiskSuite라고 불렸다. 솔라리스 9부터 번들되어 있다.
Solaris Volume Manager Administration Guide의 내용을 인용했다.
글을 읽기 전에 아래의 내용을 읽어보면 이해하는데 도움될 것이다.
- 윈디하나의 솔라나라: 저장장치 (작성중)
- 윈디하나의 솔라나라: 디스크 관리
- 윈디하나의 솔라나라: ZFS (작성중)
솔라리스 10에서는 대체할 ZFS가 번들되어있으며, 솔라리스 11부터 SVM은 더이상 지원하지 않는다. (단 기 생성된 볼륨은 계속 사용할 수 있다)
본 문서에서는 SVM의 Disk Set, SNMP 설정, 모니터링, 썬클러스터에서의 SVM과 관련된 내용이 제외되어있다. 관련된 내용은 위에서 언급한 매뉴얼을 읽어보자.

Solaris Volume Manager

GUI 지원

SMC(Solaris Management Console)를 통해 GUI형식의 관리자가 지원되기는 하지만, 사용을 권장하지는 않는다.

root@wl ~ # /usr/sbin/smc

지원하는 RAID 레벨

SVM에서는 RAID 0, 1, 0+1, 1+0, 5 를 지원하며, 이외에도 Soft Partition과 Hot Spare도 지원된다.

요구사항	Concatennation	Stripe	Mirror	RAID 5	Soft Partitions

데이터 이중화	N	N	Y	Y	N

읽기성능 향상	N	Y	구성에의함	Y	N

쓰기성능 향상	N	Y	N	N	N

장치당 8개 이상 슬라이스	N	N	N	N	Y

가용공간 향상 디스크의 낭비가 별로 없음	Y	Y	N	Y	N

RAID 0와 Soft Partitions은 데이터가 중복되지 않는다.
Concatenation 은 약간의 임의의 I/O를 유발한다.
Striping은 큰 순차적인 I/O나 임의의 I/O 분산에 좋다. (예를 들어 VOD서비스)
Mirroring은 읽기 성능을 향상시키지만 쓰기 성능은 항상 느려질 것이다.
RAID 5 볼륨은 쓰기 성능이 RAID 1볼륨보다 낮다. (동작방식의 한계이다)
Soft partitions은 8개 이상의 슬라이스를 지원하기 때문에 매우 큰 저장 장치를 관리하는데 유용하다.

필요한 서비스

SVM을 사용하기 위해서는 다음과 같은 서비스가 실행되어 있어야 한다.

필수 서비스 svc:/system/metainit svc:/network/rpc/meta svc:/system/mdmonitor
디스크셋을 사용하기 위한 서비스 svc:/network/rpc/metamed svc:/network/rpc/metamh
다중 노드를 지원하기 위한 서비스(클러스터) svc:/network/rpc/mdcomm

예제의 구성

이 문서에서 사용하는 예제에 대해 아래와 같이 디스크를 구성했다. 디스크 구성에 대해 자세한 사항은 윈디하나의 솔라나라: 디스크 관리를 참조한다.

아래와 같이 2GB용량의 7개의 디스크를 추가했다. c2t[0-6]d0 이 그것이다. c0d0 는 솔라리스가 설치된 디스크다.

       0. c0d0 <DEFAULT cyl 2607 alt 2 hd 255 sec 63>
          /pci@0,0/pci-ide@1,1/ide@0/cmdk@0,0
       1. c2t0d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@0,0
       2. c2t1d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@1,0
       3. c2t2d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@2,0
       4. c2t3d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@3,0
       5. c2t4d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@4,0
       6. c2t5d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@5,0
       7. c2t6d0 <DEFAULT cyl 1021 alt 2 hd 128 sec 32>
          /pci@0,0/pci1000,8000@14/sd@6,0

파티션은 아래와 같이 디스크 전체를 설정했다.

             Total disk size is 1023 cylinders
             Cylinder size is 4096 (512 byte) blocks

                                               Cylinders
      Partition   Status    Type          Start   End   Length    %
      =========   ======    ============  =====   ===   ======   ===
          1       Active    Solaris2          1  1022    1022    100

각 디스크는 아래와 같이 슬라이스를 나누었다.

Part      Tag    Flag     Cylinders        Size            Blocks
  0 unassigned    wm       1 - 1019        1.99GB    (1019/0/0) 4173824
  1 unassigned    wm       0               0         (0/0/0)          0
  2     backup    wu       0 - 1019        1.99GB    (1020/0/0) 4177920
  3 unassigned    wm       0               0         (0/0/0)          0
  4 unassigned    wm       0               0         (0/0/0)          0
  5 unassigned    wm       0               0         (0/0/0)          0
  6 unassigned    wm       0               0         (0/0/0)          0
  7 unassigned    wm       0               0         (0/0/0)          0
  8       boot    wu       0 -    0        2.00MB    (1/0/0)       4096
  9 unassigned    wm       0               0         (0/0/0)          0

State Database 생성/삭제

SVM은 SVM State Database를 통해 작동한다. State Database에는 볼륨과 핫 스페어, 디스크 셋등 SVM과 관련된 디스크 설정이 담겨 있다. 이 데이터베이스는 디스크 슬라이스에 저장되지만, 파일은 아니다. 따라서 ls -al 명령어로 볼 수 없다. 이렇게 중요한 데이터를 시스템 오작동 또는 디스크 오류로부터 보호하기위해 여러 곳에 복사해놓는데 그것을 Replicas 라 부른다. (Replicas = Multiple copies) 따라서 State Database Replicas 라는 말은 [State Database 의 복사본]을 의미한다.
시스템의 오류로 인해 리플리카가 깨지거나 변형되었을 경우 SVM은 여러개의 리플리카 중 어느것이 올바른지 판단해야 하는데, 이때 사용하는 알고리즘이 majority consensus algorithm이다. 쉽게 말하면 과반수로 결정한다. 3개의 리플리카 중 2개가 같은 내용이면 그것을 올바른 정보로 인식하고 수행한다는 뜻이다. 나머지 한개가 잘못되었다면 관리자가 직접 수정해줄 때까지 무시한다. (자동으로 고치지 않는다)
Replica는 SANs과 같이 시스템에 직접 연결되지 않은 장치에 생성할 수 없다. SCSI나 IDE장치에 연결된 디스크처럼 시스템 내부에 직접 연결되어있는 장치에 생성해야 한다. 리플리카는 기본적으로 약 4메가(8192섹터)를 사용하며, 독립적인 로컬 디스크나, 볼륨, 로깅 디바이스에 사용할 수 있다. 그러나 /root 나, 스왑, 또는 /usr에 생성할 수 없다. 데이터가 이미 있기 때문이다.
State Database 를 현재 사용중인 디스크/슬라이스에 생성해서는 절대 안된다. 디스크 망가진다.

State Database의 생성과 관리에는 metadb라는 명령어를 사용한다.

root@wl ~ # metadb -a c2t0d0s0 1)
metadb: wl: 기존 데이터베이스 없음
root@wl ~ # metadb -a -f c2t0d0s0 2)
root@wl ~ # metadb
        flags           first blk       block count
     a        u         16              8192            /dev/dsk/c2t0d0s0
root@wl ~ # metadb -a c2t1d0s0
root@wl ~ # metadb -i 3)
        flags           first blk       block count
     a        u         16              8192            /dev/dsk/c2t0d0s0
     a        u         16              8192            /dev/dsk/c2t1d0s0
 r - 복제에 장치 재배치 정보가 없습니다
 o - 마지막 mddb 구성 변경 이전의 활성 복제
 u - 복제가 최신입니다
 l - 이 복제에 대한 로케이터를 성공적으로 읽었습니다
 c - 복제 위치가 /etc/lvm/mddb.cf였습니다
 p - 복제의 위치가 커널에서 패치되었습니다
 m - 복제가 마스터이며 이것은 입력으로 선택된 복제입니다
 W - 복제에 장치 쓰기 오류가 있습니다
 a - 복제가 활성이며 이 복제에 대한 완결이 발생하고 있습니다
 M - 복제에 마스터 블록 문제가 있습니다
 D - 복제에 데이터 블록 문제가 있습니다
 F - 복재에 형식 문제가 있습니다
 S - 복제가 너무 작아 현재 데이터베이스를 보유할 수 없습니다
 R - 복제에 장치 읽기 오류가 있습니다

1) -a는 기존 데이터 베이스에 추가하는 명령이다. 기존 데이터 베이스가 없다고 나온다.
2) 데이터베이스를 최초로 생성하려면 -f를 같이 붙여 생성한다.
3) -i 를 붙이면 flags의 의미를 같이 알려준다. 소문자는 보통 '정상' 상태를, 대문자는 '비정상'상태를 가리킨다.

삭제는 아래와 같이 한다.
```
root@wl ~ # metadb -d c2t1d0s0 1)
root@wl ~ # metadb -d -f c2t0d0s0 2)
root@wl ~ #
```
1) 삭제는 -d를 사용한다.
2) 마지막 남은 데이터베이스를 삭제하려면 -f를 같이 붙여야 한다.

제한

솔라리스 9 4/03부터 64비트 커널인 경우에만 SVM은 1TB이상의 볼륨을 지원한다. 64비트 커널로 1TB이상의 디바이스를 생성한 상태에서, 솔라리스 9 4/03 이상의 32비트 시스템에서는 metastat과 같은 명령에서는 올바르게 보이지만, 시스템에서는 마운팅하거나 생성/수정/삭제가 되지 않을 것이다. 만약 솔라리스 9 4/03 미만의 버전을 가지고 있다면 SVM이 시작되지 않을 것이다. 즉, 64비트 시스템을 계속 사용할 것이 아니라면 1TB이상의 볼륨을 생성하지 않는것이 좋다. 솔라리스 10의 경우도 32bit 시스템이라면 마찬가지다.
SVM에서는 메타 디스크(가상 디스크)를 8192개까지 지원하지만, 솔라리스의 메타 디스크는 기본적으로 d0~d127까지만 설정되어있다. 즉 별도의 작업을 하지 않는한 128개만 사용 가능하다는 의미다. 이 수치는 늘일 수 있는데, 너무 크게 늘이면 md의 성능을 떨어뜨리기 때문에 주의해야 한다. 아래는 256개로 늘인것이다.
```
root@wl ~ # vi /kernel/drv/md.conf
name="md" parent="pseudo" nmd=256 md_nsets=4;
root@wl ~ # reboot
```

RAID 0 볼륨

RAID 0볼륨에는 Stripes, Concatenations, Concatenated stripes의 세가지 종류가 있다. Stripes는 스트라이프 그룹 내의 모든 컴포넌트(보통 디스크 슬라이스)에 동일하게 가로질러 저장된다. Concatenations는 첫번째 가용 컴포넌트가 다 차게 되면 다음 가용한 컴포넌트를 사용하게 된다. Concatenated stripes는 Stripe 디스크에 Concatenations으로 붙인 것이다.

RAID 0볼륨
데이터1
데이터2
데이터3
데이터4
데이터5
데이터6
데이터7
데이터8

물리 슬라이스 1
데이터1
데이터5
-

물리 슬라이스 2
데이터2
데이터6
-

물리 슬라이스 3
데이터3
데이터7
-

물리 슬라이스 4
데이터4
데이터8
-

물리 슬라이스 1
데이터1
데이터2
데이터3

물리 슬라이스 2
데이터4
데이터5
데이터6

물리 슬라이스 3
데이터7
데이터8
-

물리 슬라이스 4
-
-
-

물리 슬라이스 1
데이터1
데이터3
데이터5

물리 슬라이스 2
데이터2
데이터4
데이터6

물리 슬라이스 3
데이터7
-
-

물리 슬라이스 4
데이터8
-
-

데이터

Stripes

Concatenations

Concatenated stripes

RAID 0 Stripe 볼륨의 생성

아래는 2개의 디스크(c2t0d0s0, c2t1d0s0)를 1개의 볼륨(d10)으로 사용하는 예제이다. 이때 RAID 0의 interlace 값은 32k로 정한다. (32K단위로 디스크에 교대로 저장한다)

root@wl ~ # metainit d10 1 2 c2t0d0s0 c2t1d0s0 -i 32k
d10: Concat/스트립이 설정됨
root@wl ~ # metastat
d10: Concat/Stripe
    크기: 8323072 블록(4.0 GB)
    스트립 0: (인터레이스: 64 블록)
        장치       시작 블록    Dbase   Reloc
        c2t0d0s0      12288     예      예
        c2t1d0s0      12288     예      예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001

볼륨의 삭제
위에서 생성한 볼륨을 삭제하려면 metaclear 명령을 사용한다.
```
root@wl ~ # metaclear d10
d10: Concat/스트립이 지워짐
root@wl ~ #
```

Concatenation 볼륨의 생성

아래는 2개의 디스크(c2t0d0s0, c2t1d0s0)를 1개의 볼륨으로 사용하는 예제이다. RAID 0가 아닌 Concatenation 볼륨이다. (단순히 디스크 두개를 이어붙인 볼륨일 뿐이다)

root@wl ~ # metainit d10 2 1 c2t0d0s0 1 c2t2d0s0
d12: Concat/스트립이 설정됨
root@wl ~ # metastat
d10: Concat/Stripe
    크기: 8331264 블록(4.0 GB)
    스트립 0:
        장치       시작 블록    Dbase   Reloc
        c2t0d0s0      12288     예      예
    스트립 1:
        장치       시작 블록    Dbase   Reloc
        c2t2d0s0          0     아니    예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000

아래는 1개의 디스크에 한개의 볼륨을 할당한 예제이다. SVM에서는 각각의 물리적 디스크(cxtxdx)에 아래와 같이 논리적 디스크(dxx)를 구성한 후, 미러링을 구성할 것을 권장한다. 이 내용은 RAID 1 볼륨에서 다시 다룬다.

root@wl ~ # metainit d11 1 1 c2t0d0s0
d11: Concat/스트립이 설정됨
root@wl ~ # metainit d12 1 1 c2t1d0s0
d12: Concat/스트립이 설정됨
root@wl ~ # metastat
d12: Concat/Stripe
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase   Reloc
        c2t1d0s0      12288     예      예

d11: Concat/Stripe
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase   Reloc
        c2t0d0s0      12288     예      예

Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000

생성한 볼륨의 사용

/dev/dsk대신 /dev/md/dsk를, /dev/rdsk/대신 /dev/md/rdsk를 사용하는 것만 제외하고는 모두 디스크의 사용과 같다. 아래는 추가한 논리 볼륨을 UFS로 포맷해 사용하는 방법이다.

root@wl ~ # metastat
d10: Concat/Stripe
    크기: 8323072 블록(4.0 GB)
    스트립 0: (인터레이스: 64 블록)
        장치       시작 블록    Dbase   Reloc
        c2t0d0s0      12288     예      예
        c2t1d0s0      12288     예      예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
root@wl ~ # newfs /dev/md/rdsk/d10
/dev/md/rdsk/d10:       128 트랙, 32 섹터의 2032 실린더에 있는 8323072 섹터
        4064.0MB (79 실린더 그룹) (26 c/g, 52.00MB/g, 6400 i/g)
수퍼 블록 백업 (fsck -F ufs -o b=#의 경우):
 32, 106560, 213088, 319616, 426144, 532672, 639200, 745728, 852256, 958784,
 7350464, 7456992, 7563520, 7670048, 7776576, 7883104, 7989632, 8096160,
 8202688, 8309216
root@wl ~ # mkdir /d10
root@wl ~ # mount /dev/md/dsk/d10 /d10
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        3.9G   4.0M   3.9G     1%    /d10

RAID 0볼륨에서 용량 추가하기(Concatenated Stripe)

Stripe형식의 볼륨에 용량을 추가하려면 같은 형식의 볼륨을 사용해야한다.

root@wl ~ # metainit d10 1 2 c2t0d0s0 c2t1d0s0 -i 32k
d10: Concat/스트립이 설정됨
root@wl ~ # metattach d10 c2t2d0s0 c2t3d0s0
d10: 구성 요소가 동봉됨
root@wl ~ # metastat
d10: Concat/Stripe
    크기: 16662528 블록(7.9 GB)
    스트립 0: (인터레이스: 64 블록)
        장치       시작 블록    Dbase   Reloc
        c2t0d0s0      12288     예      예
        c2t1d0s0      12288     예      예
    스트립 1: (인터레이스: 64 블록)
        장치       시작 블록    Dbase   Reloc
        c2t2d0s0          0     아니    예
        c2t3d0s0          0     아니    예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000
c2t3d0   예     id1,sd@f0a71ed6c4b8ddfad0002e6e10001

데이터가 존재하는 슬라이스의 용량을 확장하기

UFS로 포맷된 마운트된 볼륨의 확장은 grawfs 명령을 사용해 확장할 수 있다. 일단 아래와 같이 볼륨을 만들자.

root@wl ~ # metainit d10 1 2 c2t0d0s0 c2t1d0s0 -i 32k
root@wl ~ # newfs /dev/md/rdsk/d10
root@wl ~ # mkdir /d10
root@wl ~ # mount /dev/md/dsk/d10 /d10
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        3.9G   4.0M   3.9G     1%    /d10

위와 같이 만든 후, 아래와 같이 언마운트 없이 확장할 수 있다.

root@wl ~ # metattach d10 c2t2d0s0 c2t3d0s0
root@wl ~ # growfs -M /d10 /dev/md/rdsk/d10
/dev/md/rdsk/d10:       128 트랙, 32 섹터의 4068 실린더에 있는 16662528 섹터
        8136.0MB (157 실린더 그룹) (26 c/g, 52.00MB/g, 6400 i/g)
수퍼 블록 백업 (fsck -F ufs -o b=#의 경우):
 32, 106560, 213088, 319616, 426144, 532672, 639200, 745728, 852256, 958784,
 15655552, 15762080, 15868608, 15975136, 16081664, 16188192, 16294720,
 16401248, 16507776, 16614304
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        7.8G   8.0M   7.8G     1%    /d10

RAID 1 볼륨

RAID 1볼륨에는 Mirror가 있으며 확장된 것으로 RAID 1+0, RAID 0+1이 있다. SVM은 Mirror 용도로 주로 사용되며, 유연하게 관리할 수 있다.

RAID 1볼륨
데이터1
데이터2

물리슬라이스 1
데이터1
데이터2
-

물리슬라이스 2
데이터1
데이터2
-

물리슬라이스 3
데이터1
데이터2
-

물리슬라이스 4
데이터1
데이터2
-

Stripe

Mirror1

물리슬라이스 1
데이터1
-
-

물리슬라이스 2
데이터1
-
-

Mirror2

물리슬라이스 3
데이터2
-
-

물리슬라이스 4
데이터2
-
-

Mirror

Stripe1

물리슬라이스 1
데이터1
-
-

물리슬라이스 2
데이터2
-
-

Stripe2

물리슬라이스 3
데이터1
-
-

물리슬라이스 4
데이터2
-
-

데이터

Mirror (4 way)

RAID 1+0
슬라이스1과 슬라이스2가 Mirror1,
슬라이스3과 슬라이스4가 Mirror2,
다시 Mirror1과 Mirror2가 Stripe

RAID 0+1
슬라이스1과 슬라이스2가 Stripe1,
슬라이스3과 슬라이스4가 Stripe2,
다시 Stripe1과 Stripe2가 Mirror

two-way 미러 만들기

SVM 을 사용하는 이유가 바로 이 N-way 미러, 그중에서도 Two-way 미러를 만들기 위해서라 해도 과언이 아니다. 그만큼 핵심적인 내용이다.
우선 동일 용량을 가진 디스크 두개가 필요하며, 각각 format → fdisk, format → partition 명령을 통해 슬라이스가 나누어져 있어야 한다.
아래의 예에서는 c2t0d0s0, c2t1d0s0 디스크를 d11, d12 논리 볼륨으로 설정하고, 다시 d11 과 d12 를 묶어 d10 미러 볼륨을 만들것이다.

root@wl ~ # metainit d11 1 1 c2t0d0s0
d11: Concat/스트립이 설정됨
root@wl ~ # metainit d12 1 1 c2t1d0s0
d12: Concat/스트립이 설정됨
root@wl ~ # metainit d10 -m d11 1)
d10: 이중화가 설정됨
root@wl ~ # metattach d10 d12
d10: 하위 미러 d12 is attached
root@wl ~ # newfs /dev/md/rdsk/d10
...
root@wl ~ # mount /dev/md/dsk/d10 /d10
root@wl ~ # df -k /d10
파일시스템           K바이트    사용    가용   용량    설치지점
/dev/md/dsk/d10      2016671    2049 1954122     1%    /a
root@wl ~ # metastat
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 재동기화중 2)
    Resync 처리 중: 31 % 완료
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 재동기화중
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b7b6022000820420001
c2t0d0   예     id1,sd@f0a71ed6c4b7b60220006cabc0000
root@wl ~ #

1) 이중화가 설정되었으나, 하위 미러(Sub Mirror, 서브 미러)를 붙이지(Attach) 않은 상태를 one-way mirror 라고 한다. SVM에서는 총 4개까지 하위 미러를 추가할 수 있다. 즉 four-way mirror 까지 가능한 셈이다.
2) d11을 먼저 d10으로 설정하고, 여기에 d12를 metattach 명령으로 붙였다. 따라서 d11의 내용을 d12로 복사(동기화)하는 중이다. 재동기화(Resync)가 끝나면 [확인]상태로 전환된다.

삭제
metadetach 명령을 이용해 추가한 서브미러를 삭제할 수 있다. 추가된 하위 미러를 모두 삭제했으면, 다음부터는 strip/concat 처럼 metaclear 를 사용해 삭제한다.
```
root@wl ~ # metadetach d10 d12
root@wl ~ # metaclear d10
root@wl ~ # metaclear d11
root@wl ~ # metaclear d12
```

오프라인/온라인/대체

디스크를 오프라인/온라인으로 바꾸고, 디스크를 다른 디스크로 옮길 수 있다.

root@wl ~ # metastat
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 확인
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
root@wl ~ # metaoffline d10 d11
d10: submirror d11이(가) 오프라인 상태임
root@wl ~ # metastat
d10: 이중화
    서브미러 0: d11
      상태: 관리 필요
    서브미러 1: d12
      상태: 확인
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 관리 필요
    호출: metaonline d10 d11
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
root@wl ~ # metaonline d10 d11
d10: submirror d11이(가) 온라인 상태임
root@wl ~ #

root@wl ~ # metastat d10
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 확인
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
root@wl ~ # metareplace d10 c2t1d0s0 c2t2d0s0
d10: 장치 c2t1d0s0이(가) c2t2d0s0(으)로 교체됨
root@wl ~ # metastat d10
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 재동기화중
    Resync 처리 중: 4 % 완료
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 재동기화중
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t2d0s0          0     아니    재동기화중    예


Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000
root@wl ~ #

RAID 1 볼륨 파라메터
읽기 정책(Read Policy), 쓰기 정책(Write Policy), 전달값(Pass Number)을 정해줄 수 있다.
- 읽기정책: roundrobin, geometric, first 중 하나. 라운드로빈(기본값), 지오메트릭(요청이 들어온 읽어야 할 양에 대해, 서브미러당 동일한 양만큼 읽음), 첫번째 서브미러에서만 읽음. geometric 도 고려해볼만 하다.
- 쓰기정책: parallel, serial 중 하나. 병렬 쓰기(기본값) 또는 직렬 쓰기다. 당연히 병렬 쓰기는 두개 이상의 서브 미러 디스크에 동시에 쓰기 때문에 빠르다. (유일한 예외는 각각의 서브미러가 같은 디스크의 다른 슬라이스를 사용하는 경우다)
- 전달값: 시스템 부트시 재동기화(resynchronized)에 사용되는 순서를 지정. 기본값은 1, 범위는 0~9까지이다. 작은 값 먼저 동기화가 수행된다. 0인 경우 통과(skip)된다.
```
root@wl ~ # metaparam d10
d10: 미러 현재 매개 변수는:
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
root@wl ~ # metaparam -r geometric d10
root@wl ~ # metaparam -w serial d10
root@wl ~ # metaparam -p 2 d10
root@wl ~ # metaparam d10
d10: 미러 현재 매개 변수는:
    전달: 2
    읽기 옵션: geometric (-g)
    쓰기 옵션: serial (-S)
```

미러링 풀기(unmirror)

metaclear 를 이용해 설정을 풀고, d12 의 디스크(c2t1d0s0)를 SVM을 이용하지 않고 마운트한다.

root@wl ~ # umount /d10
root@wl ~ # metadetach d10 d12
d10: submirror d12이(가) 분리 상태임
root@wl ~ # metaclear -r d10
d10: 이중화가 지워짐
d11: Concat/스트립이 지워짐
root@wl ~ # metaclear d12
d12: Concat/스트립이 지워짐
root@wl ~ # metastat
root@wl ~ # mount /dev/dsk/c2t1d0s0 /d10

Soft Partitions

큰 용량의 디스크를 여러개의 파티션으로 나눠서 사용할 수 있는 기능이다. [metainit [-s diskset] soft-partition -p [-e] component size] 와같은 형식으로 생성한다.

생성

root@wl ~ # metainit d10 -p c2t0d0s0 512m
d10: 소프트 분할 영역이 설정됨
root@wl ~ # metainit d11 -p c2t0d0s0 512m
d11: 소프트 분할 영역이 설정됨
root@wl ~ # metainit d12 -p c2t0d0s0 512m
d12: 소프트 분할 영역이 설정됨
root@wl ~ # metastat
d12: 소프트 분할 영역
    장치: c2t0d0s0
    상태: 확인
    크기: 1048576 블록(512 MB)
        장치       시작 블록    Dbase Reloc
        c2t0d0s0      12288     예    예

         확장                 시작 블록                블록 개수
             0                  2109443                  1048576

d11: 소프트 분할 영역
    장치: c2t0d0s0
    상태: 확인
    크기: 1048576 블록(512 MB)
        장치       시작 블록    Dbase Reloc
        c2t0d0s0      12288     예    예

         확장                 시작 블록                블록 개수
             0                  1060866                  1048576

d10: 소프트 분할 영역
    장치: c2t0d0s0
    상태: 확인
    크기: 1048576 블록(512 MB)
        장치       시작 블록    Dbase Reloc
        c2t0d0s0      12288     예    예

         확장                 시작 블록                블록 개수
             0                    12289                  1048576

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
root@wl ~ #

위의 예에서는 슬라이스[c2t0d0s0]를 지정했지만 -e 를 붙어 디스크 전체를 사용하는 방법이 주로 사용된다.

# metainit d20 -p -e c2t2d0 512m

확장

root@wl ~ # metainit d10 -p c2t0d0s0 512m
d10: 소프트 분할 영역이 설정됨
root@wl ~ # newfs /dev/md/rdsk/d10
newfs: 새 시스템 파일 /dev/md/rdsk/d10을(를) 구성하시겠습니까: (y/n)? y
/dev/md/rdsk/d10:       128 트랙, 32 섹터의 256 실린더에 있는 1048576 섹터
        512.0MB (16 실린더 그룹) (16 c/g, 32.00MB/g, 15360 i/g)
수퍼 블록 백업 (fsck -F ufs -o b=#의 경우):
 32, 65600, 131168, 196736, 262304, 327872, 393440, 459008, 524576, 590144,
 655712, 721280, 786848, 852416, 917984, 983552
root@wl ~ # mount /dev/md/dsk/d10 /d10
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        482M   1.0M   433M     1%    /d10

위 상태에서 아래와 같이 확장할 수 있다.

root@wl ~ # metattach d10 1g
d10: 소프트 분할 영역이 증가됨
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        482M   1.0M   433M     1%    /d10
root@wl ~ # growfs -M /d10 /dev/md/rdsk/d10
/dev/md/rdsk/d10:       128 트랙, 32 섹터의 768 실린더에 있는 3145728 섹터
        1536.0MB (48 실린더 그룹) (16 c/g, 32.00MB/g, 15360 i/g)
수퍼 블록 백업 (fsck -F ufs -o b=#의 경우):
 32, 65600, 131168, 196736, 262304, 327872, 393440, 459008, 524576, 590144,
 2491616, 2557184, 2622752, 2688320, 2753888, 2819456, 2885024, 2950592,
 3016160, 3081728
root@wl ~ # df -h /d10
파일시스템             크기   사용   가용   용량    설치지점
/dev/md/dsk/d10        1.4G   1.5M   1.4G     1%    /d10
root@wl ~ # umount /d10

삭제
metaclear dxx 를 사용해도 되지만 아래와 같이 특정 디스크에 있는 모든 소프트 파티션을 삭제할 수 있다.
```
root@wl ~ # metaclear -p c2t0d0s0
d10: 소프트 분할 영역이 지워짐
root@wl ~ #
```

RAID 5 볼륨

생성

root@wl ~ # metainit d10 -r c2t0d0s0 c2t1d0s0 c2t2d0s0
d10: RAID가 설정됨
root@wl ~ # metastat d10
d10: RAID
    상태: 확인
    인터레이스: 32 블록
    크기: 8335360 블록(4.0 GB)
원래의 장치:
    크기: 8338752 블록(4.0 GB)
        장치       시작 블록    Dbase         상태 Reloc  핫 스패어
        c2t0d0s0        330      아니         확인    예
        c2t1d0s0        330      아니         확인    예
        c2t2d0s0        330      아니         확인    예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000
root@wl ~ #

확장

root@wl ~ # metattach d10 c2t3d0s0 c2t4d0s0 c2t5d0s0
d10: 구성 요소가 동봉됨
root@wl ~ # metastat d10
d10: RAID
    상태: 확인
    초기화 진행중:  5.8% 완료
    인터레이스: 32 블록
    크기: 8335360 블록(4.0 GB)
원래의 장치:
    크기: 8338752 블록(4.0 GB)
        장치       시작 블록    Dbase         상태 Reloc  핫 스패어
        c2t0d0s0        330      아니         확인    예
        c2t1d0s0        330      아니         확인    예
        c2t2d0s0        330      아니         확인    예
연결된 장치:
    크기: 12508128 블록(6.0 GB)
        장치       시작 블록    Dbase 상태         Reloc 핫 스패어
        c2t3d0s0        330      아니    초기화 중    예
        c2t4d0s0        330      아니    초기화 중    예
        c2t5d0s0        330      아니    초기화 중    예

Device Relocation Information:
Device   Reloc  Device ID
c2t0d0   예     id1,sd@f0a71ed6c4b8de2b9000716430000
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000
c2t3d0   예     id1,sd@f0a71ed6c4b8ddfad0002e6e10001
c2t4d0   예     id1,sd@f0a71ed6c4b8ddfad00036b9e0002
c2t5d0   예     id1,sd@f0a71ed6c4b8ddfad0003ee3c0003

RAID 5 볼륨이라, 패리티는 1개의디스크만 사용한다. 따라서 추가되는 장치는 모두 데이터 저장에 사용되기때문에 6GB가 늘어나는 것이다. 바꿔 말하면 6개의 하드디스크 중 1개의 고장까지 허용한다는 의미다. 패리티 비트를 2개(또는 그이상)의 하드디스크에 넣는 방식은 SVM 에서 지원하지 않는다. (ZFS에서 지원한다)

대체
metareplace 명령으로 대체하거나 disable 된 디스크를 enable 상태로 변경할 수 있다. mirror 와 동일하다.
```
root@wl ~ # metareplace d10 c2t0d0s0 c2t3d0s0
root@wl ~ # metareplace -e d10 c2t0d0s0
```

핫 스페어 풀(Hot Spare Pools)

핫 스페어 풀은 풀에서 여유분으로 설정된 디스크를 말한다. RAID 1, RAID 5 볼륨인 경우 디스크에 문제가 발생했을 때, 자동으로 문제가 생긴 디스크의 내용을 핫 스페어 디스크로 전송하며, 문제가 생긴 디스크는 풀에서 사용하지 않는다.

예제의 설정

root@wl ~ # metastat
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 확인
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 확인
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000

핫 스페어 풀 생성

root@wl ~ # metainit hsp001 c2t2d0s0
hsp001: 핫 스패어 풀이 설정됨
root@wl ~ # metastat
...
hsp001: 1 hot spare
        장치       상태        길이             Reloc
        c2t2d0s0   사용 가능    4169728 blocks  예
...
root@wl ~ #

핫 스페어 풀에 디스크 추가

root@wl ~ # metahs -a hsp001 c2t3d0s0
hsp001: 핫 스패어가 추가됨
root@wl ~ # metastat
...
hsp001: 2 hot spares
        장치       상태        길이             Reloc
        c2t2d0s0   사용 가능    4169728 blocks  예
        c2t3d0s0   사용 가능    4173824 blocks  예
...
root@wl ~ #

시스템의 모든 핫 스페어 풀에 디스크를 추가하려면 아래와 같이 한다.

root@wl ~ # metahs -a all c2t4d0s0 1)
hsp001: Hotspare is added
root@wl ~ #

1) all 이 안되면 시스템의 LANG 환경변수를 영문으로 설정하고 실행해본다. 예) [LANG=C; metahs -a all c2t4d0s0]

RAID 1 / RAID 5 볼륨에 핫 스페어 풀 연결

root@wl ~ # metaparam -h hsp001 d11
root@wl ~ # metaparam -h hsp001 d12
root@wl ~ # metastat
d10: 이중화
    서브미러 0: d11
      상태: 확인
    서브미러 1: d12
      상태: 확인
    전달: 1
    읽기 옵션: roundrobin (기본값)
    쓰기 옵션: parallel (기본값)
    크기: 4161536 블록(2.0 GB)

d11: d10의 Submirror
    상태: 확인
    핫 스패어 풀: hsp001
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t0d0s0      12288     예            확인    예


d12: d10의 Submirror
    상태: 확인
    핫 스패어 풀: hsp001
    크기: 4161536 블록(2.0 GB)
    스트립 0:
        장치       시작 블록    Dbase         상태 Reloc 핫 스패어
        c2t1d0s0      12288     예            확인    예


hsp001: 1 hot spare
        장치       상태        길이             Reloc
        c2t2d0s0   사용 가능    4169728 blocks  예

Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   예     id1,sd@f0a71ed6c4b8de2b90007b5790001
c2t0d0   예     id1,sd@f000000004b8fcfee000705da0000
c2t2d0   예     id1,sd@f0a71ed6c4b8ddfad000239940000

미러볼륨이 아닌 서브미러 볼륨에 핫 스페어 풀을 추가해야 한다. [metaparam: 잘못된 옵션 -- h] 메시지가 나오면 지정한 볼륨이 서브 미러인지 확인한다.

RAID 1 / RAID 5 볼륨에 연결된 핫스페어 풀을 변경/삭제
변경은 연결할 때와 동일하다. 핫 스페어 풀은 한 볼륨당 한개만 지정 가능하기 때문에 동일한 방법으로 재 지정하면 된다.
```
root@wl ~ # metaparam -h hsp002 d11
```
연결 해제는 핫 스페어 풀 이름으로 none을 주면 된다.
```
root@wl ~ # metaparam -h none d11
```
1) [metaparam: wl: none: 해당 파일이나 디렉토리가 없음]과 같은 메시지가 나오면 시스템의 LANG 환경변수를 영문으로 설정하고 실행해본다. 예) [LANG=C; metaparam -h none d11]
핫 스페어 풀에서 디스크 교체
```
root@wl ~ # metahs -r hsp001 c2t1d0s0 c2t4d0s0
hsp001: 핫 스패어 c2t3d0s0이(가) c2t4d0s0(으)로 교체됨
```
hsp001 대신 all 을 사용할 수 있다. (LANG=C 하는 것 잊지 말자)
핫 스페어 풀에서 디스크 삭제
```
root@wl ~ # metahs -d hsp001 c2t4d0s0
hsp001: 핫 스패어가 삭제됨
root@wl ~ # 
```
hsp001 대신 all 을 사용할 수 있다. (LANG=C 하는 것 잊지 말자)
핫 스페어 풀 활성화/비활성화
```
root@wl ~ # metahs -e hsp001
```

RSS ATOM XHTML 5 CSS3