[VM] Azure 울트라디스크의 퍼포먼스 Ultra disk Performance on Azure
VM
작성자
Roronoa
작성일
2020-03-17 17:13
조회
5198
Azure 울트라디스크의 퍼포먼스
울트라 디스크란 이름부터 나오는 느낌은 근래에 Azure에서 사용되는 Production naming중에 멋집니다. (개인의견)
Synapse 등등 Naming에 새로운 세계관이 등장할 것인가? 라는 기대감에 Naming에 민감한 필자는 Azure의 프로토타입
이었던 RedDog이나 이런 독특한 이름짓기가 천 오백배는 더 좋았으나 마이크로소프트의 심심한 이름짓기에 식상한 면이 많았습니다.
왠지 울트라라고 하면 울트라 리스크(고대의 게임 스타크레프트)의 거대한 몸집과 파워와 무식함이 풀풀 풍겨 나서 AWS의 Provisioned io1을 능
가하는새로운 유틸이 되길 바래고 있습니다. 먼가 파괴적인 유닛이 필요한 시점이라 생각하고 있습니다..
자 물론 이제야 GA되었으므로 여러가지 제약사항이 많으며 끊임없는 업데이트로 이 글을 업데이트 해 나갈 예정입니다. 아마도 점점 제약사항
다른 제품처럼 줄어들듯 합니다.
앗 그리고 엄청난 장점이 하나 있습니다 디스크를 띠어내거나 가상머신을 멈추지 않고도 울트라 디스크는 설정이나 변경 이런것들이 가능합니다.
현재 사용 가능한 지역 2020년 3월
현재 가능한 지역은 이 리스트만 됩니다. 예를들어 이런 최신 기술은 East US2 와 같은 2로 끝나는 데이터센터가
보통 미국에서는 출시가되며 아시아에서는 SouthEast Asia 가 가장 먼저 출시가 되며 이곳이 일반적으로 데이터센터가
그나마 최신 데이터센터 이며 리더가 파워가 센건지 아니면 이동네가 잘 파는것인지 먼가 이유가 있을 것입니다. 아마도 매출이 높은 듯합니다.
아무튼 항상 새로운 제품은 위에 리스트가 보통 가장 먼저 출시되는 새로운 데이터 센터입니다. 마치 아이폰이 한국에 1차로 풀리지 않는 이유와
비슷하지 않을까요
현재 가능한 가상머신 타입
현재 안되는 제한 사항 리스트
울트라 디스크의 IOPS 구간
포털에서 만들어보자
시나리오는 Azure 포털에서 싱가포르 위치에 우분투18.04 LTS 버전에 512GiB 짜리 울트라 디스크를 탑제하고 160000의 IOPS와 20000 Throughput을 E4s_v3로 FIO를 설치하고 테스트를 돌려본 후 테스트 결과값과 E64s_v3로 같은 FIO 테스트 해서 비교해보기로 합니다
1번 : 리소스 그룹을 싱가폴 South East Asia에 만듭니다. 리소스 그룹은
2번 : VM 이름과 지역 admin PW를 입력하고 가용성영역을 선택합니다.
3번 : 저희는 우분투로 만들어 봅니다.
4번 : 가용성영역을 선택하면 Public IP가 Standard로 됩니다
5번 : 디스크에서 울트라를 쓴다를 선택하고 데이터디스크에서 512GiB 용량 160000IOPS 2000Throughput으로 고릅니다 (비쌈 주의)
6번 : IP 확인하고 기록해놓습니다. 가상머신이 밑에 그림처럼 다 잘 맞게 만들어졌는지 확인하세요
7번 : SSH 접속합니다
8번 : sudo su 로 루트 권한을 가집니다.
9번 : apt update 로 업데이트 한다
apt update
10번 : FIO를 설치 합니다.
apt-get install fio
9번 : 우분투에서 디스크를 마운트 시킵니다
10번 : 위에 그림의 df -h 의 명령어를 사용하면 디스크 공간을 확인할수 있으며 %로 보여줍니다.
11번 : fdisk -l 로 현재 디스크와 파티션을 봅시다
12번 : sudo fdisk /dev/sdc 로 파티션을 만듭니다
P n 1 2048 p w 이 순서로 커멘드를 치면 만들어집니다.
13번 : 포멧을 위한 커맨드를 칩니다.
mkfs -t ext4 /dev/sdc1
cd home
14번 : 다시 부팅되었을때 자동으로 마운트되게 하기 위해서 UUID 찾기위해서 커맨드를 입력합니다.
sudo -i blkid
/dev/sda1: UUID="11111111-1b1b-1c1c-1d1d-1e1e1e1e1e1e" TYPE="ext4"
/dev/sdb1: UUID="22222222-2b2b-2c2c-2d2d-2e2e2e2e2e2e" TYPE="ext4"
/dev/sdc1: UUID="33333333-3b3b-3c3c-3d3d-3e3e3e3e3e3e" TYPE="ext4"
15번 : 다시 부팅되었을때 자동으로 마운트되게 하기 위해서 설정을 세팅합니다.
sudo nano /etc/fstab
파일 끝에 추가
UUID=2easdfasdfasdfasdfasdfasdfasdf5 /datadrivesdc1 ext4 defaults,nofail 1 2
control +o
Control +x
16번 : 재부팅합니다.
FIO를 설치하고 테스트 해봅니다 http://cloud.syncrofusion.com/?page_id=4&uid=364&mod=document
17번 : FIO의 버전을 확인합니다.
fio -v
18번 : FIO를 테스트할 리렉토리를 만듭니다. 일반적으로 데이터디스크가 있는 부분에 만들어야 됩니다.
mkdir xxx
cd xxx
fio --name=raid0 --filename=/datadrivesdc1/xxx/fio1 --rw=randwrite --bs=4k --iodepth=64 --numjobs=1 --direct=1 --ioengine=libaio --group_reporting --time_based --runtime=10 --size=4G
19번 :FIO 의 결과를 보고 퍼포먼스를 분석합니다.
FIO 결과 확인해보기 링크 : http://cloud.syncrofusion.com/?page_id=4&uid=364&mod=document
주의사항
울트라 디스크라 하여도 VM의 제약사항은 넘을 수 없으므로 비싼 VM을 붙여야만 IOPS가 나옵니다. 제약사항 링크를 확인해보세요
https://docs.microsoft.com/ko-kr/azure/virtual-machines/ev3-esv3-series?toc=/azure/virtual-machines/linux/toc.json&bc=/azure/virtual-machines/linux/breadcrumb/toc.json
프리미엄 디스크와 울트라 디스크의 차이
울트라 디스크는 높은 IOPS를 위해 아키텍쳐 자체가 프리미엄 디스크와 다르며 4개의 다른 fault domain에 스토리지로 복제됩니다
또한 프리미엄 디스크와 비교해보면 온서버 SSD 기반 캐쉬인 Blob 저장소의 캐쉬를 쓰지 않으며 캐쉬되지 않은 읽기 쓰기만 지원됩니다.
가상 디스크 클라이언트인 VDC는 울트라디스크의 클러스터에 연결됩니다. 이말은 클라이언트가 초기 디스크 연결에 사용되는 로드벨런서나
프론트엔드 서버를 안거치며 바로 스토리지서버와 직접 통신합니다. 그림처럼 앞에 거치는 부분이 없으므로 거의 플레시 디스크처럼 쓸수 있는
이유입니다. 아 금으로 통신을 해서 더 빠른지 알았는데 다른방법이군요 ㅎㅎㅎ
자 유투브에 Hand-On을 올려놓았으니 이대로 따라해보세요
azure ultra disk 공식문서
https://docs.microsoft.com/en-us/azure/virtual-machines/disks-enable-ultra-ssd?tabs=azure-portal?WT.mc_id=AZ-MVP-5002667
울트라 디스크란 이름부터 나오는 느낌은 근래에 Azure에서 사용되는 Production naming중에 멋집니다. (개인의견)
Synapse 등등 Naming에 새로운 세계관이 등장할 것인가? 라는 기대감에 Naming에 민감한 필자는 Azure의 프로토타입
이었던 RedDog이나 이런 독특한 이름짓기가 천 오백배는 더 좋았으나 마이크로소프트의 심심한 이름짓기에 식상한 면이 많았습니다.
왠지 울트라라고 하면 울트라 리스크(고대의 게임 스타크레프트)의 거대한 몸집과 파워와 무식함이 풀풀 풍겨 나서 AWS의 Provisioned io1을 능
가하는새로운 유틸이 되길 바래고 있습니다. 먼가 파괴적인 유닛이 필요한 시점이라 생각하고 있습니다..
자 물론 이제야 GA되었으므로 여러가지 제약사항이 많으며 끊임없는 업데이트로 이 글을 업데이트 해 나갈 예정입니다. 아마도 점점 제약사항
다른 제품처럼 줄어들듯 합니다.
앗 그리고 엄청난 장점이 하나 있습니다 디스크를 띠어내거나 가상머신을 멈추지 않고도 울트라 디스크는 설정이나 변경 이런것들이 가능합니다.
현재 사용 가능한 지역 2020년 3월
- East US
- East US2
- West US2
- SouthEast Asia
- North Europe
- West Europe
- UK South
현재 가능한 지역은 이 리스트만 됩니다. 예를들어 이런 최신 기술은 East US2 와 같은 2로 끝나는 데이터센터가
보통 미국에서는 출시가되며 아시아에서는 SouthEast Asia 가 가장 먼저 출시가 되며 이곳이 일반적으로 데이터센터가
그나마 최신 데이터센터 이며 리더가 파워가 센건지 아니면 이동네가 잘 파는것인지 먼가 이유가 있을 것입니다. 아마도 매출이 높은 듯합니다.
아무튼 항상 새로운 제품은 위에 리스트가 보통 가장 먼저 출시되는 새로운 데이터 센터입니다. 마치 아이폰이 한국에 1차로 풀리지 않는 이유와
비슷하지 않을까요
현재 가능한 가상머신 타입
- ESv3
- DSv3
- FSv3
- M
- Mv2
현재 안되는 제한 사항 리스트
- 현재는 가용성영역 Availability zones 을 만들고 이 가용성 영역에서만 가능 합니다. 가용성집합 Availability Set 이 아니고 가용성 영역 Availablity Zone 이므로 혼동 하시면 안됩니다.
- 빈 디스크로만 가능합니다
- 스냅샷과 이미지 불가능
- Azure site Recovery 불가능
- 현재 최대 IOPS는 8만이며 리퀘스트하면 16만도 가능
- 가용성 집합 Availability Set 불가능
- 디스크 암호화 Disk Encryption 불가능
- 물리적 4K 섹터만 가능
- Azure Backup 불가능
울트라 디스크의 IOPS 구간
포털에서 만들어보자
시나리오는 Azure 포털에서 싱가포르 위치에 우분투18.04 LTS 버전에 512GiB 짜리 울트라 디스크를 탑제하고 160000의 IOPS와 20000 Throughput을 E4s_v3로 FIO를 설치하고 테스트를 돌려본 후 테스트 결과값과 E64s_v3로 같은 FIO 테스트 해서 비교해보기로 합니다
1번 : 리소스 그룹을 싱가폴 South East Asia에 만듭니다. 리소스 그룹은
2번 : VM 이름과 지역 admin PW를 입력하고 가용성영역을 선택합니다.
3번 : 저희는 우분투로 만들어 봅니다.
4번 : 가용성영역을 선택하면 Public IP가 Standard로 됩니다
5번 : 디스크에서 울트라를 쓴다를 선택하고 데이터디스크에서 512GiB 용량 160000IOPS 2000Throughput으로 고릅니다 (비쌈 주의)
6번 : IP 확인하고 기록해놓습니다. 가상머신이 밑에 그림처럼 다 잘 맞게 만들어졌는지 확인하세요
7번 : SSH 접속합니다
8번 : sudo su 로 루트 권한을 가집니다.
9번 : apt update 로 업데이트 한다
apt update
10번 : FIO를 설치 합니다.
apt-get install fio
9번 : 우분투에서 디스크를 마운트 시킵니다
10번 : 위에 그림의 df -h 의 명령어를 사용하면 디스크 공간을 확인할수 있으며 %로 보여줍니다.
11번 : fdisk -l 로 현재 디스크와 파티션을 봅시다
12번 : sudo fdisk /dev/sdc 로 파티션을 만듭니다
P n 1 2048 p w 이 순서로 커멘드를 치면 만들어집니다.
13번 : 포멧을 위한 커맨드를 칩니다.
mkfs -t ext4 /dev/sdc1
cd home
14번 : 다시 부팅되었을때 자동으로 마운트되게 하기 위해서 UUID 찾기위해서 커맨드를 입력합니다.
sudo -i blkid
/dev/sda1: UUID="11111111-1b1b-1c1c-1d1d-1e1e1e1e1e1e" TYPE="ext4"
/dev/sdb1: UUID="22222222-2b2b-2c2c-2d2d-2e2e2e2e2e2e" TYPE="ext4"
/dev/sdc1: UUID="33333333-3b3b-3c3c-3d3d-3e3e3e3e3e3e" TYPE="ext4"
15번 : 다시 부팅되었을때 자동으로 마운트되게 하기 위해서 설정을 세팅합니다.
sudo nano /etc/fstab
파일 끝에 추가
UUID=2easdfasdfasdfasdfasdfasdfasdf5 /datadrivesdc1 ext4 defaults,nofail 1 2
control +o
Control +x
16번 : 재부팅합니다.
FIO를 설치하고 테스트 해봅니다 http://cloud.syncrofusion.com/?page_id=4&uid=364&mod=document
17번 : FIO의 버전을 확인합니다.
fio -v
18번 : FIO를 테스트할 리렉토리를 만듭니다. 일반적으로 데이터디스크가 있는 부분에 만들어야 됩니다.
mkdir xxx
cd xxx
fio --name=raid0 --filename=/datadrivesdc1/xxx/fio1 --rw=randwrite --bs=4k --iodepth=64 --numjobs=1 --direct=1 --ioengine=libaio --group_reporting --time_based --runtime=10 --size=4G
19번 :FIO 의 결과를 보고 퍼포먼스를 분석합니다.
FIO 결과 확인해보기 링크 : http://cloud.syncrofusion.com/?page_id=4&uid=364&mod=document
주의사항
울트라 디스크라 하여도 VM의 제약사항은 넘을 수 없으므로 비싼 VM을 붙여야만 IOPS가 나옵니다. 제약사항 링크를 확인해보세요
https://docs.microsoft.com/ko-kr/azure/virtual-machines/ev3-esv3-series?toc=/azure/virtual-machines/linux/toc.json&bc=/azure/virtual-machines/linux/breadcrumb/toc.json
프리미엄 디스크와 울트라 디스크의 차이
울트라 디스크는 높은 IOPS를 위해 아키텍쳐 자체가 프리미엄 디스크와 다르며 4개의 다른 fault domain에 스토리지로 복제됩니다
또한 프리미엄 디스크와 비교해보면 온서버 SSD 기반 캐쉬인 Blob 저장소의 캐쉬를 쓰지 않으며 캐쉬되지 않은 읽기 쓰기만 지원됩니다.
가상 디스크 클라이언트인 VDC는 울트라디스크의 클러스터에 연결됩니다. 이말은 클라이언트가 초기 디스크 연결에 사용되는 로드벨런서나
프론트엔드 서버를 안거치며 바로 스토리지서버와 직접 통신합니다. 그림처럼 앞에 거치는 부분이 없으므로 거의 플레시 디스크처럼 쓸수 있는
이유입니다. 아 금으로 통신을 해서 더 빠른지 알았는데 다른방법이군요 ㅎㅎㅎ
자 유투브에 Hand-On을 올려놓았으니 이대로 따라해보세요
azure ultra disk 공식문서
https://docs.microsoft.com/en-us/azure/virtual-machines/disks-enable-ultra-ssd?tabs=azure-portal?WT.mc_id=AZ-MVP-5002667