[AWS] 스토리지 관련 다양한 서비스(EFS, FSx, Storage Gateway, Snowball, Datasync)
Amazon EFS
https://aws.amazon.com/ko/efs/
Amazon EFS
AWS 컴퓨팅 시스템을 위한 공유 파일 시스템을 간편하고 빠르게 생성하고 구성합니다. 프로비저닝, 배포, 패치 적용 또는 유지 관리가 필요하지 않습니다.
aws.amazon.com
한 번만 설정하면 되는 단순한 탄력적 서버리스 파일 시스템
EFS는 다수의 인스턴스에서 파일에 접근할 수 있는 전송 지연 문제가 적으며 안전하며 내구성이 높은 네트워크 파일 스토리지 서비스 입니다.
Amazon Elastic File System(EFS)은 리눅스 인스턴스를 위한 확장성, 공유성 높은 파일 스토리지로서, EC2 Linux 인스턴스에 마운트된 Network File System(NFS)을 통해 VPC에서 필요한 파일에 접근하거나 AWS Direct Connect로 연결된 온프레미스 서버의 파일에 접근할 수 있습니다.
Amazon FSx
https://aws.amazon.com/ko/fsx/
Amazon FSx | Feature-Rich & Highly-Performant File Systems | Amazon Web Services
Amazon FSx makes it easy and cost effective to launch, run, and scale feature-rich, high-performance file systems in the cloud. It supports a wide range of workloads with its reliability, security, scalability, and broad set of capabilities. Amazon FSx is
aws.amazon.com
클릭 몇 번으로 기능이 풍부하고 고성능 파일 시스템 부팅, 실행 및 확장 가능
Amazon FSx를 사용하면 클라우드에서 다양한 기능을 갖춘 고성능 파일 시스템을 쉽고 경제적으로 실행, 확장할 수 있습니다. 안정성, 보안, 확장성 및 광범위한 기능을 통해 광범위한 워크로드를 지원합니다. Amazon FSx는 최신 AWS 컴퓨팅, 네트워킹 및 디스크 기술을 기반으로 구축되어 고성능을 제공하고 TCO를 낮춥니다. 또한 완전 관리형 서비스로서 하드웨어 프로비저닝, 패치 적용 및 백업을 처리하므로 고객은 애플리케이션, 최종 사용자 및 비즈니스에 집중할 수 있습니다
Amazon FSx 널리 사용되는 4가지 파일 시스템 중 하나를 선택할 수 있습니다. NetApp ONTAP, OpenZFS, 윈도우즈 파일 서버 및 Lustre가 있습니다.
Lustre는 Linux 클러스터가 고도의 컴퓨팅 작업을 수행할 때 고성능 파일시스템에 접속할 수 있게 해주는 오픈소스 분산 파일시스템이며, Amazon FSx는 AWS 인프라에서 Lustre의 기능을 사용할 수 있게 해줍니다.
Windows File Server용 Fsx는 Windows 서버를 위한 EFS라고 할 수 있으며, Server Message Block(SMB), NTFS, Microsoft Active Directory 등과 통합해서 사용할 수 있습니다.
AWS Storage Gateway
https://aws.amazon.com/ko/storagegateway/
AWS Storage Gateway | Amazon Web Services
클라우드 채택의 모든 단계에서 하이브리드 클라우드 워크로드를 실행하는 방법을 알아보세요.
aws.amazon.com
온프레미스 애플리케이션에 사실상 무제한의 클라우드 스토리지 액세스 제공
AWS Storage Gateway는 거의 무제한의 클라우드 스토리지 액세스를 온프레미스에 제공하는 하이브리드 클라우드 스토리지 서비스 세트입니다.
로컬 스토리지와 클라우드 스토리지를 연결하는 백업 및 아카이브 통합 작업은 꽤 복잡할 수 있습니다. AWS Storage는 이런 문제를 해소해 주며, 온프레미스 하드웨어 또는 VMware ESXi, Microsoft Hyper-V, Linux KVM, AWS 기반 VMware Cloud, 또는 EC2 이미지 기반의 가상 머신용 소프트웨어 게이트웨이로서 다수의 가상 연결 인터페이스를 제공합니다.
AWS Storage Gateway를 이용해 기업의 로컬 디바이스를 전통적인 테이프 드라이브처럼 연결할 수 있으며, 데이터는 S3 또는 EBS 등 AWS 플랫폼에 저장해서 사용할 수 있고, 로컬 캐시에 저장한 뒤 로컬에서도 접속 지연 없이 사용할 수 있습니다.
AWS Snowball
AWS Snowball | 안전한 엣지 컴퓨팅 및 오프라인 데이터 전송 | Amazon Web Services
AWS Snowball을 사용하여 실제 테이프에 저장된 페타바이트 규모의 데이터를 AWS로 마이그레이션 테이프 게이트웨이와 함께 Snowball Edge Storage Optimized 장치를 사용하면 페타바이트 규모의 물리적 테
aws.amazon.com
온보드 스토리지 및 컴퓨팅 용량으로 페타바이트 규모의 데이터 전송대량의 데잍
대량의 데이터를 클라우드로 전송할 때 보통의 인터넷 연결 방식을 이용하면 지나치게 많은 시간이 소요되고 전송 업무에도 차질이 빚어질 수 있습니다. 테라바이트급 또는 페타바이트급 데이터 백업 또는 AWS 내에서의 데이터 활용이 필요한 경우 Snowball이 해법이 될 수 있습니다.
사용자의 요청에 따라 AWS는 물리적인 256비트 암호화 스토리지 디바이스인 Snowball을 배송합니다. 사용자는 Snowball에 대용량 데이터를 저장한 뒤 Amazon으로 재배송하며, 전달된 데이터는 S3 버킷에 업로드 됩니다.
AWS 계정에 데이터를 전송하는 방법을 선택하기에 앞서 몇 가지 변수를 고려해야 합니다. 데이터를 실제로 인터넷을 통해 전송할 때 속도를 파악할 필요가 있고, 전송이 진행되는 동안 대역폭 문제로 다른 작업이 지연되거나 중단되는 문제도 고려해야 합니다.
S3 버킷에 대용량 객체를 효율적으로 저장하는 방법으로 Multipart Upload 및 Transfer Acceleration 등의 기능도 있습니다. (참고 2022.03.23 - [About/Cloud] - [AWS] S3 대용량 객체 업로드 )
하지만 일부 객체는 너무나도 커서 기존의 인터넷 연결로는 업로드하기 어려울 수 있습니다. 예를 들어 회선이 10MB/s의 전송 속도를 제공한다면 1테라바이트의 아카이브를 전송하는데 대략 10일이 걸릴 수 있습니다.
따라서 기업이 보유한 데이터를 클라우드로 전송할 때는 다소 고가인 AWS Direct Connect를 이용하거나 좀 더 저렴한 AWS Snowball을 이용하는 것이 실용적입니다.
엑사바이트급의 데이터라면 스토리지 컨테이너 운송차인 AWS Snowmobile을 통해 전송할 수 있습니다.
AWS DataSync
https://aws.amazon.com/ko/datasync/
온라인 데이터 전송 및 마이그레이션—AWS DataSync—Amazon Web Services
AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다. DataSync는 NFS(Network File System) 공유, SMB(Server Message Block) 공유, Hadoop 분
aws.amazon.com
안전한 데이터 마이그레이션의 간소화 및 가속화
DataSync는 온프레미스에 저장된 데이터를 AWS 계정으로 옮기는 작업에 특화된 도구입니다.
일반적인 인터넷 연결을 이용하므로 Snowball과 같은 대규모 데이터 이전에는 적합하지 않지만, AWS Database Migration Service를 통해 S3는 물론 RDS 등 다양한 저장소에 데이터를 전송할 수 있는 유연성을 제공합니다.
DataSync를 통해 AWS 계정이 연결된 어떤 서비스에도 데이터를 전송할 수 있으며, 다음과 같은 작업도 가능합니다.
- 고가의 온프레미스 데이터 센터에 저장된 데이터를 신속하고 안전하게 S3 또는 Glacier로 이전
- EC2 인스턴스에서 데이터 처리 및 분석할 수 있도록 S3, EFS 또는 FSx 등으로 데이터 전송
- 설정이 쉬운 자동화된 시스템으로 어떤 규모의 데이터 클래스라도 손쉽게 AWS 서비스에 적용 가능
DataSync는 사용자의 인프라에 따라 최대 10Gbps 수준으로 데이터를 전송할 수 있으며, 암호화 및 데이터 검증 기능을 제공합니다.
AWS 스토리지의 다양한 서비스에 대하여 알아보았습니다.