[AWS] Advanced Architecting on AWS - 3

 

홍혜선님이 진행하는 Advanced Architecting on AWS 과정을 기반으로 작성한 글 입니다. AWS서비스를 파악하고 복원력, 보안성, 가용성이 우수한 IT솔루션을 설계하기 위한 모범사례와 함께 설계능력을 습득합니다.

 

 

8. 고가용성 및 DDoS

AWS WAF와 AWS Shield

DDoS는 다수의 시스템이 네트워크 또는 웹 애플리케이션과 같은 대상에 많은 양의 트래픽으로 대상에 서비스 장애를 일으키려고 시도하는 공격입니다. DDoS 공격은 3, 4, 6 및 7 계층에서 가장 흔히 발생합니다. 이를 방어하고 애플리케이션을 보호하기 위해 WAF와 Shield를 사용합니다.

 

 

WAF설정

AWS WAF 웹ACL 구성요소는 웹 ACL, 규칙, 규칙 그룹, 규칙 문, 정규식 패턴 집합이 있습니다.

 

 

또한 아래와 같이 이벤트를 트리거하여 보고서를 통해 알림을 이메일로 전송할 수 있습니다.

 

사후 조사 및 분석, 로그 분석, 실시간 분석도 가능합니다. 대시보드 형태로 모니터링도 제공합니다.

 

 

아래 아키텍쳐에서는 WAF를 이용한 보안 자동화 템플릿을 보여줍니다. WAF는 트래픽이 정상적인 요청인지, 악의적인 요청인지 웹 애플리케이션 리소스 앞에서 트래픽을 확인합니다. 또한 Athena를 이용한 로그분석, Cloudfront와 ALB 등에서 S3에 로그를 저장할 수 있습니다.

 

 

 

Amazon GuardDuty

GuardDuty는 새로운 위협을 탐지합니다.

 

 

AWS Shield Advanced

AWS Shield보다 높은 수준의 보호를 제공합니다. 준실시간 모니터링도 제공하며 유료서비스로 제공됩니다. 실제 DDOS공격에서 보상을 주는 보험서비스의 역할도 수행합니다.

 

 

 

 

AWS Firewall Manager

각 계정별 서비스를 보호하고자 할 때, 방화벽을 규칙을 조직수준에서  중앙에서 적용 및 관리하도록 합니다.  

 

 

9. 데이터보안

데이터의 보안에 있어서 암호화는 중요합니다. 암호화하는 시점과 위치는 전송 중(네트워크 암호화), 저장된 데이터(스토리지 암호화), 사용중인 데이터(애플리케이션 수준 암호화)으로 볼 수 있습니다. 이때 암호화는 성능지연, 복잡성, 일관되지 않은 제어, 가용성(키분실) 등의 문제가 존재합니다. 이를 쉽게 관리하고 암호화를 적용하기 위한 서비스가 KMS입니다.

 

 

AWS KMS

AWS KMS와 통합되는 AWS 서비스 및 클라이언트 측 도구키트는 봉투 암호화라는 방법을 사용하여 데이터를 보호합니다. 키의 라이프사이클을 관리하고 KMS키를 관리합니다. 

 

 

SSE-S3

데이터를 암호화하는 키를 고객이 개입하지 않고, S3에서 직접 관리하는 방식입니다.

 

 

SSE-KMS

 

 

SSE-C

고객관리형키를사용한서버측암호화(SSE-C)에서는고객이암호화키를 관리합니다. Amazon S3는고객이제공한암호화키를저장하지않습니다. 대신추후요청을 검증하기위해암호화키의무작위로솔트된해시기반메시지인증코드(HMAC) 값이저장됩니다.

따라서 KMS에서는 키를 사용할 수 있는 사용자 등 사용을 제한할 수 있습니다. 또한 키 활성화/비활성화, 키 삭제/교체, 태그기반 키 구성 등 관리와 통제를 합니다. 

 

 

 

AWS CloudHSM

HSM은 물리적으로 워크로드와 가까운 AWS 데이터센터에 위치하며 최소한의 네트워크 지연시간으로 액세스 할 수 있습니다. CloudHSM 어플라이언스는 VPC 내부에 있으므로 친숙한 네트워크 보안그룹 및 액세스제어목록(ACL)을 사용하여 HSM에 대한 액세스를 제한 할 수 있습니다. CloudHSM 서비스를 사용할 때 CloudHSM 클러스터를 생성합니다.

 

 

 

AWS Secrets Manager

중앙에서 secret 키를 관리합니다. 파라메터 스토어를 통해 별도로 키를 관리하고 키를 자동으로 교체합니다. 

 

AWS Secrets Manager를 사용하면 코드에 하드코딩된 자격증명(암호포함)을 Secrets Manager에 대한 API 호출로 대체하여 프로그래밍 방식으로 보안정보를 검색할 수 있습니다. 

 

 

 

10. 대규모 데이터스토어

Amazon S3 데이터관리기능

버킷에 객체를 저장할 때, 비용 및 성능 최적화를 위해 사용하는 스토리지 클래스를 제공합니다. S3는 기본적으로 3개의 복제본을 사용하여 고가용성을 보장하지만 S3 One Zone-IA 클래스의 경우 하나의 DC에만 데이터를 저장하여 가용성이 떨어집니다. S3 Glacier의 경우 복원데이터, 아카이브된 데이터를 저렴하게 저장하기위해 사용합니다.

 

 

데이터 레이크

Data Pipeline의 표준 흐름은 데이터에서 시작하여 인사이트로 끝납니다. 데이터를 수집하고 저장합니다. 수집한 데이터를 가공 및 처리합니다. 이를 다시 분석하여 시각화하여 데이터 파이프라인을 구축할 수 있습니다.

이러한 데이터 파이프라인을 AWS서비스를 이용해 구축할 수 있고 각각 위와같이 매핑할 수 있습니다. 

 

 

데이터는 방대한 양을 가지고 빠른속도로 증가합니다. 이를 수집하는데 기존의 온프레미스환경에서는 제한점을 많이 가지고있습니다. 이때 수집을 위한 데이터 레이크  솔루션을 제공합니다.

• 관계형 및 비관계형 (NoSQL) 데이터

• 다양한 분석 및 기계학습 도구 적용

• 데이터 이동없이 데이터에 대한 작업 수행

• 저비용 데이터 저장 및 분석을 위한 설계

• 데이터 추적 및 액세스를 위한 카탈로그

AWS Glue 데이터 카탈로그는 영구적 메타데이터 스토어입니다. 관리형 서비스로, Apache Hive 메타스토어와 같이 동일한 방법으로 AWS 클라우드에서 메타데이터를 저장, 참조 및 공유하는데 사용할 수 있습니다. AWS Lake Formation은 데이터 카탈로그를 사용해 데이터 레이크, 데이터 원본, 변환, 대상에 대한 메타데이터를 저장합니다. 가상 테이블이라고 생각하면 좋습니다. 

 

데이터 웨어하우스는 트랜잭션 시스템 및 LOB 애플리케이션에서 오는 관계형데이터를 분석하는데 최적화된 데이터베이스입니다. 데이터레이크는 LOB(line-of-business) 애플리케이션으로부터 관계형 데이터를 저장하고 모바일 앱, 사물인터넷(IoT) 디바이스, 소셜미디어로부터 비관계형 데이터를 저장합니다.

데이터 레이크의 기본 샘플 아키텍처입니다. Amazon DynamoDB 또는 다른 소스를 통해 Amazon S3에 새로운 데이터가 추가되면 AWS Glue에서 메타데이터 카탈로그가 자동으로 업데이트 됩니다. Athena는 Amazon S3에서 직접 데이터 집합을 쿼리할 수 있습니다. Amazon QuickSight에는 데이터 쿼리를 위한 시각화 기능이 추가됩니다. 앞서 언급했듯이 AWS Glue 데이터 카탈로그는 데이터 레이크, 데이터 원본, 변환, 대상에 대한 메타데이터를 저장합니다.

 

 

AWS Lake Formation

AWS Lake Formation은 데이터레이크를 구축하고, 보호하고, 관리하는데 효과적인 완전관리형 서비스입니다. Lake Formation은 일반적으로 데이터 레이크 생성에 필요한 복잡한 수동단계 상당수를 간소화 및 자동화합니다. 이러한 단계에는 데이터수집, 정리, 이동, 카탈로그화와 분석 및 기계학습을 위해 해당 데이터를 안전하게 제공하는 과정이 포함됩니다.

 

 

 

 

AWS Lake Formation 설정

 

 

블루프린트를 사용하면 데이터 레이크를 구축하기위해 템플릿화 할 수 있습니다. Lake Formation 블루프린트는 워크플로를 사용자지정 할 수 있고 AWS Glue 워크플로를 생성합니다. 또한 워크플로를 일회성 또는 반복이벤트로 설정할 수 있습니다.

 

 

 

 

Lake Formation은 단순한 부여/취소 메커니즘을 기반으로 하는 권한모델을  제공합니다. IAM이 아닌 자체적으로 접근제한기능을 제공합니다.

 

 

추가적으로 모니터링을 위해 Lake Formation을 사용하면 대시보드에서 세부경고를 검토한 후 추가 분석을 위한 감사 로그를 다운로드 할 수 있습니다. Amazon CloudWatch에서 모든 데이터 수집 이벤트와 카탈로그 알림을 게시합니다.