카테고리 없음

신투 아키텍처들

초코chip 2024. 9. 26. 08:52

신투의 디지털 트랜스포메이션

  • 2014년에 업계에서 선두적으로 U2L 및 오픈소스 전환을 추진
    • 이게 무슨 의미?
    • 상용 was대신 아파치나 톰캣을 사용
    • 보수적인 금융업계에서는 놀라운 도전임

오늘날 금융환경은 좀 어려움

클라우드 네이티브 기술 참조 모델

  • 도커와 쿠버네틱스 기반의 컨테이너 플랫폼 환경으로의 인터페이스 어플리케이션 확장

클라우드 확장하면서 보안 아키텍처 및 서비스 구성이 고민이 많았음

aws 보안 솔루션 뿐만 아니라, 접근제어 - 방화벽 - 기타 보안 솔루션의 서드파티 솔루션도 활용

aws 클라우드 추진 사업

클라우드 기반 데이터분석플랫폼 구축

이 아키텍처는 데이터를 클라우드 상에서 효율적으로 수집하고, 처리하며, 분석할 수 있도록 구성된 시스템

1. 데이터 수집:

  • 내부 시스템에서 오는 정형 데이터와 실시간으로 처리되는 스트림 데이터를 ETL과 Kinesis Data Firehose라는 서비스를 통해 수집
  • 또한, API 로그나 투자 정보 등 외부 데이터도 수집됩니다.

 

증분 데이터 vs 스트림 데이터

  • 증분 데이터:
    • 증분 데이터는 일정 시간 동안 변경된 데이터만을 수집해서 처리합니다. 예를 들어, 하루 동안 새로 추가된 고객 정보나 수정된 주문 기록 등이 증분 데이터입니다.
    • ETL (Extract, Transform, Load)을 통해 처리됩니다. ETL은 데이터를 추출해서 필요한 형태로 변환한 후, 데이터베이스에 저장하는 과정입니다. 증분 데이터는 이미 쌓여 있는 데이터에 추가하거나 업데이트하는 형태로 처리됩니다.
  • 스트림 데이터:
    • 스트림 데이터는 실시간으로 계속 발생하는 데이터입니다. 예를 들어, 주식 거래, 센서 데이터, 실시간 로그 등이 스트림 데이터입니다.
    • 스트림 데이터는 빠르게 변하므로 Kinesis 같은 실시간 처리 도구를 사용합니다. Kinesis는 데이터가 발생하는 즉시 받아서 처리할 수 있는 서비스로, 데이터를 실시간으로 분석하거나 저장하는 데 적합합니다.

 

ETL vs Kinesis

  • ETL: 데이터를 모아서 가공한 후 저장하는 일괄 처리 방식입니다. 예를 들어, 하루에 한 번씩 대량의 데이터를 처리할 때 적합합니다.
  • Kinesis: 실시간으로 데이터를 받아 처리하는 도구입니다. 주식 시세나 실시간 로그처럼 즉각적인 처리가 필요한 데이터를 다룰 때 사용됩니다.

 

2. 데이터 저장 및 변환:

  • AWS Glue를 사용하여 S3에 저장된 데이터를 다양한 분석을 위해 활용할 수 있도록 가공
    • Glue는 데이터를 추출하고(Extract), 변환(Transform)한 후, 다양한 목적지에 데이터를 저장(Load)하는 과정을 자동화
    • 사용자가 코드를 직접 작성하지 않아도, Glue는 기본 제공하는 기능을 통해 데이터를 변환 가능
  • 가공 후, 가공된 데이터를 다시 S3(데이터 레이크)에 저장합니다

 

3. 데이터 분석:

수집된 데이터를 가공하고, 그 데이터를 통해 모델을 훈련시켜 미래를 예측하거나, 시스템의 상태를 모니터링하며, 결과를 시각화하여 더 나은 통찰을 제공하는 것이 목적

  • SageMaker: (머신러닝 모델 개발 및 훈련)
    • SageMaker는 머신러닝 모델을 개발하고 훈련시키는 AWS 서비스입니다. 수집된 데이터를 바탕으로 예측 모델을 구축하고, 그 모델을 통해 자동화된 의사 결정을 내릴 수 있음
  • Elasticsearch Service (데이터 모니터링 및 품질 관리)
    • Elasticsearch Service는 대용량 데이터의 실시간 검색 및 분석에 특화된 도구입니다.
    • 주로 데이터 모니터링과 품질 관리를 위해 사용되며, 예를 들어 실시간 로그 데이터를 분석하여 시스템의 이상 징후를 빠르게 탐지하는 데 사용됩니다.
  • Athena (데이터 쿼리 및 분석)
    • Athena는 S3에 저장된 데이터를 SQL 쿼리로 분석할 수 있는 서버리스 서비스입니다. 복잡한 인프라 설정 없이 데이터를 빠르게 조회하고 분석할 수 있습니다.
    • 비정형 데이터 처리: Athena는 구조화되지 않은 데이터를 쿼리할 수 있어, S3에 저장된 다양한 형식의 데이터를 쉽게 분석할 수 있습니다. 예를 들어, 로그 파일이나 JSON 데이터 등을 SQL 형식으로 조회할 수 있습니다.
  • QuickSight (데이터 시각화)
    • QuickSight는 데이터 시각화 도구로, 분석된 데이터를 그래프나 차트 형태로 보여줍니다. 이를 통해 비전문가도 데이터를 쉽게 이해할 수 있고, 시각적인 인사이트를 얻을 수 있습니다.
    • 대시보드 구성: QuickSight를 사용하면 실시간 대시보드를 구축하여, 비즈니스 데이터의 변화를 직관적으로 확인할 수 있습니다. 이를 통해 관리자는 데이터를 기반으로 빠르게 의사 결정을 내릴 수 있습니다.

 

4. 사용자 인터페이스:

  • 데이터 분석가들은 분석 포털을 통해 이 데이터를 확인하고 활용할 수 있습니다. 이 포털은 EC2 인스턴스를 사용하여 제공되며, Kibana나 QuickSight 등의 시각화 도구를 사용해 분석 결과를 쉽게 볼 수 있습니다.

.

 

더보기

내부 온프라미스 환경으로부터 데이터 이관을 위한 ETL작업과 로그등 스트리밍 데이터 전송을 위한 Kinesis Data Firehorse 서비스를 이용하여 S3기반의 데이터 Lake를 구성

 

Glue를 이용한 데이터 파이프라인 구성

 

Elasticsearch Service를 통해 모니터링 및 품질 관리 진행

 

추가적으로 Athna와 QuickSight를 통한 EDA환경 또한 제공

 

SageMaker를 활용한 데이터 분석 환경을 자체 구축한 승인 workflow를 갖춘 포털 서비스를 통해 샌드박스 환경 형태로 데이터 분석가들에게 전달

 

향후 마이데이터 연계등 외부 데이터를 가져오는 것까지 고려중

 

디지털 컨택센터

차별하된 고객상담경험을 제공할 수 있는 클라우드 기반 AI 디지털 컨택센터 구축 ( AI 상담 )

이 이미지에서 설명된 아키텍처는 디지털 컨택센터로, 클라우드 기반의 인공지능(AI) 상담 시스템을 구축하는 구조입니다. 주요 구성 요소는 다음과 같습니다.

  1. 고객 채널: 고객이 음성전화, 보이는 ARS, 상담봇, 챗봇 등을 통해 상담 요청을 합니다. 다양한 채널을 통해 고객과 소통할 수 있도록 설계되었습니다.
  2. AWS 클라우드: 모든 인프라가 클라우드 상에 구축되어 있으며, 이를 통해 상담 서비스를 유연하고 효율적으로 운영할 수 있습니다.
  3. 컨택센터 인프라: 여러 가상 서버들이 클라우드 안에서 각각의 기능을 수행합니다. 예를 들어, 음성 전화를 처리하는 SBC, 데이터 분석을 수행하는 GAX, 그리고 상담 서비스를 관리하는 CIM 등이 있습니다.
  4. AI 처리 및 음성 분석: 고객 상담 중에 AI가 음성을 분석하여 즉각적으로 데이터를 처리합니다. 이를 통해 자동화된 상담이나 추천 서비스가 가능합니다.
  5. 통합 포털 및 지식 관리: 고객과 상담원이 필요한 정보를 효과적으로 관리할 수 있는 지식 관리 시스템이 구축되어 있습니다.
  6. On-Premise (온프레미스): 클라우드 시스템 외부에 고객 계정 및 정보가 저장된 서버가 있으며, 필요 시 클라우드와 연동됩니다.

이 아키텍처는 약 80여 개의 가상화 서버로 구성된 대규모 시스템으로, AI를 이용해 고객 상담 경험을 크게 향상시킬 수 있습니다.

트래픽 분산을 통한 안정적인 서비스 제공

1. GSLB (Global Server Load Balancing)

  • GSLB는 클라우드와 온프레미스 데이터 센터 간에 트래픽을 50%씩 분산하는 역할을 합니다. 이는 클라이언트 요청을 양쪽 환경으로 나누어 처리함으로써 트래픽 부하를 줄이고, 시스템의 가용성과 성능을 높이는 데 중요한 역할을 합니다.

2. 클라우드 환경 (AWS)

  • 트래픽의 절반은 AWS 클라우드로 전달되며, 이 환경은 두 개의 가용성 영역(A Zone, C Zone)으로 나누어져 있습니다.
    • A Zone과 C Zone에는 각각 방화벽(Firewall)과 Elastic Load Balancer(ELB), 그리고 EC2 인스턴스가 배치되어 있어, AWS 클라우드 인프라에서 애플리케이션 요청을 안정적으로 처리할 수 있습니다.
  • 클라우드 환경은 확장성과 유연성을 제공하며, 트래픽 부하를 처리하는 데 강점을 가지고 있습니다.

3. 온프레미스 환경 (메인 및 DR 데이터 센터)

  • 트래픽의 나머지 절반은 온프레미스 데이터 센터로 전달됩니다. 여기에는 메인 데이터 센터와 DR(Disaster Recovery) 데이터 센터가 포함됩니다.
    • 메인 데이터 센터는 방화벽과 로드 밸런서를 통해 서버에 트래픽을 분산시켜 처리합니다.
    • DR 데이터 센터는 장애 상황에 대비해 백업 역할을 하며, 메인 데이터 센터의 성능 문제나 장애 시에도 트래픽을 처리할 수 있도록 설계되었습니다.

주식 시세 데이터 송신 방식

  • 가장 적합한 방식은 Multicast
  • 원래 멀티캐스트가 클라우드 환경에서는 제약이 있었지만 21년 상반기에 AWS에서 관련 서비스가 등장
  • TGW를 이용한 멀티캐스트 POC를 국내에서 최초로 시도하여 성공 가능성 확인

거래소에서 온프레미스로 받은 시세는 AWS DirectConnect 서비스를 이용한 전용선을 타고

AWS 내의 가상 라우터로 연결 이후 Multicast TransitGateWay를 통해 시세 수신이 필요한 각 서버에 전달

서버의 숫자가 트래픽에 따라 늘어나거나 줄어들어도 TGW를 이용하여 유연하게 처리 가능

  • On-Premise (온프레미스): 주식 거래소에서 시세 데이터를 받는 곳입니다. 이 데이터를 내부 서버에서 처리합니다.
  • AWS DirectConnect: 온프레미스와 AWS 클라우드를 빠르고 안전하게 연결하는 전용 회선입니다.
  • TGW (Transit Gateway): 다양한 서버나 네트워크를 연결해 주는 허브 같은 역할을 합니다. 여러 서버가 동시에 데이터를 받을 수 있게 해줍니다. 특히 Multicast TGW는 데이터를 한 번만 보내도 여러 서버가 동시에 받아 처리할 수 있게 만들어줍니다. 이 과정이 클라우드에서 가능해졌습니다.

클라우드 거버넌스란?