기업의 데이터베이스 선택 가이드 "활용과 성능 사이 균형 찾기"

온 세상이 ‘센서화’됐다. 

자동차, 공장 기계, 터빈 엔진, 우주선을 포함한 온갖 곳에 센서가 장착돼 데이터를 수집하고, 개발자는 이 데이터를 활용해 효율성을 최적화하고 AI 시스템을 구동한다. 상황이 이러니 지난 5년 동안 시계열(센서가 수집하는 데이터 유형)이 가장 빠르게 성장하는 데이터베이스 범주 중 하나인 것도 놀라운 일은 아니다. 
 
그러나 가장 많이 사용되는 데이터베이스 유형은 여전히 2위와의 격차가 큰 관계형 데이터베이스다. 생성형 AI와 대규모 언어 모델(LLM)의 부상에 따라 벡터 데이터베이스의 사용량도 급격히 늘었다. 이렇게 다양한 옵션이 있는데, 기업은 비즈니스 요구에 적합한 데이터베이스를 어떻게 선택해야 할까? 
 
데이터베이스가 작업을 수행하는 방식의 차이와 확인해야 할 핵심 설계 요소는 무엇인지, 그리고 개발자는 어떤 경우에 앱에 전문화된 데이터베이스를 사용해야 하는지 살펴본다. 
 

 

데이터베이스 성능 극대화에는 타협이 필요하다

가장 먼저, 데이터베이스의 탁월한 성능을 보장하는 하나의 만능 공식은 없다는 사실을 이해하는 것이 중요하다. 데이터베이스 선택은 구체적인 요구사항과 사용례를 기반으로 신중하게 균형점을 찾는 과정이다. 데이터베이스의 장단점을 이해하는 것은 필수다. 개발자라면 CAP 정리(CAP theorem)를 출발점으로 삼는 것이 좋다. CAP 정리는 일관성, 가용성, 분할 내성(partition tolerance) 간의 타협을 설명한다. 
 
예를 들어 NoSQL 데이터베이스가 부상하면서 확장성이 큰 화두가 됐지만, 많은 경우 그 확장성에는 전통적인 관계형 데이터베이스가 제공하는 데이터 일관성에 대한 보장을 포기해야 한다는 대가가 따랐다. 
 
데이터베이스 성능에 큰 영향을 미치는 설계상의 고려 사항은 다음과 같다.
 

• 저장 형식 : 하드 드라이브에서 데이터의 구성과 저장 형식은 성능에 상당한 영향을 미친다. 분석 워크로드를 위해 방대한 양의 데이터를 저장하는 기업이 빠르게 증가함에 따라 아파치 파케이(Parquet)와 같은 열 기반 형식을 채택하는 경우가 늘고 있다. 
• 데이터 압축 : 압축 알고리즘 선택은 저장 비용과 쿼리 성능에 직접적인 영향을 미친다. 데이터 크기 최소화에 우선 순위를 두는 알고리즘도 있고, 빠른 압축 해제와 쿼리 성능 개선을 더 우선하는 알고리즘도 있다. 
• 인덱스 데이터 구조 : 데이터베이스에 사용되는 인덱싱 메커니즘은 최고 성능을 좌우한다. 주 인덱스는 스토리지 엔진을 지원하고 보조 사용자 정의 인덱스는 읽기 성능을 강화하지만, 이로 인해 새 데이터 쓰기에 대한 부가적인 오버헤드가 발생할 수 있다.
• 핫 스토리지 vs. 콜드 스토리지 : 현대 데이터베이스 시스템에서는 더 빠르고 값비싼 핫(hot) 스토리지와, 상대적으로 느리고 더 저렴한 콜드(cold) 스토리지 사이에서 원활한 데이터 이동이 가능하다. 이 계층화된 접근 방식을 통해 액세스 빈도가 높은 데이터의 성능을 최적화하면서 사용 빈도가 낮은 데이터의 스토리지 비용을 절약할 수 있다. 
• 재해 복구 : 데이터베이스 아키텍처에 존재하는 재해 복구 메커니즘도 성능에 영향을 미칠 수밖에 없다. 견고한 재해 복구 기능은 데이터 보안을 강화하지만 성능 오버헤드를 유발하기도 한다. 미션 크리티컬에 해당하지 않는 사용 사례의 경우 데이터베이스에서 성능을 높이기 위해 안전과 관련된 특정 보장 수단을 타협할 수 있다. 

 
이 항목을 비롯한 다른 여러 요인이 종합적으로 데이터베이스 성능에 영향을 미친다. 이와 같은 변수를 전략적으로 조정해서 기업의 성능적 요구를 충족하도록 데이터베이스를 맞춤 구성할 수 있다. 주어진 시나리오에서 희생해도 무방한 기능을 선별할 수 있으므로 세밀한 성능 최적화가 가능하다. 
 

전문 데이터베이스에 대한 주요 고려 사항 

애플리케이션을 위한 적절한 데이터베이스를 선택하기 위해서는 여러가지 중요한 요소를 저울질해야 한다. 데이터베이스를 결정할 때 개발자가 유념해야 할 주요 고려 사항은 3가지다. 
 

데이터 액세스 경향 

데이터베이스 선택의 주된 결정 요소는 애플리케이션의 데이터가 어떻게 액세스되고 이용되는지에 대한 이해다. 첫 단계로, 워크로드를 온라인 분석 처리(OLAP) 또는 온라인 트랜잭션 처리(OLTP)로 분류하는 것이 좋다. OLTP 워크로드는 전통적으로 관계형 데이터베이스 영역이며, 많은 수의 동시 사용자에 의한 많은 수의 트랜잭션을 처리한다. OLAP 워크로드는 분석에 초점을 두며 OLTP 워크로드와 구분되는 액세스 패턴이 있다. 또한 OLTP 데이터베이스는 행으로 작업하는 반면 OLAP 쿼리에서는 계산에 선택적 열 액세스가 많이 사용된다. 데이터 웨어하우스는 일반적으로 성능에 유리한 열 기반 데이터베이스를 활용한다. 

다음 단계로 쿼리 지연 요구사항, 데이터 쓰기 빈도와 같은 요소를 고려한다. 특히 모니터링과 같은 작업을 위해 근실시간 쿼리가 필요하다면 높은 쓰기 처리량과 저지연 쿼리 역량에 맞춰 설계되는 시계열 데이터베이스를 고려할 수 있다. 
 
또는, OLTP 워크로드의 경우 최선의 선택은 데이터 모델의 요구사항에 따라 일반적으로 관계형 데이터베이스와 문서 데이터베이스 중 하나다. NoSQL 문서 데이터베이스의 스키마 유연성이 필요한지, 관계형 데이터베이스의 일관성 보장이 더 유리한지를 평가해서 선택해야 한다. 
 
마지막으로 중요한 고려 사항은 워크로드가 종일 일관적이거나 매우 활발한 패턴을 보이는지 여부를 평가하는 것이다. 이 시나리오에서는 다운타임 또는 불필요한 하드웨어 비용을 초래하지 않으면서 워크로드 변동에 대처하기 위해 확장 가능한 하드웨어 솔루션을 제공하는 데이터베이스를 선택하는 것이 대체로 최선이다. 
 

기존의 부족적 지식  

데이터베이스 선택 시 또 다른 고려 사항은 내부 팀이 보유한 전문 지식이다. 전문화된 데이터베이스 도입에 따라 얻는 혜택이 팀 교육 및 훈련에 대한 투자를 정당화하는지, 그리고 학습 단계 중에 잠재적인 생산성 손실이 나타날 수 있는지를 평가해야 한다.

성능 최적화가 크게 중요하지 않다면 팀이 가장 익숙한 데이터베이스를 사용하는 것으로 아마 충분할 것이다. 그러나 성능이 중요한 애플리케이션이라면 초기 시행착오를 감수하고 새로운 데이터베이스를 채택하는 편이 유리하다.
 

아키텍처의 정교함 

소프트웨어 설계에서 아키텍처의 단순함을 유지하는 것은 변함없는 목표다. 전문화된 데이터베이스가 주는 혜택은 새 데이터베이스 구성요소를 시스템에 통합하는 데 따라 발생하는 부가적인 복잡성을 상쇄하고도 남아야 한다. 특히 주 데이터베이스가 대부분의 다른 요구사항을 이미 충족하는 상황이라면 데이터의 하위 집합을 위해 새 데이터베이스를 추가할 때는 상당한 정도의 실질적인 성능 향상을 통한 정당화가 필요하다. 
 
개발자는 애플리케이션 요구사항과 팀의 전문 지식, 아키텍처 고려 사항에 부합하는 데이터베이스를 선택할 때 이러한 여러 요소를 신중하게 평가함으로써 정보에 근거한 현명한 의사 결정을 내릴 수 있으며, 궁극적으로는 소프트웨어 솔루션의 성능과 효율성을 최적화할 수 있다.
 

IoT 애플리케이션을 위한 최적화 

IoT 환경에는 데이터베이스 배포에 관한 고유한 특징과 요구사항이 있다. 구체적으로, IoT 배포는 엣지와 클라우드 양쪽 모두에서 원활한 운영을 보장해야 한다. 이 두 가지 핵심적인 맥락에서 데이터베이스 요구사항의 개요는 다음과 같다. 
 

엣지 서버를 위한 요구사항 

엣지는 데이터가 로컬에서 생성되고 클라우드로 전송되기 전에 처리되는 곳이다. 따라서 데이터베이스는 높은 효율성 수준에서 데이터 수집, 처리, 분석을 수행해야 하며 이를 위해서는 다음과 같은 두 가지가 필요하다. 
 

• 높은 수집 속도 : 엣지 서버는 IoT 센서가 생산하는 방대한 데이터 스트림을 지연이 발생하는 상황에서도 손실 없이 빠르게 쓸 수 있는 기능을 지원해야 한다. 마찬가지로, 데이터베이스는 데이터 손실을 방지하기 위해 실시간 수집을 유지하면서 데이터 버스트를 처리해야 한다. 
• 빠른 읽기와 분석 : 엣지의 데이터베이스에는 빠른 읽기 기능과 분석 툴도 필요하다. 로컬 데이터 처리는 실시간 의사 결정을 가능하게 해주며, 이 과정은 센서 데이터를 변환, 분류, 집계하기 위한 분석 기능을 기본 탑재한 데이터베이스를 통해 능률화된다.  

 

클라우드 데이터센터를 위한 요구사항 

클라우드 데이터센터의 데이터베이스는 엣지 서버에서 집계된 데이터를 수집, 변환, 분석하는 데 있어 중대한 역할을 한다. 주요 요구사항은 다음과 같다. 
 

• 분석 명령 : 데이터베이스 관리 시스템은 내장된 분석 명령을 통합해 데이터 처리와 분석을 능률화하고 운영 복잡성과 오버헤드를 최소화해야 한다. 
•  
• 다운샘플링과 보존 정책 : 다운샘플링 기법과 보존 정책을 구현하면 기록 데이터를 효율적으로 관리하는 데 도움이 된다. 다운샘플링은 정확성이 높은 데이터는 짧은 기간 동안 보존되도록 하고, 장기적인 추세를 포착하는 용도로 정확성이 낮은 데이터가 저장되도록 한다. 자동화된 데이터 보존 정책은 적시 데이터 삭제를 촉진해서 스토리지 사용률을 최적화한다. 
•  
• 시각화 엔진 : 견고한 시각화 엔진은 IoT 시스템의 상태를 모니터링하는 데 중요하다. 시스템 성능에 대한 인사이트를 제공하여 팀이 실시간 데이터 시각화를 기반으로 정보에 근거한 의사 결정을 내릴 수 있게 해준다. 
• 게시 및 구독 메커니즘 : 효율적인 게시 및 구독 기능은 엣지 디바이스와 클라우드 간에 매끄러운 커뮤니케이션과 데이터 교환을 가능하게 하고 데이터 무결성과 적시 업데이트를 보장한다. 

 
데이터베이스 환경은 빠르게 발전하므로 개발자는 최신 트렌드와 기술에 대한 정보를 항상 파악하고 있어야 한다. 익숙한 데이터베이스를 고수하면 안정성을 얻을 수 있지만 전문화된 데이터베이스는 비용 절감, 사용자 성능 향상, 확장성, 개발자 효율성 향상을 포함한 여러 혜택을 제공할 수 있다. 
 
궁극적으로 기업의 비즈니스 요구사항, 스토리지 필요, 내부 지식, 그리고 예산상의 제약 사이에서 균형을 잡아야 장기적인 성공 가능성을 높일 수 있다. 
editor@itworld.co.kr