[데이터 엔지니어링] NoSQL

NoSQL 단어 유래

- 조핸 오스카슨 ( Johan Oskarsson ) 이 2009년 6월 샌프란시스코에서 조직한 모임에서 관계형 데이터 모델을 쓰지않는 연구를 빠른 시간에 다양한 사람들과 논의하고 싶었고, 가장 효과적인 방법은 트위터의 해시태그를 이용하는 방법이였습니다. 짧고, 해시태그로 중복되지 않으면서도, 부정적이여서 사람의 관심을 이끌 수 있는 단어를 생각하다가 # NoSQL 를 찾았고, 이는 현재 비관계형 데이터베이스 기술을 아우르는 말이 되었습니다.

- 참고 : "NoSQL Distilled: ABrief Guide to the Emerging World of Polyglot Persistence"

관계형 데이터베이스 ( RDB ) VS NoSQL ( 비관계형 데이터베이스 )

- 관계형 데이터 베이스는 SQL을 기반으로 하고, NoSQL은 Not Only SQL의 약자로 비관계형 데이터 모델을 다루고 있음

- 관계형 데이터베이스에서는 테이블을 사전에 정의를 한 뒤에 그에 알맞은 형태의 데이터만 넣을 수 있음

- 관계형 데이터베이스는 행과 열로 구성된 테이블에 데이터를 저장하고 각각의 행은 하나의 속성에 대한 정보를 저장하고, 열에는 각각의 데이터 형식에 맞는 데이터가 저장됨

- 관계형 데이터베이스는 특정한 형식을 지키기 때문에 데이터가 제대로 주가되었다면 꺼낼 때에는 수월함

- 관계형 데이터 베이스에는 스키마가 뚜렷이 보임

- NoSQL이 스키마가 반드시 없는 것은 아님. NoSQL에서는 데이터를 읽어올 때 스키마에 따라 읽어옴

SQL과 NoSQL의 차이점

▶ 데이터 저장 ( Storage )

- 관계형 데이터베이스는 SQL을 이용해서 데이터를 테이블에 저장함. 미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터를 저장해야함

- NoSQL은 Key-Value, Document, Graph, Wide-Colunm 형식 등의 방식으로 데이터를 저장할 수 있음

▶ 스키마 ( Schema )

- SQL을 사용하려면 형식이 고정된 스키마가 필요함 스키마는 나중에 변경할 수 있지만, 그럴 경우 전체 데이터베이스를 수정하거나 오프라인으로 전환할 필요가 있음

- NoSQL은 스키마의 형태가 보다 동적입니다. 행을 추가할 때 즉시 열을 함께 추가할 수 있고, 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 된다는 장점이 있음

▶ 쿼리 ( Querying )

- 쿼리는 데이터베이스에 대해서 정보를 요청하는 행동을 의미함 관계형 데이터베이스는 테이블의 형식과 테이블간의 관계에 맞춰서 데이터를 요청함 그래서 SQL과 같은 구조화된 쿼리 언어를 정보 요청에 사용함

- 비관계형 데이터베이스의 쿼리는 데이터 그룹 자체를 조회하는 것에 초점을 두고 있음 그래서 구조화 되지 않은 쿼리 언어로도 데이터 요청이 가능함 UnQL ( UnStructured Query Language ) 이라고 말하기도 함

▶ 확장성 ( Scalability )

- SQL 기반의 관계형 데이터베이스는 보통 수직적으로 확장함 ( 높은 메모리, CPU를 사용하는 확장 ) 데이터베이스가 구축된 하드웨어의 성능을 많이 이용하기 때문에 고비용이 들게 됨 복수의 서버에 걸쳐서 데이터베이스의 관계를 정의할 수 있지만 매우 복잡하고 시간이 많이 소모되는 것이 보통임

- NoSQL로 구성된 데이터베이스는 수평적으로 확장함 ( 보다 값싼 서버 증설, 또는 클라우드 서비스 이용하는 확장 ) 많은 트래픽을 처리할 수 있도록 NoSQL 데잍처베이스를 위한 서버를 추가적으로 구축하는 것이 편함 또한 저렴한 범용 하드웨어나 클라우드 기반의 인스턴스에 NoSQL 데이터베이스를 호스팅할 수 있어서, 수직적 확장보다 비용 효율성이 높음

SQL 기반의 관계형 데이터베이스를 사용하는 케이스

▶ 데이터베이스의 ACID 성질을 준수해야 하는 경우

- ACID는 Atomicity ( 원자성 ) , Consistency ( 일관성 ) , Isolation ( 고립성 ) , Durability ( 내구성 ) 를 의미함.

- 각 단어는 데이터베이스 내에서 일어나는 하나의 상태 변화 수행 ( Transaction ) 에 안정성을 보장하기 위해 필요한 성질

- SQL을 사용하면 데이터베이스와 상호 작용하는 방식을 정확하게 규정할 수 있기 때문에, 데이터 베이스를 통한 데이터 처리 작업시 이상 징후를 줄이고, 데이터베이스의 무결성을 보호할 수 있음

- 전자 상거래, 금융 서비스를 위한 소프트웨어 개발에서는 데이터베이스의 ACID 성질을 잘 준수하는 것이 필수 옵션으로 되어 있음 그래서 SQL을 이용한 관계형 데이터베이스를 사용하는 것이 보편적임

▶ 소프트웨어에 사용되는 데이터가 구조적이고 일관적인 경우

- 소프트웨어의 규모가 많은 서버를 필요로 하지 않고 일관된 데이터를 사용하는 경우, 보통 관계형 데이터베이스를 사용함

- 다양한 데이터 유형과 높은 트래픽을 지원하도록 설계된 NoSQL 데이터베이스를 굳이 사용할 이유가 없음

NoSQL 기반의 비관계형 데이터베이스를 사용하는 케이스

▶ 데이터의 구조가 거의 또는 전혀 없는 대용향의 데이터를 저장하는 경우

- 대부분의 NoSQL 데이터베이스는 저장할 수 있는 데이터 유형에 제한을 설정하지 않음

- 필요에 따라서 데이터의 새 유형을 추가할 수 있음

- 그렇기 때문에 소프트웨어 개발에 정형화 되지 않은 많은 양의 데이터가 필요한 경우 NoSQL을 적용하는 것이 효율적일 수 있음

▶ 클라우드 컴퓨팅 및 저장공간을 최대한 활용하는 경우

- 클라우드 기반으로 데이터 베이스 저장소를 구축하면 저렴한 비용의 솔루션을 제공 받을 수 있음

- 소프트웨어에 데이터베이스의 확장성이 중요하다면 여러 데이터 센터에 걸쳐서 많은 번거로움 없이 확장할 수 있는 NoSQL 데이터베이스를 사용하는 것이 좋음

▶ 빠르게 서비스를 구축하고 데이터 구조를 자주 업데이트 하는 경우

- NoSQL 데이터베이스의 경우 스키마를 미리 준비할 필요가 없기 때문에 빠르게 개발하는 과정에 매우 유용함

- 또한 소프웨어 버전별로 많은 다운타임 ( 데이터베이스 서버 오프라인 ) 없이 데이터 구조를 자주 업데이트 해야하는 경우, 일일이 스키마를 수정해주어야 하는 관계형 데이터베이스 보다는 NoSQL 기반의 비관계형 데이터베이스를 사용하면 좋음

대표적인 NoSQL의 종류

▶ Key-Value 타입

- 데이터를 Key-Value의 쌍을 속성으로 하는 배열 형태로 저장.

- Key는 속성 이름을 뜻하고, Value는 속성에 연결된 데이터 값을 의미함.

- Redis, Dynamo 등이 대표적인 Key-Value 형식의 데이터베이스

▶ 문서형 ( Document ) 데이터베이스

- 데이터를 테이블이 아닌 문서처럼 저장하는 데이터베이스를 의미함.

- JSON 유사 형식으로 데이터를 문서화하는 것이 보통

- 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고, 컬렉션이라고 하는 그룹으로 묶어서 관리함

- 대표적인 문서형 데이터베이스에는 MongoDB가 있음

■ MongoDB

- 문서들은 BSON 형태로 저장이 되고 정해진 틀이나 데이터 타입이 없음 따라서 자유롭게 문자, 숫자, 객체, 배열 등을 저장할 수 있음

- SQL과 비교하자면 자유롭게, 즉, 사전에 정의된 테이블 필드나 관계에 맞춰 할 필요 없이 데이터를 추가할 수도 있음 그렇기 때문에 보통은 일관되지 않은 데이터들을 추가해야하거나 혹은 재빠르게 데이터를 쌓아야 할 때 사용되기도 함

- SQL에 비해 데이터 타입이나 테이블 관계 등에서 비교적 자유가 있지만 스키마가 아예 없는 것은 아님

- 각 문서를 저장할 때에는 자유롭게 저장해도 되지만 자유롭게 저장하는 만큼 읽어올 때에 일종의 스키마가 있어야 수월하게 가져올 수 있음

- 이전 SQL에서는 각 테이블을 생성할 때에, 그리고 각 테이블의 관계들을 사전에 정의할 때에 스키마를 정했지만 NoSQL에서는 데이터를 읽을 대에 특정 '스키마'에 따라 데이터를 불러와야 하기도 함

▶ Wide-Column 데이터베이스

- 데이터베이스의 열 ( Column ) 에 대한 데이터 관리를 집중하는 데이터베이스

- 각 열에는 Key-Value 형식으로 데이터가 저장되고, 컬럼 패밀리라고 하는 열의 집합체 단위로 데이터를 처리할 수 있음

- 하나의 행에 많은 열을 포함할 수 있어서 높은 유연성을 자랑함

- 데이터 처리에 필요한 열을 유연하게 선택할 수 있다는 점에서 규모가 큰 데이터 분석에 주로 사용되는 데이터베이스 형식

- 대표적인 Wide-Column 데이터베이스에는 Cassandra, HBase가 있음