GCP : 빅쿼리(BigQuery)

빅쿼리(BigQuery)는 비즈니스 민첩성을 확보하기 위해 설계된 완전 관리형 엔터프라이즈 데이터 웨어하우스로 구글 클라우드에서 제공하고 있습니다.  높은 확장성과 비용 효율성을 갖추고 있으며 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있다는 장점이 있습니다.

페타바이트급 데이터 웨어하우스라고도 부르는데요, 빅쿼리의 확장 가능한 분산형 분석 엔진을 통해  페타바이트급의 데이터를 저장해놓고 몇분만에 쿼리할 수 있습니다. 

빅쿼리의 가장 큰 특징으로는 클라우딩 컴퓨터 서비스이기 때문에 설치하거나 그를 운영할 필요가 없다는 점입니다.

언제 어디서든 인터넷이 되기만 한다면 접속할 수 있고 따로 패치하거나 업그레이드를 시킬 필요 없이 그대로 사용하면 됩니다. 빅쿼리는 선택한 스토리지에서 데이터를 분석하는 컴퓨팅 엔진을 분리하기 때문에 유연성이 극대화된다는 장점이 있습니다.  

빅쿼리는 구글의 Dremel 기술에 대한 외부 접근을 제공하고 Dremel은 중첩 데이터를 분석할 수 있도록 확장가능하고 사용자입력이 가능한 쿼리 시스템으로 구성되어 있습니다. 빅쿼리는 모든 요청에 대해 인증을 요구하며 수많은 구글 고유의 메커니즘과 OAuth를 지원합니다.

이처럼 유연한 멀리 클라우드 분석 솔루션을 통해 클라우드 전반 데이터에 기반한 비즈니스의 의사 결정 역시 지원해줍니다.

또한 SQL 언어를 사용하기 때문에 크게 어려움없이 적응하실 수 있습니다. 이는 굉장히 큰 장점입니다. 큰 전문성이 필요없이 로그인 후 SQL을 수행하면 되기 때문에 다른 툴에 비해 빅데이터 분석이 간단합니다.

데이터에 대한 보안도 마찬가지 입니다. 각 데이터 센터의 3개의 복제본이 따로 저장되기 때문에 유실할 걱정이 없습니다.

비용 역시 여타 클라우딩 컴퓨터 서비스와 마찬가지로 쓴만큼만 과금이 된다는 특징이 있어 비용을 절감하는데 도움이 됩니다. 저장된 데이터의 크기와 쿼리할 때 발생하는 트렉젝션에 따라 비용이 책정돼 그만큼만 지불하면 됩니다.

무엇보다 가장 큰 장점은 따로 인스톨하거나 설정할 필요 없이 그대로 사용할 수 있다는 점입니다. 

구글은 빅쿼리의 장점을 다음과 같이 설명하고 있습니다.

• 실시간 분석과 예측 분석으로 유용한 정보 확보
• 손쉬운 데이터 액세스 및 유용한 정보 공유
• 데이터 보호 및 신뢰할 수 있는 운영

실제로 빅쿼리를 통해 스트리밍 데이터를 실시간으로 쿼리하고 비즈니스 프로세스 전체에 대한 최신 정보를 얻는 것이 가능합니다. 또한 클라우딩 컴퓨터 서비스기에 쉽게 데이터에 접근이 가능하고  멋진 보고서와 대시보드를 쉽게 만들 수 있습니다. 마지막으로 빅쿼리에서는 기본 암호화 및 고객 관리 암호화 키와 2단계 인증으로 데이터를 보호하는 것이 가능합니다.

이처럼 빅쿼리는 데이터를 분석할 수 있는 유용한 툴이지만, 구글 애널리틱스와 데이터 스튜디오 같은 다른 툴과 사용할 때 그 장점을 더욱 극대화할 수 있습니다. 같은 플랫폼에서 제공되는 프로그램들이기에 이들은 유기적으로 엮여 바로 연결할 수 있기 때문입니다.

빅쿼리는 여러 프로그램과 연결이 가능한데요, 특히 구글 애널리틱스와 연결해 수집된 데이터를 새롭게 가공해 분석이 가능하며 또한 이를 바탕으로 전환 가능성이 높은 사용자, 혹은 마케팅이 잘 먹힐 분야의 광고 등 비즈니스 예측이 가능합니다.

즉, 구글 애널리틱스만으로는 할 수 없었던 데이터 분석이 빅쿼리와의 연결을 통해 가능해집니다.

또한 데이터 스튜디오와 연결해 SQL같이 추출해서 보기 어려운 데이터를 쉽게 시각화해 데이터 분석에 큰 도움을 줄 수 있습니다. 매번 데이터를 엑셀로 받아 따로 분석해 보고서를 만들 필요 없이 데이터 스튜디오를 통해 직관적으로 데이터를 이해할 수 있게 만드는 것은 굉장히 큰 장점입니다.

이처럼 빅쿼리는 데이터 분석에 있어 필수적으로 사용되는 툴이라 할 수 있는데요, 다음에는 이를 구글 애널리틱스나 데이터 스튜디오와 연동해 어떻게 사용하는지에 대해도 알아보도록 하겠습니다.

하이프마크에서는 기업의 웹앱로그데이터의 클라우드 적재와 ETL 파이프라인 구성 그 외 클라우드 내 데이터분석 환경 구축 및 분석 시각화 서비스를 함께 제공하고 있습니다.

AWS, GCP등 클라우드 이전 매니지드서비스 및 웹앱로그데이터 태깅 적재 관련 문의사항이 있으시면 하이프마크에 문의 주세요

감사합니다.