데이터의 등장과 발전, 엔지니어와 분석가의 과제

1. 데이터의 등장

 

2010년만 해도 '데이터 사이언티스트'라는 용어는 '웹 애널리스트'라는 용어로 주목받았습니다.

웹 애널리스트는 웹 서버에 설치한 접근 분석도구를 사용하여

웹사이트에 기록된 로그 데이터를 분석하는 일을 하였습니다.

이러한 접근 분석도구 중 가장 큰 영향력을 보인 건 바로

'구글 애널리틱스'

분석가들에게 '방문 횟수, 유입 키워드, 이탈률 등 많은 지표를 보여주었습니다.

 

 

2. 데이터의 발전

 

데이터를 활용하려는 움직임이 점점 많아졌고, 구글 애널리틱스 외의 다른 접근 분석 도구들이 사용되었습니다. 

여러 분야에서 데이터를 활용하니, 데이터도 점점 많아졌지만,

여러 데이터 집계 도구들이 섞여서 데이터가 여기저기 흩어졌습니다.

그래서 많은 회사들은 사용자 데이터, 구매 데이터 등의 업무 데이터와 접근 로그를

한꺼번에 관리하고 분석할 수 있는 환경을 원하기 시작했습니다.

그 결과 ' 빅데이터'가 주목받았습니다.

 

 

빅데이터란 데이터 수집, 집계 시각화를 통해 데이터를 다양한 분야에 활용하기 위한 것입니다. 

또한 

1. 기억용량의 대용량화

2. 하드웨어 가격의 하락과 클라우드 기술의 등장

3. 분산 처리를 담당하는 미들웨어의 등장으로 

기존에는 할 수 없었던 분석들이 가능해졌습니다.

 

하지만 엔지니어와 분석가의 고민은 깊어져 갔습니다.

 

3. 분석가의 과제

 

분석가의 고민

1. 스스로 지표를 결정해야 함

2. 데이터를 추출하기 위해 SQL을 배워야 함

 

한마디로 정리하자면, '우리는 이런 거 쓸 줄 모른다'입니다.

엔지니어에게 데이터라도 잘 정리해 달라고 부탁하는 수밖에 없습니다.

 

 

4. 엔지니어의 과제

 

엔지니어의 고민

1. 분석 담당자도 무엇이 가능한지 몰라 애매모호한 의뢰를 하게 되므로,

   최종적인 결과물로 원하는 것이 나오지 않음.

2. 기존의 접근 해석 도구의 수준을 벗어날 수 없음.

 

분석가의 요구를 들은 엔지니어는 화가 납니다.

'알아서 해달라는데,, 뭘 해달라는 거야?' 

 

 

빅데이터의 등장으로 엔지니어와 분석가의 일은 더욱 어려워졌습니다.

 

5. 그렇다면 우리는?

 

1. 기존의 작업 영역을 넘어 이해의 범위를 넓혀야 합니다.

2. 서로의 작업에 대해 원활하게 커뮤니케이션이 되어야 합니다.

3. 기존 담당 영역을 작업할 때도 새로운 방법을 발견해야 합니다.

 

<데이터 분석을 위한 SQL 레시피> 도서의 1장 내용을 각색한 글입니다.

'데이터 분석가'가 되기 위한 여정을 시작하신 모든 분들께 좋은 길잡이가 되었으면 좋겠습니다.