데이터 엔지니어(링)를 위한 97가지 조언

 

데이터 엔지니어를 위한 97가지 조언

데이터 엔지니어는 넓게 보면 데이터를 분석하고, 머신 러닝, 비즈니스 인텔리전스에 사용할 수 있게 만들어 주는 사람이다. 빅데이터 기술과 데이터 과학, 분산 컴퓨팅, 클라우드가 도입되면서 데이터 엔지니어링은 없어서는 안 될 일이 되었고, 더 복잡해졌다. 역설적이게도 그래서 데이터 엔지니어가 할 수 있는 일도 더 늘어났다. 이 책은 트위터, 구글, 마이크로소프트, 링크드인 등에서 일한 전문가들이 다양하고 구체적인 문제를 극복하면서 얻은 경험과 교훈을 담고 있다. 데이터 팀에서 일하기 위한 노하우, 도구 선택 팁, 분산 시스템의 기본 원리 등을 설명하며, 97가지 조언만으로 모든 문제를 해결할 순 없겠지만, 문제를 해결하기 위한 영감을 얻을 수 있을 것이다. 이 조언들을 초석으로 삼아 성공적인 데이터 엔지니어 커리어를 완성할 수 있기를 바란다.

 

저자

토비아스 메이시

출판

길벗

출판일

2023.10.30

 

안녕하세요. '데이터 엔지니어링을 위한 97가지 조언' 이라는 책을 들고 왔습니다. 정성스러운 콘텐츠를 지속적으로 작성하기 때문인지, 티스토리에 작성함에도 불구하고 지속적으로 네이버 상위에 노출시키기 때문인지는 모르겠지만, 많은 곳에서 저를 찾아주시는 것 같습니다. 저는 결코 아무 체험단이나 지원하지 않습니다. 제가 진짜로 잘 할 수 있는 것, 저에게 필요한 것을 지원합니다.

 

 

이번 데이터 엔지니어링을 위한 97가지 조언이라는 도서를 선택한 데에는 이유가 있습니다. 현재, 마케터의 1년 경력을 끝으로 ERP 대시보드 UI기획자로 새롭게 직무 변경이 되었습니다. 그에 따라 다양한 유형의 데이터를 읽을 수 있어야 하고 직접 스키마를 구성할 수 있어야 합니다. 뿐만 아니라 기존에 하던 광고 데이터 분석 영역은 여전히 제가 가져가고 있습니다. 이에 더하여서, 마케팅 전략을 짜내는 것 또한 원래 관심이 많던 분야였습니다. 특히 책 내용은 97명의 전문가의 자문자답으로 이루어지면서 궁금한 부분만 골라서 볼 수 있었고 바쁜 현대인인 저에게는 그런 점들이 참 매력적이었던 것 같습니다. 그럼에도 리뷰를 쓰기 위해 제 분야가 아닌 다른 부분도 적극적으로 읽어보려고 시도했고 전문가들의 경험과 지식이 짧게 요약되어 있어 쉽게 읽혔습니다. 특히 자문자답을 나타낸 97명의 전문가는 구글, 트위터, 마이크로 소프트, 링크드인 등에 근무하는 데이터 엔지니어들이셨기 떄문에 더욱이 신뢰가 가는 도서였습니다.

 

이런 분들의 이야기를 생생하게 들으며 그들 조언을 토대로 성공적인 엔지니어링 커리어를 완성해나가는 데에 도움이 될 것이라고 봤습니다. 약간, 제가 생각했을 때 아쉬웠던 점은 내용이 꽤나 전문적이고 구체적이어서 한 번에 이해가 안되는 부분도 존재했다는 사실입니다. 각 자의 취향에 맞게 읽으면 되는 도서 임을 감안한다면, 제가 추천하는 분류는 직장인입니다. 데이터 엔지니어링에 종사하는 분들 뿐만 아니라, UIUX 디자이너나 개발자 그리고 마케터에게도 도움이 되는 이야기들이 많습니다. 목차만 훝어봐도 몽롱해집니다.

 

 

저 같은 경우는 원래 마케터였는지는 몰라도 2장에 나오는 "A/B테스트, 어떻게 해야 할까"에 많은 관심이 가더라구요. A/B 테스트는 알아보려는 대상을 2가지로 만들고비교하여 어떤 버전이 더 나은지 알아보는 방법입니다. 이 기법은 말은 정말 쉽게 되는데, 실제 진행하다보면 맞딱뜨리는 다양한 변수들이 있고 그런 변수들을 모두 통제해야만 해서 상당히 어려운 기법이죠. 이 테스트를 진행할 수 있는 여러 툴들이 나와있음에도 불구하고 많은 곳에서 진행하기 힘들어 합니다. 구글 옵티마이저라던지, 뷰저블이라던지 다양한 툴이 있지만 가격 자체가 비싸기도 하고 마케터임에도 불구하고 코딩을 할 수 있어야 하기 때문에 잘 못하는 것이 실상이죠. 해당 도서와 유사하게, A/B 테스트의 경우 테스트 대상을 50 대 50으로 나누어 집단의 크기가 비슷하게 만들어야만 합니다. 다양한 변수들도 통제할 수 있어야 하며 변수를 통제하지 않았을 때에는 실험군과 대조군을 비슷한 수치로 만들어나야 합니다. 그렇지 않으면 분명 데이터 검증에 큰 오류가 발생할 겁니다.

 

 

이 다음으로 보여드릴 이미지는, 제가 읽으면서 흥미로워 했던 부분들입니다. 먼저 이미지부터 첨부할게요. 

 

데이터 파이프라인이라던지, 자동화, 머신러닝과 같은 주제들은 내가 애초부터 관심이 많이 갔던 주제이다. 내가 경영학을 전공함에도 불구하고 통계학을 따로 복수전공했던 이유가 있는 것이다. 실제로 내 동기 중 몇 명은 현재 데이터 엔지니어링으로 근무하고 있는 친구들도 존재하며 현재 회사에서도 관련 업무를 보기도 한다. 특히, SQL 쿼리문을 짜는 것은 현재 나에게 엄청이나 어려운 일임에도 불구하고 많은 고생을 통해 다행히 지금 어느 정도의 쿼리문은 구사할 수 있게 됐다. 이 책을 체험단으로 볼 수 있어 너무 좋았다. 

 

 

 

http://gilbut.co/c/23101863hF

데이터 엔지니어를 위한 97가지 조언 - 예스24