comcast3-wrongway

컴캐스트에서 재미있는 프로젝트도 많았지만, 참 .. 황당한 일도 많았읍니다.

제가 일하는 곳은 컴캐스트 산하의 조그만 조직이었읍니다.

조그만 조직안에서도 텍 스택이 크게 나뉘어져있었읍니다. 한쪽은 주로 리눅스, 하둡 그리고 클라우드를 기반으로 하고 있었고, 다른 한쪽은 주로 마이크로 소프트 관련 기술들을 쓰고 있었읍니다. 한쪽은 포스트그레스, 쉘, 자바 또는 스크립팅을 많이 하였고, 다른 한쪽은 주로 비쥬얼 스튜디오, MSSQL 그리고 SSIS 같은 것들을 주로 썼읍니다. 한쪽은 대부분의 일들이 자동화 되었고, 다른 한쪽은 드래그 앤 드랍, 그리고 클릭을 많이 하곤 했었읍니다.

그당시엔 저희가 발빠르게 기술을 바꾸고 있었읍니다. 우선 빠르게 하둡을 채택하였고, 저희는 MapR 하둡을 쓰고 있었읍니다. 이유는 MapR 하둡이 NFS 마운트를 제공을 했었기 때문입니다. NFS 마운트를 통해서 하둡 파일 시스템을 리눅스 파일 시스템처럼 접근하는 것은 많은 사용자들에게 편의를 제공할 수 있었읍니다.

하둡을 채택한지 3년만에 저희 팀은 AWS로 가기로 결정했읍니다. 이유는 간단했읍니다. 하둡이 너무 비쌌기 때문입니다. 소프트웨어 가격도 비쌌고, 하드웨어도 비쌌읍니다. 그에비해 AWS는 훨씬 더 싸게 운용할 수 있었읍니다.

저희 팀이 AWS로 먼저 움직이자, 다른 팀들의 AWS 사용을 도와주곤했었읍니다. 그러면서 다른 팀들과 대화를 가끔했었읍니다.

그때 한 분이 자랑삼아 이야기하던건 아직도 기억이 납니다. 그분은 한 파일에서 스트링을 끄집어내기 위해서 다음과 같이 했다면 자랑을 하더군요.

화일을 MSSQL 테이블로 로드
화일의 각 라인을 테이블의 열로 로드하고 스플릿 하기
SQL 함수를 써서 해당 스트링을 끄집어 내기
마지막으로 결과물을 테이블로 덤프하기

하도 기가 막혀서 아무말도 못했었던 기억이 납니다.

아마 파워쉘을 써도 그것보단 더 쉽게 할 수 있었을겁니다.

멍청함엔 끝이 없죠.