comcast1-spark-futures

현재 컴캐스트에서 일하고 있고 대략 벌써 현재팀과 일을 한지 8년이 되어가는 것 같습니다. 한때는 정말 재미있었고 좋은 프로젝트들이 많았읍니다.

하지만, 유튜브나 다른 OTT 활용이 늘어가면서 마켓 상황이 별로 좋지 않고 앞으로 얼마나 많은 좋은 프로젝트가 생길지 알 수 없는 상황입니다.

회사는 쓸데없는 일에 많은 투자를 하고 있는데요.. 글쎄요..

컴캐스트에서 했던일들을 돌아보며 하나씩 적어보려고 합니다.

최근에 했던일은 마이크로 소프트 SQL 로 데이터 프로세싱을 하던 팀을 Databricks 로 옮기는 일을 도와주는 것이었읍니다. SQL로 주로 되었던 프로세싱이 6시간 이상 걸리는 것을 제가 Spark 그리고 간단한 Scala Futures 를 통해서 1시간으로 시간을 줄여줬읍니다. Databricks 가 Spark 로 돌아가는 점 .. 그리고 Spark가 어떻게 돌아가는 지 잘 이해하고 있어서 의외로 좋은 성과를 짧은 시간에 냈읍니다. 2틀만에 작업을 끝냈으니까요.