[생각정리] 프로젝트를 마치고 느끼는 회고

장장 8개월의 프로젝트를 수행하고 나서 소소하게 적어보는 회고록. 금융사에서 AI 추천 시스템을 적용하는 프로젝트를 진행했다. 프로젝트를 하면서 이런저런 생각나는 것과 느낀 바가 있어 기록 차 적어보려 한다.

1. 늘 느끼는 거지만 매우 중요한 커뮤니케이션

커뮤니케이션은 항상 중요하다. 고객사와의 커뮤니케이션도 매우 중요하고, 팀원들 간의 커뮤니케이션도 마우 중요하다는 생각이 든다. 이 때, 이전보다 조금 더 생각하게 된 게 있었다.
- 고객사에게는 설득력있고, 자신감있게 이야기해야한다.

당연하다고 느낄 수 있겠지만, 어쨌든 고객사는 돈을 주고 우리에게 특정 업무를 맡긴 것. 특정 업무를 수행하는데 신뢰가 있을 수 있도록 설득력 있고 자신감있게 설명해야 한다는 생각이 든다. 그러나 모르는 것도 아는척 하기보다는, 많은 준비를 거쳐 잘 정리된 것들을 전달하는게 중요하다는 생각이다.
- 팀원들과 소통할 때에는 많은 이야기를 들어주고 적절한 방향을 함께 고민해야 한다.
리더의 위치에 서서 팀원들과 이야기 할 때 조금 주족했던 부분 중 하나는 과거에 진행해왔던 방식이 있으니 그 방식을 그대로 전달하고 "이렇게 합시다!" 라고 했다는 것이다. 그 방식이 조금 걸리더라도 충분히 설명해주고, 적절한 방향을 위해 함께 고민하는 게 더 좋은 것 같다는 생각이 든다. 목표 설정을 확실히 해주되, 방법적인 것은 함께 고민해 더 좋은 방안을 만들어 가보자는 생각이 든다.

2. 모델보다 중요한 것은 데이터의 양과 질

데이터의 양과 질이 모델의 성능을 좌우한다. Garbage In Garbage Out. 데이터 분석가로 있을 때 많이 듣던 이야기다. 그런데 모델의 성능이 낮다는 핑계로 이 문제가 사용된다면, 고객사에게는 잘 먹히지 않을 것이다. 

결국 우리는 얼마나 데이터를 잘 정제해야하고, 어떻게 데이터를 구성해야 하는가에 대한 충분한 고민이 필요하다. 그렇기에 이번 프로젝트에서 ETL(Extract, Transfrom, Load) 역량의 중요성도 꽤 많이 느끼게 되었다. 고객사에서는, 아니 어느 프로젝트에서든 잘 정제된 데이터를 얻기란 쉽지 않기 때문에. 그리고 특히나 대용량 데이터를 추출하고 정제할 때에는 단순히 Pandas같은 패키지를 사용하기엔 상당한 시간과 메모리가 소요되기에, DB에서 왠만한 처리를 거친 뒤에 작업 환경으로 가져와야 한다. 

SQL query 튜닝에서도 2~3시간, 많게는 하루 이상 걸릴 문제를 튜닝 힌트 몇 구절 많에 짧은 시간으로 바꿀 수 있다. 이런 속도 측면에서도 데이터를 튜닝하고 정제하는 역할은 없어서는 안될 부분으로 여겨진다. 

 

3. 점점 커져가는 비중, MLOps

출처 : databricks

모델을 개발하는 것도 매우 중요하지만, 이제는 개발된 모델을 Serving 하는 것도 중요하다. 개발된 모델을 실시간 또는 배치로 적용하기 위해서는 모델 서빙이 반드시 필요한다. 이번 프로젝트를 하면서 MLOps의 역할의 중요성을 깨닫게 되었고, 그러면서 뜬 구름 같았던 Kubernetes와 Docker의 개념도 조금씩 잡게 되었다. 그러면서 시스템이 왜 필요한지도 알게되면서. 결국 데이터 엔지니어, 백앤드 개발자들 뿐 아니라 데이터 분석가들에게도 한 소통의 측면으로, 또는 제품 개발 측면으로 이러한 MLOps의 방향도 알아가야 하지 않을까 하는 생각이 든다. 

 

4. 기록의 중요성

나는 이번 프로젝트 기간동안 매주 WBS를 보면서 개발 진도를 체크하고, 팀원들과 현재 상황을 공유하고, WBS 내 작업 현황들을 엑셀 시트로 작성하여 고객사와 공유했다. 꼭 이런 산출물을 만들어서 공유해야지! 보다 현재 상황을 공유하고 작업 결과를 공유하기 위해 만들었던 것들이 산출물이 된 경우도 있고, 자연스레 우리의 소중한 자산이 되었다. 

이렇듯 기록은 몇번을 언급해도 부족할 정도로 중요하다. 해야할 일, 생각해 보아야 할 부분, 사전 체크사항 등. 현재의 상황을 공유하기 위한 측면으로도 중요하며, 더 깊게 공부해 보고 싶은 부분, 더 알아둬야 할 사항, 커뮤니케이션 시 고려해야 할 부분 등 나의 발전을 위해 기록해 두는 측면으로도 중요하다. 내가 회고를 하는 이유도 하나의 측면이다. 내가 고여있지 않기 위해, 더 발전하기 위해, 누군가와의 소통을 위해 기록은 꼭 필요하다. 

---

길고 긴 여정이었지만, 어쨌든 이번 프로젝트를 통해서 하고싶은 방향도 조금은 명확해지고, 공부하고 싶은 방향도 더 생겼다. 그렇기에 나는 어제보다 한발작 더 발전한 것 같다. 이런 생각들이 모여 하나의 프로젝트마다 그냥 나에게 지나가는 것이 아닌 한발짝 더 발전하는 계기가 되었으면 좋겠다.