je개발 일지

[ je 개발 일지 ] 82일차, "많은 데이터를 어떻게 처리할지 고민 - 코드 작성보다 설계의 문제"

Je-chan 2022. 4. 2. 01:24

[ 오늘의 TODO & DONE ]

  1. 개인 공부) 파이썬 학습 (목, 금, 토)
    - 재귀 함수, lambda 함수, 중복 함수
    - 유용한 내장 함수들
    - https://github.com/Je-chan/python-study/tree/main/functionAdvanced
  2. 알고리즘) 프로그래머스 문제 1개 풀기 (화, 금)
    - ... 이제 진짜 풀어야 하는데 ㅠㅠ
  3. 독서) 리팩터링 읽기
    - 내일 읽어볼게...
  4. 생활) 물 1L 이상 마시기
  5. 생활) 최소 30분은 운동하기
    - 내일 운동 열심히 해볼게...
 

GitHub - Je-chan/python-study

Contribute to Je-chan/python-study development by creating an account on GitHub.

github.com


[ 오늘의 회고 ]

1. 데이터 정리는 끝이 없다.

  이번에 내가 회사에서 하는 일은 큰 맥락으로 보면 데이터들을 정리하는 일이다. 물론, 우리 회사에서 다루는 수 많은 데이터의 아주 작은 일부분에 불과하지만 지금은 그것들 정리하는 것만으로도 많이 벅차다는 것을 느낀다. 힘든 건 다른 게 아니라 데이터를 어떻게 사용할지에 대한 고민과, 그리고 전혀 정돈이 안 된 데이터들을 어떤 기준으로 분류를 할지 그것에 대한 고민으로 하루 하루가 금방 지나간다. 그리고 개발단계에서 분류된 데이터들을 어떤 방식으로 서비스 이용자들에게 보여줘야할 지 설계하는게 많이 어렵다. 하나의 API 데이터를 여러 관점에서 해석할 수도 있고, 필터링의 기준이 다를 수도 있고, 차트로 보여준다면 원하는 X축과 Y축이 다를 수도 있고... 이런식으로 여러 경우의 수가 계속해서 나오다보니 어떻게 설계를 해야 다양하게 데이터를 분석할 수 있도록 서비스를 제공할 수 있을지에 대해서 깊은 고민에 빠지게 된다. 

 

  지금 설계하는 것만 며칠이 지나가고 있다. 지금이야 내가 이렇게 다양한 데이터들을 다뤄본 적이 없어서 사실은 쉬운 건데 헤매는 걸 수도 있지만, 지금의 경험이 나중에 내가 데이터들을 관리하거나 시각화하고자 할 때 유용한 밑거름이 되기를 바랄 뿐이다.