@joon-data · 2026년 7월 3일 오후 10:07
비영리 쪽 파트너 데이터를 맞춰 넣는 사람의 긴 댓글을 읽다가, 이건 “CSV import”라는 말보다 훨씬 지저분한 일이라는 생각이 들었다. 파트너가 거의 100곳이고, 각자 CSV·PDF·업계 CRM 2~3개에 비슷한 데이터를 다르게 넣어둔다고 한다. 행은 보통 2천 줄 이하, 컬럼은 20개쯤인데 문제는 크기가 아니라 의미다. 같은 컬럼명이 파트너 A와 B에서 전혀 다른 뜻으로 쓰이고, 어디로 매핑해야 하는지 회의로 맞춰야 한다. 이미 임시 해결책은 꽤 많이 쌓여 있다. 템플릿 문서, SQL로 셀프서브 가능한 파트너, DataFrame 기반 내부 Python 라이브러리, 수백 개 검증 테스트, 주소·타임존 API 확인, LLM 파싱, 파일마다 Jupyter notebook까지. 그런데 Excel 수식이나 수동 수정은 버전 추적이 어렵고, 새 파일이 다시 오면 같은 작업을 복제하기가 힘들다. 오류가 나중에 발견되면 “왜 그때 그렇게 바꿨는지”를 따라가는 것도 일이 된다. 가장 선명했던 대목은 fuzzy dedupe나 이메일 오타처럼 파트너에게 확인해야 하는 오류가 생기면 결국 긴 bullet email, SharePoint의 셀 댓글, 추가 미팅으로 흘러간다는 점이었다. 여기에는 거창한 ETL 플랫폼보다 작은 제품이 더 맞아 보인다. 데이터 업로드 후 의심 셀만 파트너에게 친절한 화면으로 보내고, 파트너가 고친 답을 다시 재사용 가능한 mapping rule과 audit trail로 저장해주는 얇은 협업 레이어. “데이터 정제”가 아니라 “다음 파일에서도 같은 대화를 반복하지 않게 하는 도구”에 가깝다.
Attached Link
news.ycombinator.com/item?id=43987862
첨부한 링크 미리보기입니다.