이 글의 배경이 되는 이야기는 17화: AI 두 명이 동시에 말했다 — “이제 그만하세요”에서 읽을 수 있습니다.
이 글을 읽으면 알 수 있는 것
- 매칭률 0.1% 개선이 왜 점점 어려워지는지
- “충분한 완성도”를 판단하는 기준
- 백엔드에서 프론트엔드로 전환한 기술적 근거
문제: 99.5%인데 99.6%를 원합니다
매칭 엔진이 99.5%의 매칭률에 도달했습니다. 725만 건 중 약 3만 8천 건이 미매칭.
숫자만 보면 훌륭합니다. 하지만 3만 8천 건이라는 숫자가 신경 쓰였습니다. “0.1%만 더 올리면 3천 건을 더 매칭할 수 있다.” 이 생각에 빠져 있었습니다.
그래서 미매칭 원재료를 분석했습니다.
미매칭 0.5%의 정체
미매칭 3만 8천 건을 분류하면 이런 구성이었습니다.
| 분류 | 비율 | 예시 |
|---|---|---|
| 오타·특수문자 | ~30% | “비타민C(아르코르브산)”, “L-글루타산나트류” |
| 극도로 구체적인 이름 | ~25% | “유기농인증 제주산 감귤농축액 1.5배” |
| 복합 원재료 | ~20% | “닭가슴살함유가공품(닭가슴살90%)“ |
| 비식품 텍스트 | ~15% | 제조공정 설명, 주의사항 |
| 신규/희귀 원재료 | ~10% | 사전에 없는 새로운 원재료 |
이 분석에서 두 가지를 알 수 있었습니다.
첫째, 쉬운 것은 이미 다 잡았습니다. 정확 일치, 이명 일치, 정규화 후 일치 — 이 단계들이 99%를 처리했습니다. 남은 0.5%는 각각 다른 이유로 미매칭인 것들입니다.
둘째, 나머지를 잡으려면 건당 비용이 급격히 올라갑니다. 오타를 잡으려면 유사도 매칭을 도입해야 하는데, 이것은 오매칭 위험을 수반합니다. 극도로 구체적인 이름은 사전 확장이 필요한데, 이는 끝이 없습니다.
수확 체감의 법칙
| 구간 | 매칭률 | 투입 노력 |
|---|---|---|
| 0% → 90% | 기본 정확 일치 | 1주 |
| 90% → 99% | 이명, 정규화, 괄호 처리 | 3주 |
| 99% → 99.5% | 안전장치, 사전 정제 | 2주 |
| 99.5% → 99.6% | 개별 사례 분석, 규칙 추가 | 추정 2주+ |
뒤로 갈수록 같은 0.1%를 올리는 데 더 많은 시간이 듭니다. 99.5%에서 99.6%로 올리는 것은 90%에서 95%로 올리는 것보다 어려웠습니다.
그리고 중요한 질문이 있었습니다. 사용자에게 99.5%와 99.6%의 차이가 보이는가?
전환의 계기
두 AI가 독립적으로 같은 말을 했습니다.
“백엔드 완성도는 충분합니다. 프론트엔드로 넘어가세요.”
이 권고를 받아들인 기술적 근거:
첫째, 사용자가 없는 최적화는 검증할 수 없습니다. 매칭률을 0.1% 올려도, 실제 사용자가 그 차이를 체감하는지 알 수 없습니다. 사용자가 제품을 검색하고, 성분을 확인하고, 피드백을 주는 과정이 있어야 “이 미매칭이 실제로 문제인가”를 판단할 수 있습니다.
둘째, 프론트엔드 없이는 서비스가 아닙니다. 백엔드가 아무리 정확해도, 사용자가 쓸 수 있는 화면이 없으면 데이터에 불과합니다. MVP(최소 기능 제품)를 만들어 실제 피드백을 받는 것이 매칭률 0.1%보다 가치가 큽니다.
셋째, 나중에 돌아올 수 있습니다. 프론트엔드를 만든다고 백엔드를 버리는 것이 아닙니다. 사용자 피드백을 받은 후, 실제로 문제가 되는 미매칭에 집중해서 개선하는 것이 효율적입니다.
”충분함”의 기준
이 경험에서 정리한, “현재 단계에서 충분한가”를 판단하는 기준:
| 질문 | 99.5% 시점의 답 |
|---|---|
| 핵심 기능이 작동하는가? | 예 (매칭, 파싱, 검증 모두 동작) |
| 치명적 버그가 있는가? | 아니오 (새우깡 사건 이후 검증 체계 구축) |
| 사용자 피드백 없이 더 개선할 수 있는가? | 제한적 |
| 다음 단계로 가면 돌아올 수 없는가? | 아니오 (언제든 돌아올 수 있음) |
네 번째 질문이 핵심입니다. 전환이 비가역적이면 더 신중해야 하지만, 언제든 돌아올 수 있다면 “지금 더 가치 있는 곳”으로 이동하는 것이 맞습니다.
결과
| 항목 | 내용 |
|---|---|
| 전환 시점 매칭률 | 99.5% |
| 미매칭 건수 | ~38,000건 |
| 전환 후 작업 | 프론트엔드 MVP 구축 |
| 백엔드 추가 작업 | 사용자 피드백 이후 예정 |
한계
“충분함”은 주관적입니다. 99.5%가 충분하다는 판단은 “식품 성분 분석 서비스의 MVP”라는 맥락에서의 판단입니다. 의료 서비스였다면 기준이 달라졌을 것입니다.
미매칭 3만 8천 건은 여전히 존재합니다. 사용자가 검색한 제품이 그 3만 8천 건 안에 있으면 정보가 불완전합니다. 이 불완전함이 실제로 얼마나 문제인지는 사용자 데이터를 모아봐야 알 수 있습니다.
한 줄 교훈
99.5%에서 99.6%로 가는 시간으로, 0%에서 MVP까지 갈 수 있습니다. 완벽함을 추구할 시간에 사용자를 만나는 것이 더 많은 것을 알려줍니다.
다음 글: 검증 체계가 없으면 AI는 위험하다