18만 건에 점수를 매긴다는 것: 5차원 스코어카드와 퍼널 매핑 | Signals EP.13
18만 건의 시그널 중 영업팀이 봐야 할 100건은 어떻게 추리는가. 5차원 스코어카드와 퍼널 매핑, AI와 사람의 피드백 루프 설계. 시리즈 13편.
시리즈: 공공데이터에서 영업 시그널을 자동으로 발굴하기까지, 12편 읽기
무엇을 먼저 봐야 하는가
18만 건의 시그널이 쌓여 있다. 영업팀에게 이걸 그대로 넘기면 이렇게 된다. "여기 18만 건이요. 찾아보세요."
당연히 이럴 수는 없다. 사람이 보기 전에 기계가 먼저 우선순위를 매겨야 한다. 그래야 영업팀은 상위 100건, 상위 50건만 보면 된다.
문제는, "우선순위를 어떻게 정하는가".
5차원 스코어카드
여러 스코어링 방식을 시도한 끝에 정착한 건 5가지 차원의 스코어카드다.
| 차원 | 배점 | 평가 내용 |
|---|---|---|
| 예산 현실성 | 30점 | 예산이 있는가? 규모가 우리 사업에 맞는가? 조달 명확성은? |
| 의사결정 명확성 | 30점 | 예산 의사결정자, 기술 담당자, 구매 프로세스가 보이는가? |
| 타이밍 | 30점 | 트리거 이벤트가 있는가? 입찰까지 얼마나 남았는가? 긴급성은? |
| 지속성 | 20점 | 반복 매출 가능성, 표준 락인, 레퍼런스 확장성 |
| 승률 및 경로 | 20점 | 요구사항 적합도, 경쟁 구도, 영업 경로 |
점수 → 퍼널 단계 자동 매핑
합계 130점 만점에서 백분율로 환산해 퍼널 단계로 매핑된다.
- 0~29점: Cold, 인지 단계. 존재만 파악
- 30~49점: Warm, 관심 단계. 모니터링 대상
- 50~69점: Qualified, 검증 단계. 담당자 배정 가능
- 70~84점: Opportunity, 기회 단계. 적극 활동 필요
- 85~100점: Hot Lead, 즉시 행동 필요
스코어링의 실제 어려움
스코어카드 자체는 어렵지 않다. 진짜 어려운 건 "점수를 매길 정보가 데이터에 있느냐"다.
예산 현실성 30점을 평가하려면, 예산 정보가 있어야 한다. 그런데 앞에서 다루지 않았는가, 예산이 명시적으로 있는 소스는 20%뿐이다. 나머지 80%는 본문이나 첨부파일 속에 묻혀 있다.
여기서 LLM이 들어온다. 구조화된 필드만으로 점수를 매길 수 없으니, 비정형 텍스트를 LLM이 읽고 "예산 규모가 약 50억으로 추정되며, 구매 프로세스가 명확하고, 마감이 3개월 내" 같은 판단을 내리고, 이를 기반으로 점수를 산출한다.
스코어링의 진화: 예산 연동
더 정교한 스코어링을 위해 예산 데이터를 연동한다.
54개 정부 기관의 세부사업 예산 데이터를 갖고 있다. 시그널이 들어오면, 해당 기관의 관련 예산 항목과 자동으로 매칭한다. 매칭이 되면 "예산 현실성" 점수가 상향 조정된다.
예를 들어 특정 부처에서 관련 분야 공고가 나왔는데, 예산 데이터에서 해당 부처의 관련 세부사업 예산이 상당 규모로 확인되면, 이 시그널의 예산 점수는 확 올라간다. "건당 예산이 있는지"를 넘어서 "부처 수준에서 예산이 실제로 배정되어 있는지"까지 교차 검증하는 셈.
사람의 판단도 들어간다
자동 스코어링이 만능은 아니다.
AI가 85점을 줬는데, 영업 담당자가 보기에 "이건 우리한테 안 맞는데?" 하는 경우가 있다. 이럴 때 사람이 수동으로 점수를 조정할 수 있다. 조정 사유와 함께.
이 피드백이 쌓이면, 스코어링 모델 자체를 개선할 수 있다. "이런 패턴의 시그널은 AI가 높게 치지만 사람이 낮추는 경향", 이게 학습 데이터가 된다.
기계가 1차 필터를 하고, 사람이 2차 판단을 하고, 그 판단이 다시 기계를 개선하는 순환. 이런 피드백 루프가 돌아가야 스코어링이 실무에서 살아남는다.
다음 에피소드에서는 고객의 목소리와 시장 시그널이 만나는 지점을 이야기한다.