클라이원트, 매출 얼마나 올려줄까? 📊 (제3자 검증 ✅)

클라이원트 도입 시, 매출 상승 효과는?

이 질문에 명확한 답을 드리기 어려웠습니다. 솔직히, 저희도 정확히 알지 못했거든요.

정확한 효과 측정이 어려운 이유는 다양한 변수가 개입되고, 데이터 확보 및 분석에 많은 리소스가 필요하기 때문입니다.

그러나 잠재 고객의 궁금증에 명확한 숫자로 답하고, 내부적으로 부족한 부분을 개선하기 위해 미국 노스웨스턴 대학교의 Nicolas Min 박사님께 정밀한 통계 분석을 의뢰했습니다.

Department of Finance, Kellogg School of Management, Northwestern University

아래의 모든 분석 결과는 수정 없이 원본 그대로입니다. (단, 민감한 고객 정보는 철저히 제외했습니다.) 데이터를 인위적으로 손보려 하면 오히려 앞뒤가 맞지 않아 수정 자체가 불가능하며, 만약 조작이 가능했다면 훨씬 더 극적인 결과를 만들었을 겁니다.

데이터를 면밀히 분석해보니 여전히 보완해야 할 부분이 많았지만, 긍정적인 소식도 함께 발견할 수 있었습니다.

클라이원트 도입 효과 한눈에 보기

📈 매출 증가
클라이원트를 도입한 고객사의 첫 달 평균 낙찰액이 비고객사보다 2억 원 이상 높은 것으로 확인되었습니다. (*비고객사의 정의 및 선정 기준은 아래 방법론에서 설명합니다.)

💰 ROI 극대화
클라이원트를 도입한 고객사는 평균적으로 즉시 이용료를 크게 초과하는 ROI(투자 대비 수익률)를 경험했으며, 장기 구독 시 ROI가 지속적으로 증가하는 경향을 보였습니다. 즉, 꾸준히 활용할수록 효과가 극대화됩니다.

⏳ 업무 시간 및 비용 절감
설문조사에 따르면, 클라이원트 도입 후 조달 업무에 소요되는 시간이 평균 62% 감소했습니다.

• 이를 연봉 4,000만 원의 사내 입찰 담당자 기준으로 환산하면, 1인당 연간 2,480만 원의 비용 절감 효과를 기대할 수 있습니다.
• 특히, 기업별로 평균 5~7명의 담당자가 클라이원트를 활용하는 점을 고려하면, 절감 효과는 더욱 커집니다.

출시 1년 차의 신생 서비스임에도 불구하고 많은 기대와 관심을 보내주신 고객사 여러분께 진심으로 감사드립니다. 2025년에는 더욱 발전된 서비스로 보답하기 위해, 지난 1년간의 긍정적인 성과와 개선이 필요한 부분까지 솔직하게 공유합니다.

통계 분석은 다음과 같이 진행되었습니다

2024년 12월 기준, 클라이원트는 약 70개의 유료 고객사를 보유하고 있으며, 협회 및 전략적 협력 체계를 제외한 실제 입찰에 참여 중인 59개 기업을 대상으로 분석을 진행했습니다.

1. 클라이원트 고객사의 조달 통계

• 고객사 주요 정보: 클라이원트 도입일, 나라장터 등록일, 입찰 시작일, 직원 수
• 고객사 입찰 성과:
  • 입찰 참여(Bids), 낙찰(Win), 계약(Contract)
  • 낙찰 승률(Win Rate), 입찰 공고 게시 후 해당 업체의 투찰까지 소요되는 기간(Response Time)
  • 클라이원트 투자 수익률(이용료 대비 공공 조달 계약 금액 증가율, ROI)

2. 클라이원트 고객사 설문조사

• 서비스 이용 시간 및 B2G 매출 비중
• 조달 업무 시간 절감 효과 및 스트레스 감소 효과
• 서비스 기능별 조달 업무 시간 단축 효과
• 설문조사 문항 간 상관관계 분석

3. 클라이원트 고객사 vs. 비고객사 성과 비교

• 비고객사 선정 방식: 유사 고객군 정의
• 입찰 참여(Bids), 낙찰 승률(Win Rate), 낙찰(Win), 계약(Contract)

이를 바탕으로 클라이원트 도입 효과를 객관적으로 평가했습니다.

1. 클라이원트 고객사의 조달 통계

클라이원트 서비스는 2024년 1월 공식 출시되었으며, 매월 5~6개 기업이 꾸준히 합류하고 있습니다.

입찰 경험이 풍부한 기업들뿐만 아니라, 오히려 2018년 이후 공공 시장 진출을 꿈꾸는 신생 조달 기업들이 더욱 적극적으로 합류하고 있습니다.

고객사 직원 수의 중위값은 29명으로, 대다수가 스타트업 및 중소기업 규모입니다.

클라이원트의 고객사는 대체로 2020년부터 2021년까지 입찰 참여 건수를 점차 줄이다가, 2022년을 기점으로 반등하며 공공 사업을 단순한 현상 유지가 아닌 지속적으로 확장하려는 니즈를 가진 기업들입니다.

이는 2022년 코로나 해제 이후 급격한 인플레이션으로 민간 경제가 악화되면서, 기업들이 안정적인 매출원을 확보하기 위해 공공 사업을 적극적으로 확대하려는 전략을 택한 것으로 추측됩니다.

클라이원트 고객사의 낙찰 및 계약 건수는 해마다 감소하고 있지만, 낙찰 및 계약 금액(약 5억 원대)은 2020년 이후 꾸준히 유지되고 있습니다.

다만, 클라이원트 고객사의 낙찰 금액이 비고객사 대비 약 2억 원 이상 높은 것으로 확인되었습니다. (아래에서 비고객사와의 비교 예정)

클라이원트 고객사의 낙찰 승률 또한 2020년부터 점진적으로 하락하고 있으며, 현재 평균 25~30% 수준을 유지하고 있습니다.

이러한 변화에는 여러 복합적인 요인이 작용할 수 있으며, 특히 최근 입찰을 시작한 신생 기업들이 참여하면서 전체적인 낙찰 확률이 낮아진 영향일 가능성이 있습니다.

어떤 이유에서든 궁극적으로 입찰 경쟁이 더욱 치열해지고 있음을 보여주며, 이러한 환경에서 많은 입찰 기업들이 클라이원트와 같은 외부 입찰 솔루션 도입에 관심을 갖게 되는 배경으로 해석할 수 있습니다.

시간이 지날수록 기업들이 공고 발표 후 입찰에 참여하기까지의 기간이 점점 짧아지고 있습니다. 현재 평균 입찰 참여 기간은 약 12.5일로 단축된 것으로 나타납니다.

다만, 입찰 참여 기간이 짧아진 이유와 의도를 정확히 파악하기는 어렵습니다. 이는 다양한 변수가 작용하기 때문인데, 예를 들어 무분별하게 입찰에 참여하는 기업과 신중하게 RFP를 상세히 분석한 후 참여하는 기업이 공존하고 있기 때문입니다. 따라서, 입찰 참여 기간 단축을 단순히 긍정적이거나 부정적으로 단정 짓기는 어렵습니다.

흥미로운 점은 클라이원트를 도입한 이후, 입찰에 참여하는 기간이 오히려 소폭 증가했다는 것입니다. 처음에는 클라이원트가 입찰 업무를 간소화함으로써 입찰 참여 기간이 단축될 것이라 예상했지만, 만약 이 효과가 전혀 없었다면, 큰 흐름에 따라 기간 단축이 미미하거나 거의 변화가 없었을 것입니다.

그러나 오히려 기간이 증가했다는 것은 또 다른 시사점을 제공합니다. 클라이원트의 AI 입찰 추천 기능이 기업에 적합한 공고를 보다 정교하게 찾아주면서, 기존에는 정보 부족으로 무분별하게 입찰하던 기업들도 더욱 신중하게 입찰에 참여하게 된 것입니다. 그 결과, 입찰 준비 기간이 자연스럽게 길어졌을 가능성이 큽니다.

이를 통해 앞서 언급한 낙찰/계약 건수가 줄어든 반면, 낙찰/계약 규모가 유지되고 있는 현상을 설명할 수 있습니다. 즉, 기업들이 무작위로 입찰하는 대신, 자신들에게 가장 적합한 공고를 선별해 전략적으로 참여하고 있다는 해석이 가능합니다. 이에 대한 기업들의 의도를 보다 정확히 파악하기 위해, 아래 설문조사를 진행했습니다.

클라이원트의 이용료에 대한 투자 수익률(ROI)은 긍정적인 수치를 보였습니다.

클라이원트는 전반적인 소프트웨어 시장에서도 비교적 높은 가격대에 속하며, 가장 비싼 글로벌 플랜은 1천만 원대에 달합니다. 그러나 클라이원트가 찾아준 입찰 공고와 AI 기반 RFP 분석, 경쟁사 분석, 정부 예산 기능 등을 활용해 전략적으로 입찰을 준비하고 사업을 수주할 경우, 이용료를 훨씬 초과하는 수익을 창출할 수 있음이 명확하게 드러났습니다.

실제로 클라이원트 고객사들도 서비스 도입 후 투자 비용을 충분히 회수하는 것으로 나타났으며, 시간이 지날수록 투자 수익률이 지속적으로 상승하는 경향을 보였습니다. 이는 클라이원트를 장기간 활용할수록 그 효과가 더욱 극대화된다는 의미입니다.

물론, 소수의 중견기업 및 대기업이 입찰을 주도하면서 데이터가 왜곡된 것은 아닌지 의심했습니다. 이를 확인하기 위해 계약 금액 기준 상위 25% 기업(Big Firms)과 그 외 기업(Small Firms)으로 나누어 각각 세밀하게 분석했습니다.

분석 결과, 예상대로 Big Firms는 첫 달부터 계약을 체결하며 즉각적으로 이용료를 초과하는 투자 수익률(ROI)을 기록했습니다. 반면, Small Firms는 초기 4개월 동안 투자 수익이 이용료에 미치지 못했으나, 5개월 차부터 가파르게 상승하며 본격적인 성장 곡선을 그렸습니다. 이는 상대적으로 입찰 경험과 노하우가 부족한 Small Firms가 초반에는 어려움을 겪지만, 일정 기간이 지나면서 효과를 실감하기 시작한다는 것을 의미합니다.

이를 바탕으로, 클라이원트는 기존에 입찰을 잘하는 기업뿐만 아니라 신생 기업들도 더 빠르게 효과를 체감할 수 있도록, 투자 수익 실현 시점을 더욱 앞당기는 것을 목표로 합니다.

2. 클라이원트 고객사 설문조사

지금까지 조달청에 등록된 공공 데이터를 기반으로 조사 및 분석한 결과를 공유했습니다. 이어서, 클라이원트 고객사가 실제로 서비스를 어떻게 체감하는지 확인하기 위해 2024년 12월 설문조사를 실시했으며, 총 26개사가 자발적으로 참여해주셨습니다. (응답률 44%)

우선, 클라이원트의 이용 빈도를 조사한 결과, 매일 10분 이상 사용하는 고객사가 가장 많았습니다. 다행히도 클라이원트를 도입한 후 지속적으로 활용하는 고객사가 많았습니다.

클라이원트 고객사를 대상으로 전체 매출에서 공공 분야가 차지하는 비율을 조사한 결과, 예상보다 다양한 분포를 보였습니다. 중요한 점은 클라이원트 서비스를 꼭 B2G 기업만 사용하는 것이 아니라, B2B 및 B2C 기업들도 B2G 사업을 병행하고 있다는 것입니다.

클라이원트 도입 후 조달 업무로 인한 스트레스 감소율을 조사한 결과, 평균적으로 61% 줄었다는 응답을 받았습니다. 물론 스트레스 감소는 주관적인 요소이지만, 오히려 담당자의 체감 만족도를 직관적으로 보여주는 중요한 지표가 될 수 있습니다. 클라이원트는 이 만족도를 더욱 높일 수 있도록 지속적으로 노력하겠습니다.

클라이원트가 실제 조달 업무에서 얼마나 효과적으로 시간을 단축하는지 조사한 결과, 전반적인 시간 단축 효과에 대한 질문에 평균적으로 62% 감소라는 응답이 나왔습니다.

이를 단순 계산하면, 연봉 4,000만 원인 사내 입찰 담당자의 경우 1인당 연간 2,480만의 비용 절감 효과를 기대할 수 있습니다. 더 나아가, 기업별로 클라이원트를 이용하는 담당자가 평균 5~7명인 점을 고려하면, 전체적인 절감 효과는 더욱 커질 수 있습니다.

이어서, 클라이원트의 주요 세 가지 기능이 시간 단축에 미치는 효과를 구체적으로 분석했습니다.

1. 입찰 검색: 평균적으로 68% 시간 단축
2. RFP 검토: 평균적으로 56% 시간 단축
3. 경쟁사 및 수요 기관 분석: 평균적으로 71% 시간 단축

초반에 예상했던 방향과 다소 차이가 있었지만, 다시 분석해보니 어느 정도 공감할 수 있는 결과였습니다.

사실 입찰 검색과 RFP 분석의 경우, 클라이원트의 추천 이메일 공고, RFP 요약, 매칭 기능이 매우 편리할 수 있지만, 숙련된 입찰 담당자라면 기존의 노하우로도 어느 정도 대응할 수 있습니다. (문제는 신규 입사자가 합류했을 때 이 노하우를 단번에 전수하기 어렵다는 점입니다.)

반면, 경쟁사 및 수요 기관 분석은 철저한 데이터 싸움이기 때문에 기존 노하우만으로는 한계가 있습니다. 경쟁사가 실제로 어떤 프로젝트를 수주했는지, 그들의 경쟁사는 누구이며 낙찰 승률은 어떤지, 주요 수요 기관과 협력하는 기업은 어디인지 등 입찰 시장의 큰 그림을 파악해야만 제대로 된 전략을 수립할 수 있습니다.

입찰 전략이 거창한 것이 아닙니다. 우리의 잠재 고객이 누구인지, 그들의 니즈는 무엇인지, 우리와 경쟁사의 역량 차이는 얼마나 되는지 등 이 기본적인 요소를 정확히 파악해야 합니다. 이를 모른 채 접근하면, 결국 주변에 수소문하거나 접대에 의존하게 되고, 잘못된 정보로 인해 섣부른 선택을 하면서 회사 매출에 치명적인 영향을 미칠 수도 있습니다.

마지막으로, 여러 문항 간의 상관관계를 분석하고 히트맵으로 시각화해 보았습니다. 예상보다 흥미로운 시사점이 많았는데요.

참고로, 각 숫자는 두 변수 간의 상관계수를 나타냅니다. 값이 1에 가까울수록 강한 양의 상관관계를, 0에 가까울수록 상관관계가 거의 없음을, -1에 가까울수록 강한 음의 상관관계를 의미합니다.

다행히 모든 상관관계가 직관적으로 이해되는 수준이라, 응답자들이 성실하게 답변했음을 알 수 있었습니다.

강한 상관관계를 보인 세 가지를 정리하면 다음과 같습니다.

1. 조달 업무 시간이 단축될수록 조달 관련 스트레스도 함께 감소합니다.

• 전체 조달 업무의 시간 단축(effect_total)과 스트레스 감소율(effect_stress): 상관계수 0.82

2. RFP 검토는 전체 조달 업무에서 중요한 역할을 합니다.

• 전체 조달 업무의 시간 단축(effect_total)과 RFP 검토 효율성(effect_rfp): 상관계수 0.83

3. 입찰 검색 업무는 스트레스와 밀접한 연관이 있습니다.

• 입찰 검색 업무의 시간 단축(effect_search)과 스트레스 감소율(effect_stress): 상관계수 0.78

반면, 경쟁사 및 수요기관 분석(effect_entityanalysis)과 관련된 상관계수는 상대적으로 낮은 편이었습니다.

• 전체 조달 업무의 시간 단축(effect_total)과의 상관계수: 0.48
• 스트레스 감소율(effect_stress)과의 상관계수: 0.60

위 결과는 앞서 경쟁사 및 수요기관 분석 업무 시간이 평균적으로 71% 단축되었다는 응답과는 다소 상반되는 흐름을 보입니다. 즉, 시간이 크게 줄어들었음에도 불구하고 전체 조달 업무나 스트레스 감소와의 연관성은 상대적으로 약한 것으로 나타났습니다.

​응답자들의 입장에서 보면, 입찰 검색이나 RFP 분석은 조달 업무의 핵심으로 직접적으로 인식되는 반면, 경쟁사 및 수요기관 분석은 시장조사나 사업 개발과 같은 부가적인 업무로 여겨지는 경향이 있다는 점을 설문 결과를 통해 추측할 수 있습니다.

이러한 결과는 실무에서의 인식이 그대로 반영된 것으로 보이며, 질문의 이면을 이해할 수 있었습니다. 따라서, 앞으로 클라이원트는 산업 분석의 중요성을 강조하는 세미나 및 교육 프로그램의 필요성을 더욱 크게 인식하게 되었습니다.

위 주요 문항뿐만 아니라, 클라이원트 사용 주기, 친숙도, B2G 매출 등 기본 문항까지 포함한 전체 상관관계 히트맵입니다.

특별히 새로운 인사이트가 도출되지는 않았지만, 예상대로 클라이원트 서비스를 친숙하게 잘 활용하는 고객일수록 조달 업무의 시간 단축 효과를 더욱 크게 체감하는 것으로 나타났습니다.

• 전체 조달 업무의 시간 단축(effect_total)과 클라이원트 친숙도(use_well): 상관계수 0.7

물론, 아직 모든 고객사가 클라이원트의 기능을 완전히 숙달하여 사용하고 있는 것은 아닙니다. 이를 지원하기 위해 튜토리얼 및 가이드 콘텐츠를 주기적으로 제작하고 있습니다.

하지만 궁극적으로는 디자인 연구 및 고객 인터뷰를 통해 제품의 UI/UX를 지속적으로 개선하는 데 집중하고 있으며, 더 사용하기 편리한 서비스를 제공함으로써 조달 업무의 시간 단축에 실질적인 도움이 될 수 있도록 노력하겠습니다.

3. 클라이원트 고객사 vs. 비고객사 성과 비교

마지막으로, 이번 조사의 하이라이트는 클라이원트 고객사와 비고객사의 성과 비교입니다. 이는 클라이원트가 미국 노스웨스턴 대학교와 산학협력을 진행하게 된 핵심 배경이며, 궁극적으로 AI가 조달 시장에 미치는 긍정적인 영향을 공동 연구하기 위한 목적입니다.

이를 위해 올해 하반기에는 미국 내 기업을 대상으로 랜덤 샘플링을 통해 1,000개 기업을 선정하고, 보다 정밀한 비교 실험을 진행할 계획입니다. 클라이원트 AI 서비스를 제공받은 기업과 그렇지 않은 기업을 1:1로 매칭하여 객관적인 성과 차이를 분석하는 방식입니다.

이 연구를 공개적으로 언급할 수 있는 이유는, 현재 클라이원트처럼 AI 기반 입찰 솔루션을 연구 수준까지 끌어올릴 수 있는 기업이 전 세계적으로 거의 없기 때문입니다. 연구 결과는 미국 학술지 게재를 목표로 진행되며, 학계에서도 인정받을 수 있는 수준 높은 연구 성과를 도출할 것으로 기대하고 있습니다.

다만, 아직 실험을 진행하지 않은 상황에서 간접적으로 고객사와 비고객사의 성과를 비교할 수 있는 최선의 방법은, 조달청에 등록된 50만 개의 기업 중 클라이원트 고객사와 유사한 입찰 패턴을 보유한 기업을 비고객사 그룹으로 설정하여 비교하는 방식입니다.

이를 위해 의료 연구나 경제 분석 분야에서 실험이 아닌 관찰 데이터만을 활용해 유사한 두 그룹을 매칭하는 기법인 Mahalanobis Distance Matching (MDM)을 사용했습니다. 쉽게 말해, 약을 복용한 그룹(Treatment Group)과 복용하지 않은 그룹(Control Group)에서 유사한 조건을 가진 사람들을 짝지어 비교하는 방식과 같은 원리입니다.

물론, 이 방식에는 한계가 있습니다. 사전에 정의한 변수 외에도 다양한 요인이 결과에 영향을 미칠 수 있기 때문입니다. 예를 들어, 입찰 참여 기간이나 낙찰/계약 건수를 기준으로 비고객사 그룹을 설정했지만, '입찰에 대한 열정'과 같은 요소는 데이터로 측정하기 어려워 포함하지 못했습니다. 하지만 이러한 요소도 입찰 성과에 중요한 영향을 미칠 수 있습니다.

이러한 한계를 극복하기 위해 실험을 진행하면, 모집단을 무작위로 설정하여 외부 변수의 영향을 통제할 수 있어 더욱 순수한(Pure) 결과를 얻을 수 있습니다.

아무튼, 실험 이야기는 여기까지 하고 이제 관찰 데이터를 기반으로 클라이원트 고객사와 비고객사의 성과를 비교해보겠습니다.

참고로, 아래 그래프에서 점선의 왼쪽은 클라이원트 도입 이전, 오른쪽은 도입 이후를 개월 수로 나타냅니다. 파란색 점이 0 이상으로 상승해야 클라이원트의 효과가 있다고 볼 수 있으며, 선은 신뢰 구간를 의미합니다.

우선, 입찰 참여 금액, 입찰 참여 건수, 그리고 입찰 참여 기간에서는 비고객사와의 뚜렷한 차이를 발견하기 어려웠습니다. 이는 앞선 분석에서 클라이원트 고객사의 데이터를 기반으로 도입 전후 변화를 확인했을 때 큰 차이가 나타나지 않은 것과 동일한 맥락입니다.

하지만, 아래 그래프에서 보듯이, 낙찰 횟수는 0보다 통계적으로 유의미하게 높은 값을 나타내며, 클라이원트 고객사가 비고객사보다 더 많은 낙찰을 받는다는 점이 확인되었습니다. 특히, 도입 첫 달에 그 효과가 더욱 두드러지게 나타났습니다.

뿐만 아니라, 낙찰 금액 역시 클라이원트 고객사가 비고객사보다 통계적으로 유의미하게 더 높은 것으로 확인되었습니다. 특히, 도입 첫 달에는 약 2억 원의 차이를 보였습니다. 다만, 이 성과 차이가 지속되지 않고 다시 감소하는 점은 다소 아쉬운 부분입니다.

이를 통해 클라이원트가 단순히 입찰 참여 횟수를 늘리는 것이 아니라, 보다 정확한 입찰 기회를 식별하고 전략적 의사 결정을 지원하는 역할을 하고 있음을 알 수 있습니다.

계약 데이터에서는 횟수 측면에서는 비고객사와 큰 차이가 없었지만, 금액 면에서는 클라이원트 고객사가 비고객사보다 더 높은 것으로 나타났습니다. 낙찰과 달리, 도입 후 약 3개월 시점에서 비고객사군과의 차이가 두드러지게 나타난 점이 특징적이었습니다. 다만, 이 차이가 지속적으로 유지되지 않았다는 점은 아쉬운 부분입니다.

클라이원트 출시 첫해를 돌아보며

분석 자료 공개가 다소 늦어졌지만, 이번 데이터는 2024년 1월 1일부터 12월 31일까지의 기간을 기준으로 분석한 결과입니다. 데이터를 면밀히 살펴본 결과, 출시 첫해치고는 고객사분들께 의미 있는 성과를 제공할 수 있었다고 판단됩니다.

다만, 앞으로는 이러한 분석 자료 없이도 누구나 자연스럽게 클라이원트의 효과를 체감하고, 입소문만으로도 그 가치를 확신할 수 있도록 더욱 극적인 성과를 만들어야겠다는 다짐을 하게 되었습니다.

이번 조사는 저희 스스로를 돌아보는 좋은 계기가 되었으며, 깊이 있는 분석을 진행해주신 미국 노스웨스턴 대학교의 Nicolas Min 박사님께 다시 한번 감사의 말씀을 전합니다. 분석 자료의 원본은 투명하게 공유드립니다.

(Appendix) 고객사 vs. 비고객사 비교 방법론 추가 설명

이번 분석에서는 Borusyak, Jaravel, and Spiess (2024)의 Two-Way Fixed Effects (TWFE) 모델을 활용하여 클라이원트 도입이 기업의 입찰 성과에 미치는 영향을 분석했습니다.

TWFE 모델을 적용함으로써 기업별 및 시점별 고정 효과를 통제하여, 개별 기업의 특성이나 외부 환경 변화와 무관하게 클라이원트 도입의 순수한 효과를 추정할 수 있도록 설계했습니다. 또한, 인과 추론 프레임워크를 활용하여 단순한 상관관계가 아닌 클라이원트 도입의 인과적 효과를 분석하는 데 초점을 맞췄습니다.

이를 통해 클라이원트 도입이 실제로 입찰 성과에 긍정적인 영향을 미치는지 검증하고, 그 효과의 지속성과 변화를 보다 신뢰할 수 있는 방식으로 평가할 수 있도록 하였습니다.