한 번 물어보면 안 되는 이유
AI는 같은 질문에도 답을 조금씩 다르게 만듭니다. 어제는 우리를 첫 번째로 소개했다가 오늘은 빼기도 합니다. 그래서 “한번 물어봤더니 나왔다”는 측정이 아닙니다. 동전을 한 번 던져 앞면이 나왔다고 앞면 확률이 100%라고 하지 않는 것과 같습니다.
생성형 엔진 최적화(GEO)라는 말을 널리 알린 2023년 논문도 AI 답변 속 노출을 숫자로 정의하고, 많은 질문에 걸쳐 측정했습니다. 저희는 이 생각을 현장 업무에 맞게 다듬어 아래 규칙으로 측정합니다.
1. 질문 설계
질문은 손님이 실제로 묻는 말투로 만듭니다. 네 가지 유형을 섞으면 빠짐없이 볼 수 있습니다.
| 유형 | 예 (숙소) | 무엇을 보나 |
|---|---|---|
| 추천형 | “○○역 근처 조용한 호텔 추천해 줘” | 후보에 들어가는지 |
| 조건형 | “강릉 오션뷰 펜션 중 바비큐 되는 곳” | 특징이 알려져 있는지 |
| 비교형 | “A호텔이랑 B호텔 중 어디가 나아?” | 경쟁사 대비 어떻게 설명되는지 |
| 확인형 | “A호텔 주차 돼? 체크인 몇 시야?” | 정보가 정확한지 |
외국인 손님이 많다면 영어 질문도 20~30% 넣습니다. 질문 목록은 측정을 시작할 때 확정하고, 중간에 바꾸면 그 달은 따로 표시합니다.
2. 반복 횟수와 대상 AI
저희는 같은 질문을 여러 번 묻고, 쌓인 답변으로 비율을 봅니다. 횟수를 늘릴수록 결과가 안정되지만 비용도 늘어나서, 질문 수와 AI 수에 맞춰 횟수를 정합니다. 다만 네이버 AI 브리핑은 검색 결과에 붙는 요약이라 여러 번 물어도 거의 같아서 더 드물게 봅니다.
대상 AI는 손님이 많이 쓰는 곳으로 고릅니다. 저희는 ChatGPT, Gemini, Perplexity, Claude, 구글 AI 개요·AI 모드, 네이버 AI 브리핑·AI탭 가운데 최대 8곳을 측정합니다. 국내 손님이 중심이라면 네이버 두 곳은 꼭 넣는 편이 좋습니다.
3. 지표와 계산
예를 들어 질문 20개를 각각 3번씩, 모두 60번 물었다고 해 볼게요.
| 지표 | 계산 | 예 |
|---|---|---|
| 추천 노출률 | 우리가 언급된 답변 수 ÷ 추천형 답변 수 | 24 ÷ 60 = 40% |
| 첫 번째 소개 | 여러 곳 중 우리가 맨 앞에 나온 횟수 | 9회 |
| 점유율(SoV) | 우리 언급 수 ÷ 모든 브랜드 언급 수 | 24 ÷ 104 = 23% |
| 정보 정확도 | 맞게 말한 사실 수 ÷ 확인한 사실 수 | 47 ÷ 50 = 94% |
| 공식 출처 인용 | 공식 홈페이지가 출처로 붙은 답변 수 | 11회 |
추천 노출률은 “우리가 나오나”를, 점유율은 “경쟁사와 비교해 얼마나 나오나”를 보여 줍니다. 둘 다 봐야 합니다. 시장 전체에서 AI가 언급하는 브랜드 수가 늘면, 노출률은 그대로인데 점유율은 내려갈 수 있습니다.
4. 판정 기준을 미리 정하기
같은 답변을 보고도 사람마다 다르게 셀 수 있습니다. 측정 전에 규칙을 글로 정해 둡니다.
- 이름 변형: “○○호텔”, “○○ 호텔”, “Hotel ○○“을 모두 같은 곳으로 셉니다. 목록을 미리 만들어 둡니다.
- 언급과 추천 구분: “○○호텔은 주차가 안 돼서 불편하다”는 언급이지만 추천은 아닙니다. 따로 표시합니다.
- 사실 판정: 공식 정보 문서와 비교해 맞음, 틀림, 언급 없음 세 가지로 나눕니다.
- 애매한 경우: 규칙으로 판단이 안 되면 사람이 보고, 그 결정을 규칙에 추가합니다.
5. 원문을 모두 저장하기
숫자만 남기면 왜 달라졌는지 알 수 없습니다. 답변 원문, 인용된 링크, 측정 날짜, 사용한 AI와 모델을 함께 저장합니다. 나중에 “지난달엔 왜 빠졌지?“를 확인할 때 원문이 답을 줍니다.
흔한 실수
- 개인 계정으로 측정하기. 대화 기록이나 설정이 답변에 섞일 수 있습니다. 저희는 측정 전용 환경을 씁니다.
- 매번 다른 질문으로 묻기. 숫자가 오른 건지 질문이 쉬워진 건지 구분할 수 없습니다.
- 측정 방식을 중간에 바꾸기. 같은 AI라도 어디서 어떻게 묻느냐에 따라 답이 달라질 수 있습니다. 처음 정한 방식을 그대로 유지합니다.
- 한 달 결과로 결론 내리기. 최소 두세 달 추세를 보고 판단합니다.
기준선부터 만드세요
측정의 첫 번째 결과는 성적표가 아니라 출발선입니다. 지금 우리가 어디에 있는지 알아야 무엇을 고쳤을 때 얼마나 움직였는지 말할 수 있습니다.
자주 묻는 질문
질문은 몇 개가 적당한가요?
가게나 숙소 하나라면 20~30개로 시작하면 충분합니다. 브랜드는 카테고리가 넓으니 50개 이상으로 늘리기도 합니다. 개수보다 정해 둔 주기마다 같은 질문을 같은 방식으로 묻는 것이 더 중요합니다.
제 휴대폰으로 물어본 결과를 써도 되나요?
참고용으로는 괜찮지만 측정용으로는 권하지 않습니다. 개인 계정은 대화 기록과 설정이 답변에 영향을 줄 수 있습니다. 측정 전용 환경에서 같은 조건을 유지하세요.
점유율이 몇 %면 잘하는 건가요?
업종과 지역마다 경쟁 상황이 달라 정답은 없습니다. 첫 측정을 기준선으로 삼아, 우리 숫자가 오르는지와 경쟁사보다 빠르게 오르는지를 보세요.
측정은 얼마나 자주 하나요?
아웃픽은 같은 질문을 정기적으로 다시 물어 추이를 봅니다. AI 답변은 짧은 기간에도 달라지고, 고친 효과를 빨리 확인할 수 있어서입니다. 직접 하신다면 매달 한 번만 해도 큰 흐름은 보입니다.
참고한 자료
사례와 의견은 아웃픽이 직접 진행한 숙소·가게 프로젝트에서 나왔습니다. 마지막 확인 2026년 11월 7일.