세 종류의 방문자
각 회사의 공식 문서를 읽어 보면, AI 회사가 웹사이트에 보내는 프로그램은 대체로 세 종류로 나뉩니다.
- 학습용 크롤러. 앞으로 만들 AI 모델을 학습시키는 데 쓸 수 있는 글을 모읍니다.
- 검색용 크롤러. AI 검색 답변에 보여 줄 페이지를 미리 모아 색인합니다.
- 사용자 요청 방문. 사용자가 질문하거나 링크를 주면 그 자리에서 페이지를 열어 봅니다.
이 구분을 알면 “AI에 학습되는 건 싫지만 답변에는 나오고 싶다” 같은 결정을 할 수 있습니다.
서비스별 정리
| 서비스 | 검색·답변용 | 사용자 요청 방문 | 학습용 |
|---|---|---|---|
| ChatGPT (OpenAI) | OAI-SearchBot | ChatGPT-User | GPTBot |
| Perplexity | PerplexityBot | Perplexity-User | 학습에 쓰지 않는다고 안내 |
| Claude (Anthropic) | Claude-SearchBot | Claude-User | ClaudeBot |
| Gemini 앱 | 구글 검색 색인 | Google-Extended로 학습·그라운딩 사용 여부 조절 | |
| 구글 AI 개요·AI 모드 | 구글 검색 색인 (Googlebot) | ||
| 네이버 AI 브리핑 | 네이버 검색 결과와 플레이스 |
ChatGPT
OpenAI는 ChatGPT 검색에 사이트를 보여 주는 데 OAI-SearchBot을 씁니다. OpenAI 문서에 따르면 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않습니다(단순 링크로는 보일 수 있음). robots.txt를 바꾸면 검색에 반영되기까지 약 24시간이 걸린다고 안내합니다. GPTBot은 모델 학습용이라 따로 막을 수 있고, ChatGPT-User는 사용자가 요청할 때 페이지를 여는 용도입니다.
Gemini와 구글 AI 개요
구글은 AI 개요와 AI 모드에 나오기 위한 특별한 요건이 없다고 밝혔습니다. 구글 검색에 색인되고 스니펫을 보여 줄 수 있는 페이지면 되고, 별도의 AI용 파일이나 특수 마크업도 필요 없다고 안내합니다. 결국 구글 쪽은 일반적인 SEO가 그대로 바탕이 됩니다.
Google-Extended는 별도 크롤러가 아니라 robots.txt에 쓰는 표시입니다. 이걸로 막으면 Gemini 모델 학습과 Gemini 앱의 그라운딩에 사이트 내용이 쓰이지 않게 할 수 있습니다. 구글은 Google-Extended를 막아도 구글 검색 노출에는 영향이 없다고 밝혔습니다.
Perplexity
PerplexityBot은 Perplexity 검색 결과에 사이트를 보여 주고 링크하는 데 쓰입니다. Perplexity는 이 크롤러를 AI 모델 학습용으로 쓰지 않는다고 안내합니다. Perplexity-User는 사용자가 질문할 때 페이지를 가져오는 용도인데, 사용자가 요청한 방문이라 robots.txt 규칙을 대체로 따르지 않는다고 설명합니다.
Claude
Anthropic은 세 가지를 나눠 둡니다. ClaudeBot은 학습용, Claude-SearchBot은 검색 답변의 품질을 높이기 위한 색인용, Claude-User는 사용자가 질문할 때 페이지를 여는 용도입니다. Anthropic은 Claude-SearchBot이나 Claude-User를 막으면 사용자 검색 결과에서 노출이 줄 수 있다고 안내합니다.
네이버
네이버는 2025년 3월 검색에 AI 브리핑을 열면서, 요약에 참고한 원문과 창작자를 출처로 보여 준다고 밝혔습니다. 플레이스 AI 브리핑은 플레이스에 쌓인 리뷰와 사진을 바탕으로 만들어집니다. 자세한 내용은 네이버 AI 브리핑 가이드에 정리했습니다.
그래서 우리가 할 일
- 검색용 크롤러는 열어 둡니다. OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, 네이버 검색 로봇을 막으면 AI 답변에 쓰일 기회가 줄어듭니다.
- 학습용 크롤러는 회사 방침에 따라 정합니다. 숙소나 가게 홈페이지는 대개 열어 두어도 손해가 적지만, 공개하고 싶지 않은 자료가 있다면 막을 수 있습니다.
- 글자로 된 공식 정보가 기본입니다. 어떤 서비스든 결국 페이지의 글을 읽고 답합니다. 사진 속에만 있는 메뉴판이나 요금표는 읽히기 어렵습니다.
- 설정은 직접 확인합니다. 사이트 보안 서비스나 호스팅에서 AI 크롤러를 따로 막고 있는 경우도 있습니다. 구체적인 설정 방법은 robots.txt와 AI 크롤러에서 다룹니다.
크롤러 이름과 정책은 각 회사가 자주 바꿉니다. 이 글은 2026년 11월 공식 문서를 기준으로 썼습니다.
자주 묻는 질문
학습용 크롤러를 막으면 AI 답변에서 빠지나요?
회사마다 학습용과 검색용 크롤러를 나눠 두었습니다. 예를 들어 OpenAI는 GPTBot을 막아도 ChatGPT 검색에 쓰이는 OAI-SearchBot은 따로 허용할 수 있습니다. 검색용까지 막으면 답변 속 노출이 줄 수 있습니다.
구글 AI 개요에 나오려면 특별한 설정이 필요한가요?
구글은 AI 개요와 AI 모드에 나오기 위한 별도 요건이나 특수 마크업은 없다고 안내합니다. 검색에 색인되고 스니펫을 보여 줄 수 있는 페이지면 되고, 일반적인 SEO 원칙이 그대로 적용됩니다.
우리 사이트에 어떤 크롤러가 오는지 알 수 있나요?
호스팅이나 서버의 접속 기록에서 방문자 이름(user agent)을 보면 OAI-SearchBot, ClaudeBot 같은 이름을 찾을 수 있습니다. 호스팅 관리 화면에서 볼 수 있는 경우가 많습니다.
네이버도 크롤러를 따로 쓰나요?
네이버 검색은 Yeti라는 검색 로봇을 씁니다. AI 브리핑은 네이버 검색 결과와 플레이스 정보를 바탕으로 만들어지므로, 네이버 검색에 잘 잡히는 것이 먼저입니다.
참고한 자료
- OpenAI · Overview of OpenAI Crawlers
- Google 검색 센터 · 구글 크롤러 목록 (Google-Extended)
- Google 검색 센터 · AI 기능과 웹사이트
- Perplexity · Perplexity Crawlers
- Anthropic · 웹 크롤링과 차단 방법 안내
- ZDNet Korea (2025.3.24) · 네이버 AI 브리핑 도입
사례와 의견은 아웃픽이 직접 진행한 숙소·가게 프로젝트에서 나왔습니다. 마지막 확인 2026년 11월 6일.