Disallow: /가 그대로 남아 사이트 전체가 막히는 것입니다.robots.txt는 무엇인가요
사이트 주소 뒤에 /robots.txt를 붙이면 보이는 작은 텍스트 파일입니다. 예를 들어 outpik.ai/robots.txt입니다. 크롤러에게 “이 부분은 가져가도 되고, 이 부분은 가져가지 마세요”라고 알려 줍니다. 지금 바로 우리 홈페이지 주소 뒤에 /robots.txt를 붙여 열어 보세요. 파일이 없으면 모든 크롤러에게 열려 있는 상태입니다.
알아 둘 크롤러 이름
| 이름 | 회사 | 역할 |
|---|---|---|
| Googlebot | 구글 | 구글 검색, AI 개요·AI 모드 |
| Google-Extended | 구글 | 별도 크롤러가 아닌 표시. Gemini 학습·그라운딩 사용 여부 |
| Yeti | 네이버 | 네이버 검색 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 답변 |
| GPTBot | OpenAI | 모델 학습 |
| ChatGPT-User | OpenAI | 사용자가 요청할 때 방문 |
| PerplexityBot | Perplexity | Perplexity 검색 결과 |
| Perplexity-User | Perplexity | 사용자가 요청할 때 방문 |
| Claude-SearchBot | Anthropic | Claude 검색 답변 |
| ClaudeBot | Anthropic | 모델 학습 |
| Claude-User | Anthropic | 사용자가 요청할 때 방문 |
각 회사 문서에 나온 이름 그대로입니다. 이름은 바뀔 수 있으니 설정 전에 출처 링크에서 최신 이름을 확인하세요.
설정 예시
모두 열어 두기 (가장 흔한 선택)
숙소나 가게 홈페이지는 손님에게 알리려고 만든 것이니 모두 열어 두는 경우가 많습니다.
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml관리자 화면처럼 손님이 볼 필요 없는 곳만 막고, 사이트맵 위치를 알려 줍니다.
검색은 열고 학습은 막기
AI 답변에는 나오고 싶지만, 사이트 글이 모델 학습에 쓰이는 건 원하지 않을 때입니다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml이렇게 해도 OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot은 들어올 수 있어 검색 답변에는 쓰일 수 있습니다. 구글은 Google-Extended를 막아도 구글 검색 노출에는 영향이 없다고 밝혔습니다.
자주 하는 실수
- 개발용 설정이 그대로 남음. 홈페이지를 만드는 동안 검색에 안 잡히게
Disallow: /를 넣었다가 오픈 후에도 지우지 않는 경우입니다. 오픈한 날 꼭 확인하세요. - 검색용까지 막음. “AI 크롤러를 다 막자”며 OAI-SearchBot, PerplexityBot, Claude-SearchBot까지 막으면 AI 답변에서 우리 사이트가 빠집니다.
- 보안 서비스에서 따로 막음. robots.txt는 열어 뒀는데 호스팅이나 보안 서비스 설정에서 AI 크롤러나 해외 접속을 차단하는 경우가 있습니다. 쓰고 있는 서비스의 봇 차단 설정을 확인하세요.
- 중요한 정보를 막힌 경로에 둠. 요금표나 객실 정보를 막아 둔 폴더에 넣으면 아무리 잘 써도 읽히지 않습니다.
- robots.txt로 비밀을 지키려 함. robots.txt는 누구나 열어 볼 수 있고, 사용자 요청 방문은 규칙을 따르지 않을 수 있습니다. 공개하면 안 되는 자료는 로그인 뒤에 둬야 합니다.
바꾼 뒤 확인하기
- 구글 서치 콘솔과 네이버 서치어드바이저에서 robots.txt와 사이트맵을 확인합니다.
- 바꾼 날짜를 적어 두고, 몇 주 뒤 AI 답변에서 우리 사이트가 출처로 나오는지 다시 봅니다.
자주 묻는 질문
robots.txt로 막으면 완전히 안 보이나요?
robots.txt는 크롤러에게 보내는 요청입니다. 주요 회사의 크롤러는 이를 따른다고 밝혔지만, 사용자가 직접 요청한 방문(ChatGPT-User, Perplexity-User 등)은 따르지 않을 수 있다고 안내합니다. 공개하면 안 되는 정보는 로그인 뒤에 두어야 합니다.
수정하면 바로 반영되나요?
아닙니다. OpenAI는 검색 반영에 약 24시간이 걸린다고 안내하고, 구글도 다시 크롤링하기까지 시간이 걸립니다. 바꾼 날짜를 기록해 두세요.
llms.txt도 꼭 넣어야 하나요?
llms.txt는 제안된 형식이라 넣어 두면 좋지만, 그것만으로 효과가 확인된 표준은 아닙니다. 구글은 AI 기능을 위해 별도의 AI용 파일이 필요 없다고 안내합니다. robots.txt와 사이트맵이 먼저입니다.
홈페이지 빌더를 쓰는데 robots.txt를 바꿀 수 있나요?
대부분 설정 화면이나 플러그인으로 바꿀 수 있습니다. 직접 바꾸기 어렵다면 제작 업체에 이 글의 예시를 보여 주고 요청하세요.
참고한 자료
- Google 검색 센터 · robots.txt 소개
- Google 검색 센터 · 구글 크롤러 목록 (Google-Extended)
- OpenAI · Overview of OpenAI Crawlers
- Perplexity · Perplexity Crawlers
- Anthropic · 웹 크롤링과 차단 방법 안내
- 네이버 서치어드바이저
사례와 의견은 아웃픽이 직접 진행한 숙소·가게 프로젝트에서 나왔습니다. 마지막 확인 2026년 11월 6일.