robots.txt 파일이란?
robots.txt 파일은 사이트 루트에 있는 일반 텍스트 파일입니다. 예를 들면 https://example.com/robots.txt이 오며, 크롤러가 가져갈 수 있는 경로를 알려 줍니다. 그룹으로 구성됩니다. 각 그룹은 하나 이상의 User-agent 크롤러를 지정하는 줄 뒤에 Allow 및 Disallow 규칙. 사이트맵 줄은 크롤러를 XML 사이트맵으로 안내하며 파일 어디에나 배치할 수 있습니다. 형식은 RFC 9309인 Robots Exclusion Protocol로 표준화되어 있으며 Google, Bing 및 대부분의 대형 크롤러가 이를 따릅니다.
이 robots.txt 생성기는 프리셋과 간단한 그룹 편집기를 사용해 파일을 대신 작성합니다. robots.txt 검사기는 크롤러가 무시하거나 잘못 해석할 줄을 줄 번호와 함께 표시합니다. robots.txt 테스터는 지정한 봇이 URL에 접근할 수 있는지 차단되는지 알려 주고, 이를 결정한 정확한 줄을 보여 줍니다.
robots.txt로 할 수 있는 일과 할 수 없는 일
-
크롤링을 제어하는 것이지 색인을 제어하는 것은 아닙니다. 차단된 URL도 다른 페이지에서 링크하면 설명 없이 Google 검색 결과에 표시될 수 있습니다. 페이지가 검색 결과에 나타나지 않게 하려면 크롤러가 해당 페이지를 가져오도록 허용하고
noindexrobots 메타 태그 또는X-Robots-Tag헤더를 추가하세요. - 자발적으로 준수하는 방식입니다. 정상적으로 작동하는 크롤러는 이를 따릅니다. 이를 무시하는 스크레이퍼는 차단되지 않습니다. 이는 접근 제어가 아니므로 비공개 페이지는 로그인으로 보호하세요.
- 공개되어 있습니다. 누구나 robots.txt를 열 수 있으므로, 여기에 비밀 경로를 나열하지 마세요.
-
호스트별로 적용됩니다.
shop.example.com과example.com은 각각 자체 루트에 별도의 파일이 필요합니다.
Google이 규칙을 읽는 방식
Google은 일치 로직을 문서화했으며, URL 테스트 탭은 동일한 단계를 따릅니다.
-
그룹을 선택하세요. 크롤러는 해당 토큰과 일치하는 사용자 에이전트 중 가장 구체적인 사용자 에이전트가 속한 그룹을 사용하며, 이때 대소문자를 구분하지 않습니다.
googlebot-news그룹이 있으면 Googlebot-News는 해당 그룹을 사용하고, 없으면googlebot그룹을, 그것도 없으면*그룹을 사용합니다. 동일한 크롤러에 대한 여러 그룹은 하나로 병합됩니다. -
경로를 일치시키세요. 경로는 대소문자를 구분하며 쿼리 문자열을 포함해 시작 지점부터 일치합니다.
*는 모든 길이의 문자 시퀀스를 일치시키고$는 URL의 끝을 표시합니다./fish*는/fish와 동일하게 작동하며,/*.php$는/index.php와 일치하지만/index.php?id=1과는 일치하지 않습니다. - 가장 긴 규칙이 우선합니다. 일치하는 규칙 중 경로가 가장 긴 규칙이 결정합니다. Allow와 Disallow 규칙의 길이가 같으면 Google은 덜 제한적인 규칙인 Allow를 사용합니다.
-
빈 Disallow는 아무것도 차단하지 않습니다. 경로가 없는
Disallow:는 해당 그룹이 모든 항목을 크롤링할 수 있음을 의미합니다.
User-agent: * Disallow: /account/ Allow: /account/login
여기 /account/orders 은 차단되지만, /account/login Allow 규칙이 더 길고 구체적이므로 허용됩니다.
robots.txt로 AI 크롤러 차단하기
많은 AI 기업은 차단할 수 있는 사용자 에이전트 토큰을 공개합니다. 이들은 모두 같은 종류의 봇이 아니며, 그 차이가 중요합니다.
- 학습 크롤러. GPTBot(OpenAI), ClaudeBot(Anthropic), CCBot(Common Crawl), Meta-ExternalAgent 및 Bytespider(ByteDance)는 모델 학습에 사용될 수 있는 페이지를 수집합니다. 이를 차단하면 해당 기업에 향후 크롤링 데이터를 사용하지 말라고 요청하게 됩니다.
- 제어 토큰. Google-Extended와 Applebot-Extended는 별도의 크롤러가 아닙니다. Google-Extended는 Google에 Gemini 학습 및 그라운딩에 콘텐츠를 사용하지 말라고 알립니다. Googlebot이 Google 검색에서 페이지를 크롤링, 색인 생성 또는 순위 지정하는 방식은 변경하지 않습니다. Applebot-Extended를 사용하면 Apple의 모델 학습에서 제외되지만, Applebot은 Siri와 Spotlight를 위해 계속 크롤링합니다.
- AI 검색 및 사용자 가져오기. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 AI 답변에 페이지를 표시하고 인용할 수 있도록 페이지를 가져옵니다. ChatGPT-User와 Claude-User는 사용자가 어시스턴트에게 페이지를 읽어 달라고 요청할 때 페이지를 가져옵니다. 이를 차단하면 AI 답변과 인용에서 페이지가 제외될 수 있으며, 이는 대개 원하는 트래픽입니다.
AI 사전 설정은 크롤링 봇의 학습을 차단하고, 검색 및 사용자 에이전트는 확인하지 않은 상태로 두어 직접 결정할 수 있게 합니다. robots.txt는 향후 크롤링에만 적용됩니다. 이미 수집된 콘텐츠를 삭제하지는 않습니다.
Shopify 및 WordPress의 robots.txt
Shopify는 robots.txt를 자동으로 생성하므로 파일을 업로드할 수 없습니다. 변경하려면 다음을 추가하세요: robots.txt.liquid 테마에 템플릿을 추가하세요(Online Store -> Themes -> Edit code -> Add a new template -> robots). 그런 다음 그곳에 규칙을 추가하세요. 이 도구의 Shopify 스타일 사전 설정은 Shopify 기본 설정과 유사하므로 템플릿을 편집하기 전에 규칙을 검토하고 테스트할 수 있습니다. WordPress는 다음을 허용하지 않는 가상 robots.txt를 제공합니다: /wp-admin/ 하지만 다음은 허용합니다: /wp-admin/admin-ajax.php입니다. 사이트 루트에 실제 robots.txt 파일이 있으면 이 파일이 이를 대체하며, 많은 SEO 플러그인에서는 대시보드에서 편집할 수 있습니다.
검사기가 찾아내는 일반적인 실수
-
Noindex줄입니다. Google은 2019년에 robots.txt에서 이에 대한 지원을 중단했으며 이를 무시합니다. - 다음과 같은 상대 사이트맵 URL
Sitemap: /sitemap.xmlURL은 절대 URL이어야 합니다. - 앞에 배치된 규칙입니다.
User-agent줄이며 크롤러는 이를 무시합니다. - 앞에 슬래시가 없는 경로, 규칙 내의 전체 URL, 퍼센트 인코딩해야 하는 ASCII가 아닌 경로입니다.
-
Crawl-delay이며 Google은 이를 무시합니다. Bing과 Yandex는 이를 읽습니다. - 500KiB보다 큰 파일입니다. Google은 이 제한을 초과하는 부분을 모두 무시합니다.
- 다음과 같은 오타
Dissallow및 알 수 없는 지시어입니다.
크롤링 규칙은 기술적 SEO의 한 부분일 뿐입니다. 스키마 마크업 검사기로 구조화된 데이터를 확인하고, 메타 설명 생성기로 검색 스니펫을 작성하고, AI SEO 분석기로 페이지를 분석하거나, 모든 무료 AI 생성기 및 도구를 살펴보세요.
FAQ
이 robots.txt 생성기는 무료인가요?
예. 가입이 필요 없고 제한도 없습니다. 모든 작업은 브라우저에서 실행되므로 작성하거나 붙여넣거나 테스트한 robots.txt는 어떤 서버에도 전송되지 않습니다.
robots.txt 파일은 어디에 넣나요?
각 호스트의 루트에 두면 https://yourdomain.com/robots.txt에서 로드됩니다. 하위 폴더의 robots.txt는 무시됩니다. Shopify에서는 파일을 업로드하는 대신 robots.txt.liquid 테마 템플릿을 편집합니다.
robots.txt가 페이지 색인을 막나요?
아니요. 이는 색인이 아니라 크롤링을 제어합니다. 차단된 페이지도 링크를 통해 색인될 수 있지만 콘텐츠는 포함되지 않습니다. 페이지가 Google에 표시되지 않게 하려면 크롤링을 허용하고 noindex robots 메타 태그 또는 X-Robots-Tag 헤더를 추가하세요.
GPTBot 또는 Google-Extended를 차단하면 Google 순위에 악영향을 주나요?
아니요. GPTBot은 OpenAI의 학습용 크롤러이며 Google 검색과는 관련이 없습니다. Google-Extended는 Google이 Gemini 학습 및 그라운딩에 귀하의 콘텐츠를 사용할지 여부만 제어하며, 검색에서의 크롤링이나 순위에는 영향을 주지 않습니다. 다만 OAI-SearchBot이나 PerplexityBot 같은 AI 검색 봇을 차단하면 해당 AI 답변에서 페이지가 제외될 수 있습니다.
모든 봇이 robots.txt를 따르나요?
아니요. robots.txt는 자발적으로 따르는 표준입니다. 주요 검색 엔진과 대부분의 AI 기업은 이를 따른다고 말하지만, 스크레이퍼는 무시할 수 있습니다. 반드시 비공개로 유지해야 하는 항목에는 로그인, 방화벽 규칙 또는 속도 제한을 사용하세요.
