무료 도구브라우저에서 실행 · 가입 불필요

// 무료 도구 - robots.txt 생성기

Robots.txt 생성기 검사와 테스트도 가능

프리셋을 사용해 Shopify, WordPress 및 AI 크롤러용 robots.txt 파일을 만들고, 줄마다 오류를 검사한 다음, Google의 매칭 규칙을 사용해 Googlebot, GPTBot 또는 다른 봇이 URL에 접근할 수 있는지 차단되는지 테스트하세요.

  • 무료 - 가입 필요 없음
  • 브라우저에서 실행
  • AI 크롤러 프리셋
  • Google 매칭 규칙

내 robots.txt

어디에도 전송되지 않습니다. 입력하는 대로 출력이 업데이트됩니다.

프리셋에서 시작

User-agent 그룹
차단할 AI 크롤러 (0 선택됨)

확인 대상 봇은 각각 자체 그룹을 가지며 Disallow: /. robots.txt는 자발적으로 적용됩니다. 규칙을 준수하는 봇은 따르지만 이를 무시하는 스크레이퍼는 차단되지 않습니다.

    robots.txt 준비 완료
    검사

      같은 URL, 다른 봇

      User-agent 결과 결정 기준
      파일을 넘어

      깔끔한 robots.txt는 시작일 뿐입니다. 나머지는 Technical SEO입니다.

      크롤링 규칙은 검색 엔진과 AI 어시스턴트가 사이트를 파악하는 방식 중 한 부분입니다. 이러한 AI Specialist는 Claude, ChatGPT 또는 모든 AI 채팅에 연결되어 감사, 색인 생성 문제, 사이트 구조 및 콘텐츠와 같은 나머지 작업을 지원합니다.

      robots.txt 파일이란?

      robots.txt 파일은 사이트 루트에 있는 일반 텍스트 파일입니다. 예를 들면 https://example.com/robots.txt이 오며, 크롤러가 가져갈 수 있는 경로를 알려 줍니다. 그룹으로 구성됩니다. 각 그룹은 하나 이상의 User-agent 크롤러를 지정하는 줄 뒤에 Allow 및 Disallow 규칙. 사이트맵 줄은 크롤러를 XML 사이트맵으로 안내하며 파일 어디에나 배치할 수 있습니다. 형식은 RFC 9309인 Robots Exclusion Protocol로 표준화되어 있으며 Google, Bing 및 대부분의 대형 크롤러가 이를 따릅니다.

      이 robots.txt 생성기는 프리셋과 간단한 그룹 편집기를 사용해 파일을 대신 작성합니다. robots.txt 검사기는 크롤러가 무시하거나 잘못 해석할 줄을 줄 번호와 함께 표시합니다. robots.txt 테스터는 지정한 봇이 URL에 접근할 수 있는지 차단되는지 알려 주고, 이를 결정한 정확한 줄을 보여 줍니다.

      robots.txt로 할 수 있는 일과 할 수 없는 일

      • 크롤링을 제어하는 것이지 색인을 제어하는 것은 아닙니다. 차단된 URL도 다른 페이지에서 링크하면 설명 없이 Google 검색 결과에 표시될 수 있습니다. 페이지가 검색 결과에 나타나지 않게 하려면 크롤러가 해당 페이지를 가져오도록 허용하고 noindex robots 메타 태그 또는 X-Robots-Tag 헤더를 추가하세요.
      • 자발적으로 준수하는 방식입니다. 정상적으로 작동하는 크롤러는 이를 따릅니다. 이를 무시하는 스크레이퍼는 차단되지 않습니다. 이는 접근 제어가 아니므로 비공개 페이지는 로그인으로 보호하세요.
      • 공개되어 있습니다. 누구나 robots.txt를 열 수 있으므로, 여기에 비밀 경로를 나열하지 마세요.
      • 호스트별로 적용됩니다. shop.example.com과 example.com은 각각 자체 루트에 별도의 파일이 필요합니다.

      Google이 규칙을 읽는 방식

      Google은 일치 로직을 문서화했으며, URL 테스트 탭은 동일한 단계를 따릅니다.

      1. 그룹을 선택하세요. 크롤러는 해당 토큰과 일치하는 사용자 에이전트 중 가장 구체적인 사용자 에이전트가 속한 그룹을 사용하며, 이때 대소문자를 구분하지 않습니다. googlebot-news 그룹이 있으면 Googlebot-News는 해당 그룹을 사용하고, 없으면 googlebot 그룹을, 그것도 없으면 * 그룹을 사용합니다. 동일한 크롤러에 대한 여러 그룹은 하나로 병합됩니다.
      2. 경로를 일치시키세요. 경로는 대소문자를 구분하며 쿼리 문자열을 포함해 시작 지점부터 일치합니다. *는 모든 길이의 문자 시퀀스를 일치시키고 $는 URL의 끝을 표시합니다. /fish*는 /fish와 동일하게 작동하며, /*.php$는 /index.php와 일치하지만 /index.php?id=1과는 일치하지 않습니다.
      3. 가장 긴 규칙이 우선합니다. 일치하는 규칙 중 경로가 가장 긴 규칙이 결정합니다. Allow와 Disallow 규칙의 길이가 같으면 Google은 덜 제한적인 규칙인 Allow를 사용합니다.
      4. 빈 Disallow는 아무것도 차단하지 않습니다. 경로가 없는 Disallow:는 해당 그룹이 모든 항목을 크롤링할 수 있음을 의미합니다.
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      여기 /account/orders 은 차단되지만, /account/login Allow 규칙이 더 길고 구체적이므로 허용됩니다.

      robots.txt로 AI 크롤러 차단하기

      많은 AI 기업은 차단할 수 있는 사용자 에이전트 토큰을 공개합니다. 이들은 모두 같은 종류의 봇이 아니며, 그 차이가 중요합니다.

      • 학습 크롤러. GPTBot(OpenAI), ClaudeBot(Anthropic), CCBot(Common Crawl), Meta-ExternalAgent 및 Bytespider(ByteDance)는 모델 학습에 사용될 수 있는 페이지를 수집합니다. 이를 차단하면 해당 기업에 향후 크롤링 데이터를 사용하지 말라고 요청하게 됩니다.
      • 제어 토큰. Google-Extended와 Applebot-Extended는 별도의 크롤러가 아닙니다. Google-Extended는 Google에 Gemini 학습 및 그라운딩에 콘텐츠를 사용하지 말라고 알립니다. Googlebot이 Google 검색에서 페이지를 크롤링, 색인 생성 또는 순위 지정하는 방식은 변경하지 않습니다. Applebot-Extended를 사용하면 Apple의 모델 학습에서 제외되지만, Applebot은 Siri와 Spotlight를 위해 계속 크롤링합니다.
      • AI 검색 및 사용자 가져오기. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 AI 답변에 페이지를 표시하고 인용할 수 있도록 페이지를 가져옵니다. ChatGPT-User와 Claude-User는 사용자가 어시스턴트에게 페이지를 읽어 달라고 요청할 때 페이지를 가져옵니다. 이를 차단하면 AI 답변과 인용에서 페이지가 제외될 수 있으며, 이는 대개 원하는 트래픽입니다.

      AI 사전 설정은 크롤링 봇의 학습을 차단하고, 검색 및 사용자 에이전트는 확인하지 않은 상태로 두어 직접 결정할 수 있게 합니다. robots.txt는 향후 크롤링에만 적용됩니다. 이미 수집된 콘텐츠를 삭제하지는 않습니다.

      Shopify 및 WordPress의 robots.txt

      Shopify는 robots.txt를 자동으로 생성하므로 파일을 업로드할 수 없습니다. 변경하려면 다음을 추가하세요: robots.txt.liquid 테마에 템플릿을 추가하세요(Online Store -> Themes -> Edit code -> Add a new template -> robots). 그런 다음 그곳에 규칙을 추가하세요. 이 도구의 Shopify 스타일 사전 설정은 Shopify 기본 설정과 유사하므로 템플릿을 편집하기 전에 규칙을 검토하고 테스트할 수 있습니다. WordPress는 다음을 허용하지 않는 가상 robots.txt를 제공합니다: /wp-admin/ 하지만 다음은 허용합니다: /wp-admin/admin-ajax.php입니다. 사이트 루트에 실제 robots.txt 파일이 있으면 이 파일이 이를 대체하며, 많은 SEO 플러그인에서는 대시보드에서 편집할 수 있습니다.

      검사기가 찾아내는 일반적인 실수

      • Noindex 줄입니다. Google은 2019년에 robots.txt에서 이에 대한 지원을 중단했으며 이를 무시합니다.
      • 다음과 같은 상대 사이트맵 URL Sitemap: /sitemap.xmlURL은 절대 URL이어야 합니다.
      • 앞에 배치된 규칙입니다. User-agent 줄이며 크롤러는 이를 무시합니다.
      • 앞에 슬래시가 없는 경로, 규칙 내의 전체 URL, 퍼센트 인코딩해야 하는 ASCII가 아닌 경로입니다.
      • Crawl-delay이며 Google은 이를 무시합니다. Bing과 Yandex는 이를 읽습니다.
      • 500KiB보다 큰 파일입니다. Google은 이 제한을 초과하는 부분을 모두 무시합니다.
      • 다음과 같은 오타 Dissallow 및 알 수 없는 지시어입니다.

      크롤링 규칙은 기술적 SEO의 한 부분일 뿐입니다. 스키마 마크업 검사기로 구조화된 데이터를 확인하고, 메타 설명 생성기로 검색 스니펫을 작성하고, AI SEO 분석기로 페이지를 분석하거나, 모든 무료 AI 생성기 및 도구를 살펴보세요.

      FAQ

      이 robots.txt 생성기는 무료인가요?

      예. 가입이 필요 없고 제한도 없습니다. 모든 작업은 브라우저에서 실행되므로 작성하거나 붙여넣거나 테스트한 robots.txt는 어떤 서버에도 전송되지 않습니다.

      robots.txt 파일은 어디에 넣나요?

      각 호스트의 루트에 두면 https://yourdomain.com/robots.txt에서 로드됩니다. 하위 폴더의 robots.txt는 무시됩니다. Shopify에서는 파일을 업로드하는 대신 robots.txt.liquid 테마 템플릿을 편집합니다.

      robots.txt가 페이지 색인을 막나요?

      아니요. 이는 색인이 아니라 크롤링을 제어합니다. 차단된 페이지도 링크를 통해 색인될 수 있지만 콘텐츠는 포함되지 않습니다. 페이지가 Google에 표시되지 않게 하려면 크롤링을 허용하고 noindex robots 메타 태그 또는 X-Robots-Tag 헤더를 추가하세요.

      GPTBot 또는 Google-Extended를 차단하면 Google 순위에 악영향을 주나요?

      아니요. GPTBot은 OpenAI의 학습용 크롤러이며 Google 검색과는 관련이 없습니다. Google-Extended는 Google이 Gemini 학습 및 그라운딩에 귀하의 콘텐츠를 사용할지 여부만 제어하며, 검색에서의 크롤링이나 순위에는 영향을 주지 않습니다. 다만 OAI-SearchBot이나 PerplexityBot 같은 AI 검색 봇을 차단하면 해당 AI 답변에서 페이지가 제외될 수 있습니다.

      모든 봇이 robots.txt를 따르나요?

      아니요. robots.txt는 자발적으로 따르는 표준입니다. 주요 검색 엔진과 대부분의 AI 기업은 이를 따른다고 말하지만, 스크레이퍼는 무시할 수 있습니다. 반드시 비공개로 유지해야 하는 항목에는 로그인, 방화벽 규칙 또는 속도 제한을 사용하세요.

      더 많은 무료 개발자 도구

      모든 무료 도구 →