가이드
스마트스토어 상품이 ChatGPT·Gemini 답변에 안 나올 때: robots.txt 로 본 크롤러 8종 허용·차단표 (2026년 10월 30일 실측)
meeree2026. 10. 29. · 16분 읽기
한눈에 보기
스마트스토어 상품이 ChatGPT 나 Gemini 답변에 안 나온다면 스마트스토어의 robots.txt 부터 봅니다. 2026년 10월 30일 01시 36분(KST)에 smartstore.naver.com/robots.txt 를 받아 크롤러 8종을 대조했습니다. 허용은 Googlebot 하나이고, GPTBot·OAI-SearchBot·ChatGPT-User·Google-Extended·Bingbot·ClaudeBot·PerplexityBot 일곱은 규칙상 차단입니다.
ChatGPT: 검색용 크롤러 OAI-SearchBot 이 막혀 있습니다. OpenAI 문서는 OAI-SearchBot 을 막은 사이트는 ChatGPT 검색 답변에 나오지 않고 탐색 링크로만 나올 수 있다고 적습니다. 빙의 Bingbot 도 자기 이름 규칙이 없어 전체 차단 규칙(User-agent: *)을 따릅니다.
Gemini: 같은 구글 안에서도 갈립니다. 구글 검색의 AI 개요·AI 모드는 Googlebot 규칙을 따르고 Googlebot 은 허용입니다. Gemini 앱의 그라운딩은 Google-Extended 로 정하고 이것은 차단입니다.
쿠팡: www.coupang.com/robots.txt 요청 두 번이 모두 403(접근 거부)이라 규칙을 읽지 못했습니다. 쿠팡 칸은 비워 둡니다.
미리 측정 원자료(2026년 10월 18~24일, 상품 질문 300응답)에서 스마트스토어 상품 페이지가 출처로 나온 답변은 Grok 1개였고 ChatGPT·Gemini·Claude 답변에는 없었습니다.
robots.txt 는 네이버 서버에 있는 파일이라 셀러가 바꿀 수 없습니다. 셀러가 정할 수 있는 것은 스마트스토어 밖에 두는 공개 페이지(자사몰, 공개 상품 페이지, 안내 글)의 크롤러 허용과 내용입니다. 그렇게 해도 답변 노출은 보장되지 않습니다.
1. 확인한 방법
받은 파일: https://smartstore.naver.com/robots.txt 를 2026년 10월 30일 01:36:57(KST)에 curl 로 받았습니다. HTTP 200, 559바이트, 45줄, 그룹 15개입니다. 상품 페이지는 열지 않았습니다.
읽는 규칙: robots.txt 표준(RFC 9309)은 크롤러가 자기 이름과 맞는 그룹의 규칙을 따르고, 맞는 그룹이 없으면 User-agent: * 그룹을 따르게 정합니다. 구글 문서도 한 크롤러에는 가장 구체적으로 맞는 그룹 하나만 적용되고 그룹의 순서는 상관없다고 적습니다.
범위: robots.txt 는 호스트마다 따로 둡니다. 이 표는 smartstore.naver.com 주소에만 해당합니다. Anthropic 문서도 크롤러를 막으려면 하위 도메인마다 robots.txt 를 고치라고 적습니다.
이 파일을 본 이유: 미리의 2026년 10월 24일 측정에서 "스마트스토어 상품이 ChatGPT 나 Gemini 답변에 안 나오는데 어떻게 해야 해?"라는 질문을 받은 엔진들은 "스마트스토어 OAI-SearchBot OR GPTBot 크롤링 차단"(Grok), "스마트스토어 ChatGPT 노출 안되는 이유 크롤링 차단"(Meta 의 Muse Spark) 같은 검색어를 돌렸습니다.
2. 크롤러 8종 허용·차단표 (smartstore.naver.com, 2026년 10월 30일 01:36 KST)
괄호 안의 역할은 각 회사 공식 문서의 설명입니다.
GPTBot (OpenAI, 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠 수집): 차단. 자기 이름 그룹에 Disallow: /
OAI-SearchBot (OpenAI, ChatGPT 검색 기능의 결과에 사이트를 띄우는 크롤러): 차단. 자기 이름 그룹에 Disallow: /
ChatGPT-User (OpenAI, 사용자가 질문할 때 웹페이지를 방문하는 동작이며 자동 수집에는 쓰지 않음): 자기 이름 그룹이 없어 User-agent: * 의 Disallow: / 에 해당합니다. OpenAI 문서는 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있고, 검색 노출 여부를 정하는 데는 쓰지 않는다고 적습니다.
Googlebot (구글 검색과 그 안의 기능 전부, 구글 이미지·뉴스·디스커버): 허용. 자기 이름 그룹에 Allow: /
Google-Extended (별도 접속 이름이 없는 제어용 이름. Gemini 모델 학습과 Gemini 앱·Vertex AI 의 그라운딩에 쓸지를 정함): 차단. 자기 이름 그룹에 Disallow: /
Bingbot (빙의 표준 크롤러): 자기 이름 그룹이 없어 User-agent: * 의 Disallow: / 에 해당합니다. 차단.
ClaudeBot (Anthropic, 모델 학습에 쓰일 수 있는 콘텐츠 수집): 차단. 자기 이름 그룹에 Disallow: /
PerplexityBot (Perplexity 검색 결과에 사이트를 띄우고 링크하는 크롤러이며 학습용 수집에는 쓰지 않음): 차단. 자기 이름 그룹에 Disallow: /
합계는 허용 1, 규칙상 차단 7입니다(계산: 8 - 1 = 7). 파일에 이름이 적힌 나머지 중 Claude-SearchBot·meta-externalagent·Applebot-Extended·CCBot·DaumRAGBot 은 차단, facebookexternalhit·Googlebot-Image·StoreBot-Google 은 허용입니다. StoreBot-Google 은 구글 문서에 구글 쇼핑 전반에 영향을 주는 크롤러로 적혀 있습니다.
3. 쿠팡: robots.txt 를 받지 못했습니다
2026년 10월 30일 01:36:57(KST) curl 기본 요청에서 https://coupang.com/robots.txt 는 www 주소로 302 이동했고, https://www.coupang.com/robots.txt 는 403 Access Denied 였습니다(응답 서버 AkamaiGHost).
01:39:27 에 미리 진단기 이름(meeree-diagnosis/1.0)을 밝힌 요청도 403 이었습니다. 다른 이름으로 바꿔 가며 다시 요청하지는 않았습니다.
그래서 쿠팡의 크롤러별 규칙은 이 글에 적지 않습니다. 응답은 요청하는 쪽에 따라 다를 수 있어서, 우리 요청이 받은 403 만으로 각 AI 크롤러가 어떻게 처리되는지 단정할 수 없습니다.
4. 미리 측정 원자료에서 본 출처
대상: 미리가 2026년 10월 18~24일에 운영자 측정으로 받은 상품 질문 답변 300개입니다. 조경 자재 채널 3회차와 화장품 채널 3회차이고, 회차마다 질문 10개를 ChatGPT(OpenAI API)·Gemini·Claude·Grok·Meta 의 Muse Spark 다섯 엔진에 웹 검색을 켜고 보냈습니다(계산: 6회차 x 50응답 = 300).
스마트스토어 상품 페이지(smartstore.naver.com 의 /products/ 주소)가 출처에 든 답변: 1개(Grok, 10월 24일). ChatGPT·Gemini·Claude·Muse Spark 는 0개입니다.
쿠팡 상품 페이지(coupang.com 의 /vp/products/·/vm/products/ 주소)가 출처에 든 답변: 62개(ChatGPT 31, Grok 25, Claude 6. 계산: 31 + 25 + 6 = 62). Gemini·Muse Spark 는 0개입니다.
두 마켓의 상품 수와 질문과의 관련도가 같지 않으므로 이 숫자로 두 마켓을 견주지 않습니다. 쿠팡 주소를 엔진이 어떤 경로로 얻었는지도 밖에서는 알 수 없습니다.
5. 표에서 나오는 결론
아래는 2절의 표와 각 회사 문서를 이어 읽은 해석입니다.
ChatGPT: OAI-SearchBot 차단과 OpenAI 문서를 이으면, smartstore.naver.com 의 상품 페이지는 ChatGPT 검색 답변의 출처가 되기 어렵습니다. OpenAI 도움말은 ChatGPT 검색이 다른 검색 제공자와도 협력한다고 적고 Microsoft 개인정보 처리방침을 안내하는데, 스마트스토어는 Bingbot 도 막고 있습니다. 4절의 우리 측정(OpenAI API 웹 검색)에서도 스마트스토어 상품 페이지 출처는 0개였습니다. 다만 API 웹 검색과 ChatGPT 앱 검색이 같은 경로라는 공식 문서는 찾지 못했습니다.
구글 검색의 AI 개요·AI 모드: 구글 문서는 이 기능에 대한 사이트 쪽 제어 수단이 Googlebot 의 robots.txt 규칙이라고 적고, 뒷받침 링크가 되려면 페이지가 색인되어 있고 스니펫과 함께 검색 결과에 나올 수 있어야 한다고 적습니다. 스마트스토어는 Googlebot 을 허용하므로 robots.txt 단계에서는 막히지 않습니다. 개별 상품 페이지가 실제로 색인됐는지는 이 글에서 확인하지 않았습니다.
Gemini 앱: 구글 문서는 Gemini 앱의 그라운딩(질문 시점에 구글 검색 색인의 콘텐츠를 모델에 주는 것)을 Google-Extended 로 정한다고 적고, 스마트스토어는 이것을 막았습니다. "구글 검색에는 내 상품이 나오는데 Gemini 앱 답변에는 안 나온다"는 상황은 이 표와 맞습니다.
Claude·Perplexity: Claude-SearchBot·PerplexityBot 이 막혀 있습니다. Anthropic 은 Claude-SearchBot 을 막으면 검색 결과에서의 노출과 정확성이 줄 수 있다고 적고, Perplexity 는 검색 결과에 나오려면 PerplexityBot 을 허용하라고 권합니다.
6. 셀러가 할 수 있는 일
스마트스토어의 robots.txt 는 네이버 서버의 파일이라 셀러가 고칠 수 없습니다. 상세페이지를 고쳐도 2절의 차단은 그대로입니다.
스마트스토어 밖에 내가 robots.txt 를 정할 수 있는 공개 페이지를 둡니다. 자사몰 상품 페이지, 공개 상품 페이지 서비스, 블로그형 안내 글이 그 예입니다. 상품명·가격·사양·용도·자주 묻는 질문을 글자로 적고 구매 버튼은 스마트스토어 상품으로 연결합니다. 구글 문서도 중요한 내용은 텍스트로 두라고 적습니다.
그 페이지의 robots.txt 에서 검색용 크롤러를 허용합니다. OpenAI 는 OAI-SearchBot 허용과 공개 IP 대역 허용을, Perplexity 는 PerplexityBot 허용을 권합니다. Googlebot·Bingbot·Claude-SearchBot 도 함께 봅니다. 학습용 수집(GPTBot·ClaudeBot)은 따로 정할 수 있고, OpenAI 문서는 각 설정이 서로 독립이라고 적습니다. Google-Extended 는 학습과 Gemini 앱 그라운딩을 함께 정하므로, 막으면 구글 문서 기준으로 Gemini 앱 그라운딩에도 쓰이지 않습니다.
1절 방법으로 내 페이지의 robots.txt 를 직접 읽습니다. 크롤러 이름 그룹이 있는지, 없으면 User-agent: * 그룹이 무엇을 막는지 봅니다. 호스팅이나 CDN 이 크롤러 접속을 막지 않는지도 따로 봅니다(OpenAI 도움말 권고).
새 페이지는 구글 서치 콘솔과 빙 웹마스터 도구(IndexNow)로 색인을 알립니다. robots.txt 를 바꿨다면 OpenAI 는 약 24시간, Perplexity 는 최대 24시간이 걸린다고 적습니다.
같은 질문을 날짜를 바꿔 여러 번 보내고 출처 주소를 기록합니다. 미리는 상품 정보를 공개 페이지로 만들어 구매를 기존 판매처로 연결하고, ChatGPT·Gemini·Claude·Grok·Muse Spark 답변의 출처를 측정합니다. 어떤 방법도 답변 노출을 보장하지 않습니다. 구글 문서는 색인과 노출이 보장되지 않는다고, OpenAI 도움말은 검색 결과의 배치가 보장되지 않는다고 적습니다.
자주 묻는 질문
Q. 스마트스토어 상세페이지를 고치면 ChatGPT 답변에 나오나요?
A. 2026년 10월 30일 robots.txt 기준으로 smartstore.naver.com 은 OAI-SearchBot 을 막고 있습니다. OpenAI 문서는 OAI-SearchBot 을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고(탐색 링크는 예외) 적습니다. 상세페이지 수정은 이 규칙을 바꾸지 않습니다. 브랜드 이름은 리뷰나 블로그 같은 다른 페이지를 통해 언급될 수는 있습니다.
Q. 구글 검색에는 내 스마트스토어 상품이 나오는데 Gemini 는 왜 다른가요?
A. 구글 검색(AI 개요·AI 모드 포함)은 Googlebot 규칙을, Gemini 앱의 그라운딩은 Google-Extended 규칙을 따릅니다. 스마트스토어는 Googlebot 은 허용하고 Google-Extended 는 막았습니다.
Q. 쿠팡 상품 페이지는 어떤가요?
A. 2026년 10월 30일 우리 요청에는 robots.txt 가 403 으로 돌아와 규칙을 확인하지 못했습니다. 미리 측정에서는 쿠팡 상품 페이지가 ChatGPT·Grok·Claude 답변의 출처로 나온 적이 있지만, 엔진이 그 주소를 얻은 경로는 밖에서 알 수 없습니다.
Q. 이 표는 언제까지 맞나요?
A. robots.txt 는 언제든 바뀔 수 있습니다. 이 표는 2026년 10월 30일 01시 36분(KST)에 받은 파일 기준입니다. 1절 방법으로 다시 받아 날짜와 함께 비교합니다.
출처
모든 문서는 2026년 10월 30일에 확인했습니다.
네이버 스마트스토어 robots.txt: https://smartstore.naver.com/robots.txt (2026년 10월 30일 01:36:57 KST 받음)
쿠팡 robots.txt: https://www.coupang.com/robots.txt (2026년 10월 30일 01:36:57·01:39:27 KST 요청, 두 번 모두 403)
OpenAI, Overview of OpenAI Crawlers: https://developers.openai.com/api/docs/bots
OpenAI, Searching the web with ChatGPT: https://help.openai.com/en/articles/9237897-searching-the-web-with-chatgpt
Google, List of Google's common crawlers: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
Google Search Central, AI features and your website: https://developers.google.com/search/docs/appearance/ai-features
Google, How Google interprets the robots.txt specification: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
IETF, RFC 9309 Robots Exclusion Protocol: https://www.rfc-editor.org/rfc/rfc9309.txt
Bing Webmaster Tools, Which crawlers does Bing use: https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0
Anthropic, Does Anthropic crawl data from the web: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
Perplexity, Perplexity Crawlers: https://docs.perplexity.ai/docs/resources/perplexity-crawlers
미리 측정 원자료: 2026년 10월 18~24일 조경 자재 채널·화장품 채널 운영자 측정 6회차(300응답), 2026년 10월 24일 미리 채널 운영자 측정 3번 질문의 엔진 검색어
미리(meeree.ai)는 판매자의 상품 정보를 AI 검색 채널에 배포하고 기존 판매처로 연결하는 서비스입니다.