robots.txt는 블로그가 검색엔진에 어떻게 보일지 결정하는 중요한 파일이에요. 잘 설정하면 검색 노출에 날개를 달 수 있고, 잘못하면 아예 누락될 수도 있답니다. 초보자도 쉽게 이해할 수 있도록 천천히, 하나씩 알려드릴게요.
이미지 출처: 직접 촬영, 직접 업로드, CC0 라이선스
1️⃣ robots.txt란 무엇인가요?
robots.txt는 웹사이트의 루트(root) 디렉터리에 위치한 텍스트 파일로, 검색 엔진의 크롤러(로봇)에게 어떤 페이지를 크롤링(수집) 해도 되는지, 또는 하면 안 되는지를 알려주는 일종의 "지침서"입니다.
예를 들어, 아래와 같은 내용은 모든 로봇이 사이트 전체를 자유롭게 크롤링하도록 허용하는 설정입니다:
User-agent: *
Disallow:반대로, 아래는 크롤링을 전혀 하지 말라는 의미예요:
User-agent: *
Disallow: /이처럼 단순한 설정으로도 내 블로그의 검색 노출 여부가 완전히 달라질 수 있답니다.
2️⃣ 왜 중요한가요?
검색엔진 최적화(SEO)에 있어 robots.txt는 필수적인 역할을 합니다. 잘못된 설정 하나로 내 블로그 전체가 검색엔진에서 누락될 수도 있어요. 예를 들어 티스토리 블로그의 관리자 페이지나 비공개 페이지는 검색되면 안 되겠죠? 이럴 때 robots.txt로 명확히 설정할 수 있어요.
또한 불필요한 크롤링을 막아 서버 자원을 아끼고, 중요한 페이지에 우선순위를 줄 수 있는 역할도 해요. 검색 로봇은 크롤링할 수 있는 페이지 수에 한계가 있기 때문에, 이 자원을 잘 분배해 주는 것이 중요하죠.
3️⃣ 어디에 위치해 있나요?
robots.txt 파일은 반드시 도메인의 루트에 위치해야 해요. 예를 들어, 내 블로그 주소가 https://myblog.tistory.com 라면, robots.txt는 다음 주소에 있어야 해요:
https://myblog.tistory.com/robots.txt티스토리는 기본적으로 이 파일을 자동 생성해 두기 때문에 직접 접근해 보면 내용을 확인할 수 있어요. 단, 직접 수정은 티스토리 기본 설정상 어렵지만, 일부 커스터마이징 블로그나 독립 블로그에서는 직접 수정 가능합니다.
4️⃣ 어떻게 수정하나요?
일반적인 티스토리 사용자라면 robots.txt를 직접 수정할 수 없어요. 하지만 구글 서치 콘솔에서 요청한 URL을 제외 처리하거나 sitemap 제출로 검색 로봇을 유도할 수 있어요.
워드프레스나 자체 서버형 블로그를 운영 중이라면 다음과 같은 방식으로 수정 가능합니다:
# 예시
User-agent: *
Disallow: /admin/
Allow: /robots.txt 파일을 메모장으로 열어 저장하고 FTP를 통해 루트 디렉터리에 업로드해요.
5️⃣ robots.txt 구조와 예시
robots.txt는 다음과 같은 기본 구조를 갖습니다:
User-agent: [적용할 로봇 이름]
Disallow: [접근 차단할 경로]
Allow: [접근 허용할 경로]가장 자주 쓰는 예시는 아래와 같아요:
| 설정 | 의미 |
|---|---|
| User-agent: * | 모든 로봇에게 적용 |
| Disallow: /private/ | /private/ 이하 경로는 크롤링 금지 |
| Allow: / | 기타 경로는 허용 |
중요: Disallow 설정이 너무 광범위하면 검색 노출이 전혀 안 될 수 있어요!
6️⃣ 구글 검색봇과의 관계
구글은 robots.txt 파일을 크롤링 전 반드시 먼저 읽어요. 그리고 해당 지침에 따라 검색 인덱싱 여부를 판단합니다. 단, robots.txt가 인덱싱을 100% 막지는 못하며, noindex 메타 태그와 함께 사용해야 완전한 제어가 가능해요.
즉, robots.txt는 크롤링을 막는 기능, 메타 태그는 검색 노출을 막는 기능이에요. 이 차이를 꼭 기억하세요.
7️⃣ 잘못된 설정 예시 ⚠️
아래는 자주 발생하는 실수예요:
User-agent: *
Disallow: /→ 사이트 전체가 검색되지 않게 막는 설정이에요. 실수로 이렇게 되어 있으면 블로그 전체가 검색엔진에 노출되지 않을 수 있어요!
User-agent: Googlebot
Disallow: /→ 오직 구글 봇만 차단하는 설정이에요. 당연히 구글 검색에 노출이 안 되겠죠.
8️⃣ 티스토리 robots.txt 확인 및 수정법
티스토리 블로그는 기본적으로 다음과 같은 robots.txt를 사용합니다:
User-agent: *
Disallow: /admin
Allow: /직접 수정은 어렵지만, sitemap 제출과 robots.txt 해석에 따른 전략을 통해 검색봇을 유도할 수 있어요. 구글 서치콘솔에 내 블로그를 등록하고 sitemap.xml을 등록하면, 검색 노출이 훨씬 원활해져요.
9️⃣ robots.txt와 sitemap.xml의 관계
robots.txt는 크롤링 허용/차단 정보를 제공하고, sitemap.xml은 사이트 구조를 검색엔진에 전달하는 지도 역할을 해요. 두 파일은 함께 사용되면 더욱 강력한 SEO 효과를 발휘해요.
# robots.txt 마지막에 추가하기
Sitemap: https://myblog.tistory.com/sitemap.xml이렇게 하면 검색 로봇이 sitemap.xml을 바로 찾을 수 있어요.
10️⃣ 애드센스 승인과의 관계
robots.txt 설정 오류는 애드센스 승인 거절 사유가 될 수 있어요. 구글은 애드센스 심사 시 크롤링 가능한 사이트인지를 확인해요. 특히 콘텐츠 접근 제한이 있을 경우 '크롤링 실패'로 간주해 심사가 반려되곤 해요.
애드센스 승인 전이라면 Disallow 설정은 최소화하고, 콘텐츠가 열려있는 상태로 유지하는 것이 좋아요.
11️⃣ SEO에 최적화된 robots.txt 예시
아래는 SEO와 애드센스를 고려한 기본 robots.txt 예시예요:
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://myblog.tistory.com/sitemap.xml이렇게 구성하면 관리자 페이지는 막되, 콘텐츠는 모두 크롤링 가능하고 sitemap도 제공되어 검색엔진이 구조를 빠르게 이해할 수 있어요.
12️⃣ 결론 및 체크리스트
robots.txt는 작지만 강력한 SEO 무기입니다. 다음 체크리스트를 통해 내 설정이 적절한지 다시 점검해 보세요:
- Disallow: /로 전체 차단되어 있지는 않은가요?
- 구글봇이 접근할 수 있는가요?
- sitemap.xml 링크가 포함되어 있나요?
- 불필요한 페이지 차단으로 크롤링 자원을 효율적으로 썼나요?
이제 robots.txt 설정에 자신이 생기셨나요? 검색에 날개를 달아보세요! 😄
'블로그란?초보 지식부터 전문가 지식까지 알아보기' 카테고리의 다른 글
| 검색에 안 뜨는 이유? sitemap만 잘 만들어도 방문자 폭증합니다 (20) | 2025.07.04 |
|---|---|
| RSS가 뭐길래? 블로그 노출이 확 달라지는 이유 (초보자 필독) (20) | 2025.07.04 |
| 블로그 노출 안 된다면 꼭 봐야 할 메타태그 사용법! 초보도 5분 완성 (21) | 2025.07.04 |
| 왜 내 블로그는 야후에 안 나올까? 원인부터 해결까지 알려드립니다! (23) | 2025.07.03 |
| 내 블로그가 빙(Bing)에 안 뜨는 이유? 지금 바로 확인하고 해결하는 12가지 방법 (24) | 2025.07.03 |
