🤖 워드프레스 robots.txt 설정으로 검색 노출 제어하기

🤖 워드프레스 robots.txt 설정으로 검색 노출 제어하기

(크롤링 허용·차단 전략으로 SEO 성능 높이기)

검색엔진에 내 사이트가 전부 노출되면 안 될 수도 있습니다.
예를 들어,
🔒 관리자 페이지,
🧪 테스트용 콘텐츠,
📄 개인정보 페이지까지 구글에 다 보이면…?

그럴 땐 robots.txt 파일로 ‘이건 보여줘’, ‘이건 숨겨줘’를 직접 설정할 수 있습니다.

이번 글에서는
✔ robots.txt의 개념과 역할
✔ 워드프레스에 robots.txt 생성 및 수정하는 방법
✔ 실전 예시와 주의사항
을 알기 쉽게 소개합니다.

 

---

✅ 1. robots.txt란?

robots.txt는 검색엔진의 웹 크롤러(로봇)에게
“어디를 크롤링해도 되고, 어디는 금지인지” 알려주는 사이트의 안내문입니다.

요소설명

위치	https://yourdomain.com/robots.txt
적용 대상	Googlebot, Bingbot, Naverbot 등
기본 목적	SEO 제어, 민감 영역 비공개, 크롤링 효율 개선

---

🔧 2. 워드프레스 robots.txt 설정 방법

방법 ① 플러그인으로 수정 (간편)

Yoast SEO 또는 Rank Math 사용 시 내장되어 있음.

경로 예시:
관리자 > SEO > 도구 > 파일 편집 > robots.txt 편집

---

방법 ② 직접 서버에 업로드

1. 메모장으로 robots.txt 파일 생성
2. FTP 또는 웹호스팅 파일 관리자에서 /public_html 또는 / 경로에 업로드

---

✍️ 3. robots.txt 기본 구조

txt

복사편집

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml

문법설명

User-agent	검색 로봇 이름 (‘*’은 전체)
Disallow	해당 경로는 크롤링 금지
Allow	금지된 경로 중 허용 예외
Sitemap	사이트맵 경로 선언 (SEO 필수)

---

🧠 4. 실전 예시 모음

✅ 기본 설정 (추천)

txt

복사편집

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml

✅ 비공개 페이지 차단

txt

복사편집

Disallow: /privacy-policy/ Disallow: /terms/ Disallow: /thank-you/

✅ 검색 페이지, 태그 아카이브 차단

txt

복사편집

Disallow: /?s= Disallow: /tag/

✅ 이미지 크롤링 허용

txt

복사편집

User-agent: Googlebot-Image Allow: /wp-content/uploads/

✅ 전체 차단 (테스트용 사이트)

txt

복사편집

User-agent: * Disallow: /

---

❗ 주의사항

항목주의할 점

너무 많이 차단	사이트 전체 노출이 안 될 수 있음
Disallow /wp-content/	이미지, CSS까지 차단될 수 있음
Allow 누락	필요한 경로가 실수로 막히는 경우 발생
Sitemap 누락	크롤링 효율 저하 및 인덱싱 지연

💡 설정 후 [robots.txt 테스트 도구 (서치 콘솔)] 또는 직접 접속해서 결과 확인

---

✅ robots.txt 설정 체크리스트

항목완료 여부

robots.txt 파일 생성	✅ / ❌
WordPress 설정 경로 확인	✅ / ❌
민감 페이지 차단 여부 점검	✅ / ❌
사이트맵 경로 명시	✅ / ❌
크롤링 허용/차단 영역 구분	✅ / ❌
robots.txt URL 접속 테스트	✅ / ❌

---

📘 다음 글 예고

👉 워드프레스에 OG(Open Graph) 태그 설정으로 SNS 미리보기 최적화하기
: 페이스북, 카카오톡, 트위터 등 공유 시 썸네일과 설명이 잘 보이게 설정하는 법을 안내합니다.