워드프레스 robots.txt 설정및 퍼미션

자신의 사이트가 검색엔진에 노출되게 하거나 또는 노출을 막으려면 사이트의 루트 디렉토리에 robots.txt파일을 설정해야 한다.

간단히 설명하면 robots.txt파일의 설정으로 특정 디렉토리를 크롤링으로부터 제외시킬 수도 허용할 수도 있다는 것.

크롤링 : 검색엔진등이 데이터를 긁어가는 것

나도 현재 블로그를 네이버에 먼저 등록하면서 보니 robots.txt파일의 개념 이해에 도움될만한 링크가 있어 소개한다.

naver : https://searchadvisor.naver.com/guide/seo-basic-robots

보다 자세한 설명은 다음의 구글 디벨로퍼쪽 링크를 참조

google : https://developers.google.com/search/docs/advanced/robots/intro

또한 워드프레스의 robots.txt 설정에 한정하여 설명이 잘 되어 있는 다른분의 워드프레스 게시물 링크이다.

내 경우 워드프레스를 직접 내 서버에 설치해서인지 사이트URL/robots.txt가 자동으로 생성되어 출력되진 않았다.

그리고 아직 Yoast SEO등의 설정이 완료되지 않아 사이트맵이 없는 관계로 다음과 같이 간단히 설정하여 루트 디렉토리에 업로드 하였다. (차후 사이트맵 설정이 되면 해당경로를 추가할 예정이라 Sitemap쪽에 주석표시#가 되어 있음)

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

# Sitemap: https://example.com/sitemap.xml

참고로 위 내용은 다음 포스팅에서 워드프레스 추천 표준 값이라고 하여 참고하였다.

https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/

참고로 퍼미션은 644가 정석이나 플러그인 등에서 편집이 가능해야 하는 경우 755를 주는 경우도 고려해볼 수 있다고 함.

2022.09.28 내용추가)

현재는 사이트맵도 추가하였다. Yoast SEO의 Features탭에 XML sitemaps항목을 ON하고 ?아이콘을 누른 후 나타나는 링크 중 See the XML sitemap을 클릭하면 생성된 sitemap xml파일을 확인할 수 있다.

내 경우는 https://dev.hi.ne.kr/sitemap_index.xml 이며

# Sitemap: https://example.com/sitemap.xml 부분을
Sitemap: https://dev.hi.ne.kr/sitemap_index.xml 이렇게 수정하여 다시 업로드하고 구글서치콘솔과 네이버 서치어드바이저에 사이트맵을 제출하였다.

생계형 특급 개발자이자 아들 하나 있는 평범한 아빠. 취미는 요리, 캠핑, 뮤직 페스티발 다니기 등이지만 이 블로그에는 주로 개발관련된 내용만 올릴 예정입니다. 워드프레스를 시작한지 얼마 되지않아 사이트가 허전하지만 좋은 내용으로 채우도록 노력하겠습니다. 자주 놀러오세요 ^^
Posts created 54

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Posts

Begin typing your search term above and press enter to search. Press ESC to cancel.

Back To Top