자신의 사이트가 검색엔진에 노출되게 하거나 또는 노출을 막으려면 사이트의 루트 디렉토리에 robots.txt파일을 설정해야 한다. 간단히 설명하면 robots.txt파일의 설정으로 특정 디렉토리를 크롤링으로부터 제외시킬 수도 허용할 수도 있다는 것. 크롤링 : 검색엔진등이 데이터를 긁어가는 것 나도 현재 블로그를 네이버에 먼저 등록하면서 보니 robots.txt파일의 개념 이해에 도움될만한 링크가 있어 소개한다. naver : https://searchadvisor.naver.com/guide/seo-basic-robots 보다 자세한 설명은 다음의 구글 […]