[검색엔진 최적화]Robots.txt&사이트맵 만들기

지난 메타태그 설정 포스팅에 이어서 오늘은 Robots.txt&사이트맵 만들기 포스팅을 진행해보겠습니다. 메타태그 설정과 더불어 SEO 최적화를 진행할때 기본적인 요소가 아닐까 싶은데요~ 그만큼 중요한 요소이기에 이번 포스팅에서 꼭 짚고 넘어갈 부분이 아닌가 싶습니다.

우선 Robots.txt&사이트맵에 대해서 간단하게 말씀드리면 네이버면 네이버, 구글이면 구글 마지막으로 다음이면 다음까지 각 포털사이트 로직들이 존재할텐데요~ 이러한 로직들이 내 홈페이지(블로그)의 글을 더 잘 읽어드릴수 있도록 정보를 주는 개념이라고 봐주시면 될거 같은데요! 일상속에 비유해보자면 읽는 책을 보면 기본적으로 서두에서 이책이 어떠한 구조로 구성되어 있는지 설명해주는 목차라는게 존재하는데요! 이번 포스팅에서 알려드릴 Robots.txt&사이트맵이 그러한 부분에 쓰이는 부분이라 이해해주시면 조금 더 수월하게 이해하실 수 있지 않을까 싶습니다.

■검색엔진 최적화 Robots.txt란?

robots.txt는 검색 로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제적으로 규격화된 일종의 명령어인데요~ robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 합니다.

■검색엔진 최적화 Robots.txt 작성방법

<네이버 웹마스터 도구 참조>

예시로 각종 사례들이 정리된 robots.txt 형식을 보여드렸는데요. 추가적인 예시를 들어 좀 더 이해하시기 쉽게 해드려볼께요~ 예를 들어 내 홈페이지(블로그)가 구글에는 노출이 되고 네이버에는 노출이 되지 않았으면 좋겠다 라고 하시는 경우에는

User-agent: Googlebot

allow: /

User-agent: daum

allow: /

이렇게 기재해주신다면 구글에만 노출이 되겠죠? 여기서 구글을 지칭하는 유저 에이전트가 바로 Googlebot 네이버를 지칭하는 것은 Yeti 다음을 지칭하는것은 daum 이라는 점 참고 부탁드리겠습니다.

■검색엔진 최적화 Robots.txt 오류체크 방법

여기서 robots.txt 파일을 올리게 되었을때 업로드가 잘 되었는지 혹은 잘되지 않았는지 여부에 대해서 확인하고자 하신다면 구글서치콘솔에 등록 되었다는 가정하에 https://support.google.com/webmasters/answer/6062598?authuser=1 해당페이지에 들어가셔서 보시면 오류가 있는지 여부를 확인해 보실수 있다는거~

■검색엔진 최적화 sitemap(사이트맵) 이란?

자 그럼 다음 사이트맵에 대해서 알아보도록 할께요! 사이트맵이란? 사이트맵의 경우 검색봇에게 사이트 내에 수집되어야 할 페이지들을 알려주기 위한 규약인데요~

■검색엔진 최적화 사이트맵 만들기

웹사이트 관련 지식이 있으시다면 명령어를 기반으로 작성하실수 있지만 제 설명은 초보자 분들 기준으로 작성하는 만큼 보다 쉽게 사이트맵 만들기 방법에 대해서 알려드리고자 하는데요! 명령어 기재 필요없이 어느 특정 사이트에 들어가 내 웹피이지(블로그)만 기재하면 사이트맵을 만들어주는 웹사이트가 있다는 사실!

-사이트맵 만들기 주소

https://www.xml-sitemaps.com/

우선 위 웹페이지 접속 후 사이트맵을 만들고자 하는 웹사이트의 도메인 입력해주시구요.

- More option 클릭한 뒤 사이트맵에 추가적인 정보를 삽입여부를 설정해주시면 됩니다. 각각 항목에 대한 설명 기재해두었으니 참고 해주세요~

1) Include “Page Last modification” 는 마지막으로 변경된 날짜에 대한 데이터를 사이트맵에 추가하고자 할 때.

2) Automatically calculate “Page Priority” attribute 는 페이지별 중요도를 페이지 중요도.

(홈페이지로부터 해당 페이지에 도달하기까지 필요한 클릭 혹은 페이지수)에 따라 자동으로 설정하고자 할 때.

3) Pages”Change Frequency” attributes는 웹사이트의 콘텐츠가 얼마나 자주 업데이트되는지에 대한 정보를 사이트맵에 추가 할 수 있는 기능.

이렇게 작업해주시면 사이트맵 생성이 완료되는데요~ 다운로드 받은 사이트맵은 각각 포털사이트 네이버(서치 어드바이저), 구글(서치콘솔) 에 들어가 제출해주면 끝! 사이트맵 만들기 생각보다 어렵지 않죠? 자 이렇게 Robots.txt&사이트맵 만들기 포스팅을 진행해봤는데요! 생소한 개념을 많이 말씀드려서 좀 헤매기도 하셨겠지만 그만큼 SEO 최적화에 다가가신 부분이라 한편으로는 뿌듯하시지 않았을까 싶습니다.