블로그 포스팅을 할 때 가장 신경이 쓰이는 부분 중의 하나가 각종 포털사이트나 검색엔진 등에 제대로 노출이 되는가 하는 여부입니다. 노출이 된다는 것은 누군가가 해당 포스트를 '검색'에 의해 찾아낸다는 의미입니다. 예컨대 '다음'사이트에서 '국민연금수급자 현황'이라는 키워드로 검색했을 때, 블로그 포스트가 작성이 되어 있고 색인처리가 잘 되어 있다면 작성한 글이 정상적으로 노출이 되야 하겠죠.
지난 시간에 몇 번에 걸쳐서 주요사이트의 사이트맵과 RSS 등록에 대해 알아보았습니다. (아래의 구글 웹마스터 도구는 현재 '구글 서치콘솔(Google Search Console)'로 변경이 되었으며, 이전과는 다르게 구글 서치콘솔에서 사이트맵 및 RSS를 모두 등록할 수 있도록 바뀌었습니다.)
이번 시간에는 크롤링, 색인, 검색로봇, 사이트맵, URL 등록의 의미가 무엇이며, 블로그가 구글에 정상적으로 노출되기 위해서 우리가 추가적으로 무엇을 해야 하는지에 대하여 알아보도록 하겠습니다. 그럼 출발!
색인(Index)과 검색로봇(Search Robot), 크롤링(Crawling)
◆ 블로그 '노출'에는 '색인(Index)'이라는 개념이 따라붙습니다. 인터넷에는 무수히 많은 글들이 있습니다. 그 많은 글들을 '검색'을 통해 검색결과를 불러오려면 그 글들을 읽어서 검색대상인 '색인(Index)'으로 포함시켜야 하는데, 그 역할을 하는 것이 '검색로봇(Search Robot)'입니다.
◆ 검색로봇은 인테넷 상의 각종 정보를 자동으로 검색하여 수집하는 프로그램입니다. 포털사이트나 검색엔진에는 각각의 검색로봇이 있습니다. 네이버에는 네이버 검색엔진, 구글에는 구글 검색로봇이 각각 존재하여 정보를 취득해가죠.
◆ 검색로봇은 인터넷 상에 분산되어 있는 문서를 수집해서 색인으로 검색대상을 만드는데, 이 과정을 '크롤링(Crawling)'이라고 합니다. 블로거인 우리들이 해야할 일은 검색로봇이 '크롤링'을 정상적으로 할 수 있도록 도와주는 것이겠네요.
▼ 고객센터에서 구글 URL 재크롤링에 대한 내용을 검색해보았습니다. '크롤링'은 며칠에서 몇 주 정도 소요될수 있다고 하는군요.
▼ 크롤링 요청방법에는 두 가지가 있습니다. 첫 번째는' URL 도구사용', 두 번째는 '사이트맵 제출하기' 입니다.
◆ 크롤링 요청 방법 중 제 블로그의 '사이트맵 제출'은 이미 완료가 되어있는 상태입니다. 그럼 추가적으로 'URL 검사도구'를 활용하여 크롤링을 요청하면 되겠군요. 그런데, 어떤 경우에 URL 검사도구를 사용해야하는 것일까요? 쉽게 생각하면 URL 검사도구는 사이트맵을 제출 한 이후 의 포스팅에 대해서 시행하면 된다고 보시면 됩니다.
◆ 간혹 제출된 사이트맵에 해당하는 포스트에 오류가 있어서 추가로 URL 검사를 시행해야할 수도 있지만 이런 경우는 중간중간 구글 검색엔진이 크롤링하면서 구글 서치콘솔에 오류메세지를 남겨줍니다. 따라서 사이트맵을 제출했다면 사이트맵이 제출된 포스트들은 이미 색인이 생성되어 크롤링이 되고 있다고 보시면 되고, 이후의 포스트들만 URL 검사도구를 활용하여 색인등록을 해주시면 됩니다.
◆ 만약 사이트맵 제출이 어렵거나 사이트맵 제출을 생략하고 색인에 포함시키고 싶으시다면 사이트맵 제출 대신 포스팅 할 때마다 URL 등록을 해주셔도 됩니다. 저는 사이트맵이 이미 제출된 상태이지만, 한 번씩 사이트맵을 갱신후 재등록할 생각입니다. 갱신되기 전까지는 새로운 포스팅에 대해서 URL 검사도구로 색인등록할 예정이구요.
◆ 참고로 티스토리 유저는 고속 사이트맵 생성기를 활용하면 좀 더 빨리 사이트맵을 생성할 수 있습니다.
▼ 구글 서치콘솔 관리자 페이지 좌측에 'URL 검사'와 '사이트맵 등록'에 대한 탭이 있습니다.
▼ 사이트맵 먼저 확인해보겠습니다. '색인' 하위에서 '사이트맵'을 확인할 수 있습니다. 'Sitemaps' 를 클릭해주세요.
▼ 제출된 사이트맵을 확인할 수 있습니다. RSS와 사이트맵이 정상적으로 등록이 되어있군요.
▼ '새 사이트맵 추가'에서 RSS 및 사이트맵을 모두 등록할 수 있습니다. 참고하세요.
▼ 'URL 검사' 탭을 클릭하면 페이지 상단의 URL 검사 검색창이 활성화 됩니다.
▼ URL 검사' 검색창에는 이전에 URL 검사했던 내용이 최신순으로 표시가 됩니다.
▼ 참고로 제출된 사이트맵에는 포스트의 끝 주소가 ...147, 148, 149까지 반영이 되어 있습니다. (제 블로그 포스트 주소는 '숫자'로 설정되어 있습니다.)
▼ 그럼 제가 사이트맵으로 등록했던 사이트 주소 중 https://rankro.../148으로 URL 검사를 해보도록 하겠습니다.
▼ Google 색인에서 데이터를 가져오는데 약간의 시간이 걸립니다.
▼ 초록색 체크가 모두 잘 반영되어 있네요. '사이트맵'에 등록된 URL은 정상적이라면 색인이 반영되어있어야 합니다. 그럼 아래에서 하나씩 살펴볼까요?
▼ URL이 구글에 등록되어 있구요.
▼ 적용범위도 정상적으로 제출되어 색인이 생성되어 있습니다.
▼ 적용범위를 펼쳐보겠습니다. 검색, 크롤링, 색인생성 모두가 정상적을 반영이 되어있군요.
▼ 모바일 사용 편의성도 양호합니다. 페이지가 모바일 친화적이라고 하네요. (모바일에서 정상적으로 검색될 확률이 높음)
2. 사이트맵에 포함되지 않아 색인이 생성되지 않은 경우
▼ 그럼 이번에는 사이트맵에 포함되지 않은 최신글을 URL검색을 해보겠습니다.
▼ 초록색 체크 대신에 회색 경고표시가 보이는군요.
▼ URL이 구글에 등록되어 있지 않다고 하는군요.
▼ 사이트맵에 해당사항이 없고, 크롤링은 정상적으로 되고 있군요. 즉, 크롤링은 되고 있지만 색인이 생성되지 않은 상태입니다.
▼ 색인이 생성되지 않았기 때문에 모바일 편의성도 확인할 수 없습니다.
3. 포스트가 색인에 포함되어 있지 않은 경우 조치방법
▼ URL 검사 후 상단의 '색인생성요청' 화면에서 색인생성을 요청할 수 있습니다.
▼ 우측 상단의 실제 URL 테스트를 시행하면 '색인등록이 되어 있지 않지만 포스트의 URL이 정상적으로 생성되어 있는지' 여부를 확인할 수 있습니다.
▼ 실제 URL 테스트 결과, URL을 구글에 등록할 수도, 색인생성할 수도 있다고 하는군요.
▼ 이 화면에서도 상단의 '색인 생성 요청'으로 색인을 생성할 수 있습니다. 색인생성을 통하여 꼭 검색에 반영될 수 있도록 해주세요.
마치며...
사이트맵은 해당 사이트의 지도와 같은 개념입니다. 사이트맵의 전체 구조를 파악할 수 있도록 도와주는 역할을 하죠. 사이트맵이 제대로 구성되어있어야 검색로봇이 정상적으로 읽어들여 검색반영이 될테지만, 사이트맵이 아니더라도 구글에서는 'URL검사'라는 방법을 통하여 색인에 등록할 수 있도록 해주고 있습니다. 작성한 글이 얼마 안될 경우에는 URL검사를 통하여 색인생성을 할 수도 있는 것이죠. 하지만, 포스트의 수가 많아질수록 개별 포스트를 URL 등록시키기에는 어려움이 있을 수 있고, URL검사를 누락시킬 확률도 어느 정도 있기 때문에, 한 번씩 사이트맵을 재등록 해주는 절차가 필요하죠. 아무튼 색인을 잘 반영시켜서 열심히 작성한 포스트를 누군가가 꼭 읽을 수 있도록 해보시기 바랍니다. 그럼 이만.
