구글서치콘솔 url검사 색인생성요청이 거부됨 (실패 Robots.txt를 찾을 수 없음) 카테고리 추가 후 생긴 일

구글서치콘솔 url검사를 포스팅한 새글 추가로 검사를 진행했는데,

색인생성요청이 거부됨이라는 엄청난 메시지를 받고 잠시 멘붕이 왔습니다.

예쁘게 글 작성 다 잘하고, 평소와 같이 url검사로 색인생성을 수동요청한 것인데,

무슨 문제로 색인생성요청을 거부한다는 것인가요?

이제 그 원인을 찾아가는 이야기를 해보겠습니다.

 

애드센스를 티스토리에 장착하고 열심히 글을 쓰시다가 저와 같은 일을

당하신 분들이 계실 수 있으니 비슷한 경우라면 같이 해법을 찾아보도록 하죠!

 

 

구글서치콘솔 url검사를 수동으로 하는 이유?

 

사실 어느순간부터 포스팅을 하면 일단 무조건 수동으로 url검사를 통해 색인요청을 하고 있습니다.

이유는 이전에 100개이상 포스팅을 했는데, 색인 되어 있지 않은 페이지가

구글서치콘솔에 너무 많이 보이는 것입니다.

그리고, 페이지를 보았을때 애드센스 광고도 제대로 뜨지 않는 것을 확인하였고,

이 이유가 혹시 색인이 되지 않는것과 연관이 있겠지 하는 생각이 들었습니다.

보통 글을 티스토리에 올리면, 자동으로 구글에서 로봇이 긁어 색인을 등록해주는 것으로

알고는 있는데, 그 자동처리 라는 것을 어느순간 부터 믿지 않게 되었습니다. 

그래서, 가능한 수동으로 의식적으로 url검사로 색인요청을 별도로 하고 있습니다.

테스트 해보니 색인이 안되어 있다고 뜨더라도 애드센스가 나타나지 않는 것은 아니었습니다.

그러나 대체로 색인이 되어 있어야 애드센스가 제대로 뜰 확률은 높아지는 것이라는

심증은 가는 정도라고 말씀드려야 겠습니다. 

 

 

구글서치콘솔 url검사에서 색인생성요청을 거부당한 이유?

 

정상적으로 평소와 같은 글을 작성해서 url검사를 하였는데,

색인생성요청 거부는 처음 당해보네요.

무슨 이유일지 내용을 들여다보고 검색해서 찾아보고 했는데, 도무지 이해가 가질

않았는데, 한가지 행위가 있긴 했습니다.

 

우선, 포스팅을 여행에 관해서 하고 난 뒤 카테고리를 따로 나누는게 좋을듯 하여,

카테고리 하나를 생성해 줬습니다. 

그리고, 포스팅을 저장 한 다음 다시 수정에 들어가서 카테고리를 새로 생성한 것으로

변경해주고 재저장했습니다.

 

그런 후에 구글서치콘솔로 가서 url 검사를 했더니 색인생성요청 거부가 나왔습니다.

 

혹시나 해서 다시 카테고리를 기존에 있는 것으로 변경하고, 

다시 url 검사를 했는데, 역시 색인생성요청 거부가 나옵니다.

 

해당이유의 메시지를 유심히 보니 

"실패: Robots.txt를 찾을 수 없음"이란 메시지가 눈에 띕니다.

 

 

 

잘은 모르겠지만 카테고리가 미반영된 상태에서 포스팅의 카테고리를 지정해 주다보니

구글서치콘솔이 미처 색인을 인지하지 못하는 것이 아닌가 생각이 들었죠.

 

무슨 문제인지는 모르지만 일단 시간을 두고 다시 검색하기전,

일단 포스팅때 들어가는 글 태그 등이 반복된다거나 어떤 글쓰기의 문제가 원인이

될수도 있다는 내용을 보고, 제목과 내용중 글쓰기 일부분을 살짝 조정해주고,

다시 새로운 카테고리로 지정한 다음 재저장해 주었습니다.

 

약 5분정도 시간이 지난 후에 구글서치콘솔로 다시 색인요청을 했더니 이번엔 

색인요청 성공이 되었습니다.

 

구글서치콘솔이 색인요청을 받아들인 이유는?

 

개인적인 생각으로는 포스팅의 문제라기 보다 카테고리를 신규로 개설한 경우

약간의 시간 간격이 필요한 것 아닐까 생각해보게 됩니다.

Robots.txt를 찾을 수 없다고 뜨는 메시지가 카테고리 반영이 늦어짐으로 인해서

생긴 색인요청 거부가 아니었을까 짐작해봅니다.

다른 분들의 내용을 보다보니 제목 h1 태그의 반복 사용도 색인요청 거부의 요인이 될 수도

있다고 해서 저도 일부 글을 수정해서 다시 재저장했으니 

그런 부분에서 일부내용이 수정되며 색인요청 되었을수 있겠지만,

느낌적인 느낌은 카테고리의 추가 문제였을듯 합니다.

 

 

 

---

사실 블로그의 포스팅을 요즘 아주 정성스럽게 쓰고 있는 중입니다.

이유는 너무 관리 소홀했던 마음을 좀 다잡고, 저에게도 도움이 되고,

읽는 분들에게도 도움이 될만한 필요한 지식과 정보를 통해서 

블로그가 성장하도록 만들고 싶고, 애드센스로 얻어지는 성과도 좀더 힘을 내게 하고 싶었습니다.

열심히 하면 보답이 생기리라 믿으며, 여러분들도 힘을 내시길 바랍니다.

 

도움이 되셨길 바라면서, 퐈이팅입니다.