크롤러 오류 발생 그리고 대처방법

 

크롤러 오류 원인과 대응방법

 

 

티스토리를 통해 소액이지만 수익을 얻고 나서, 그리고 티스토리 자체 애드센스 광고 이후 좀 더 자주 접속하게 된 구글 애드센스 페이지에서 또 오류 메시지를 띄웠다. 이제는 좀 지겨울 정도다. 수시로 색인문제 그리고 크롤링 문제가 반복되는 것 같다. 

블로그 초창기에 종종 색인이 잘 안 되거나 크롤러 오류가 있기는 했는데, 어느 순간 그런 메시지가 많이 줄었는데 아쉽게도 또 나타나기 시작할 모양이다. 안 그래도 애드센스 포럼이나 티스토리 디시갤을 보면 티스토리는 크롤러 오류가 많다는 이야기가 많기는 했다. 그래서 큰 걱정을 하지 않고 보고 있는데, '수익 손실'이 발생할 수 있다는 말에 해결할 수 있는 것인지 한번 훑어보기로 한다. 

 

구글애드센스 정책센터

 

한동안 구글 애드센스 정책센터가 깔끔했는데 또 이렇게 '광고 크롤러 오류'가 떠있다. 최근에 작성한 글을 수집해가지 못한 에러였고 광고 요청은  59회 있었으나 약 1%의 제한이 이뤄지고 있다고 한다. 그래서인지 확인했을 때에도 아래와 같이 광고가 잘 나오고 있었다. 카카오 것 하나, 내 것 하나!

사실 큰 수치는 아닌데, 뭔가 에러 메시지가 있는 것이 싫어서 해결할 수 있다면 그렇게 하고 싶어 찾아보기로 한다.

 

 

 

광고 크롤러 오류 

광고 크롤러는 웹페이지를 자동으로 검색하고 광고를 수집하는 역할을 하는 기능을 하는 것을 말한다. 그런데 이  작업을 원활하게 할 수 없을 때, 오류메시지를 띄우는 것으로 보인다. 이는 페이지의 문제가 있을 수도 있고, 크롤러 하는 구글의 문제일 수도 있다. 

또한 대부분은 이러한 크롤러 오류는 다음번 크롤링할 때, 해결되기도 해서 많은 블로거들이 그냥 두면 된다는 이야기를 하기도 한다. 색인 역시 마찬가지로 블로거가 크게 할 수 없다는 점에서 비슷하다. 

 

 

8월 7일에 발행되기는 하였으나, 글 작성은 8월 6일에 해두고 공개만 7일에 한 모양이다. 6일부터 크롤러 오류 신고가 있었고, 크롤링 오류가 발생한 원인은 '호스팅 서버에 연결할 수 없음'이라는 것이다. 아무래도 이번에는 카카오 측의 오류가 있었던 모양이다. 찾아보니, 광고 크롤링 오류가 발생하는 원인은 그때그때 조금 다른 모양이다. 

 

 

그래도 광고 크롤링 오류를 해결할 수 있을까 싶어 검색을 해보고 그대로 따라 해 보았다. [계정 > 액세스 및 승인 > 크롤러 액세스] 단계로 이동하여 요청하는 정보를 제공하면 된다고 하는데, 아래 페이지를 보면 알겠지만 필자는 그냥 포기해 버렸다. 

 

 

음,  어떻게 기재해야 할지 모르겠고 뭔가 티스토리와는 맞는 질문인지도 잘 모르겠다. 그러던 중, 광고 미노출 수치가 높지 않아 그냥 두고 해결하기를 기다려보기로 한다. 이런 이유에서도 티스토리 유료화는 어울리지 않는 것 같기도 하다. 오늘은 이만 마무리하려 한다. 

 

23.08.12일 덧붙이기

구글 콘솔의 설정부분

 

구글 서치 콘솔의 [설정 > 크롤링 통계 > 호스트상태]를 보면 최근 실패율은 수용가능하지만, 이전에는 실패율이 높았다고 한다. 서버 연결도 실패율이 꽤 높다.   최근 25~32% 내외를 왔다 갔다 하는 중이다. 이러한 것이 모두 크롤링에 영향을 미치는 것 같다. 아무쪼록 안정화가 될 수 있기를 바라본다.