어제 노마드 코더 영상을 봤는데 시작하자마자 이런 말이 나오더라
지난달에 사람이 인터넷에서 소수가 됐다고
클라우드플레어가 재봤더니 전체 웹 트래픽의 60퍼가 이미 봇이랑 AI 에이전트래
그쪽 대표도 2027년쯤이나 될 줄 알았는데 지난달에 넘었다고 하고
듣고 나니까 궁금해지는 거지 그럼 내 사이트는 몇 퍼센트임?? 🤔
펩핀치가 클라우드플레어에 올라가 있으니까 60퍼를 잰 그 회사가 내 사이트 숫자도 갖고 있을 거 아냐
열어봤더니 하루에 요청이 2,800번쯤 들어오고 있었는데
브라우저별로 갈라놓은 걸 보니까 크롬이랑 모바일 사파리를 다 합쳐도 12퍼밖에 안 되고
나머지 88퍼가 Unknown/Others야
처음엔 이걸 전부 봇이라고 읽었는데, 브라우저를 알 수 없다는 분류만으로 사람이 아니라고 확정할 순 없겠더라고
사이트 요청 열에 아홉은 익숙한 브라우저 이름이 안 붙어 있었음
영상의 60퍼와 여기 찍힌 88퍼를 바로 비교했는데
둘이 같은 기준으로 센 숫자인지도 먼저 봐야 했던 거지
근데 1등이 나였음
어디서 요청이 제일 많이 들어오나 IP 순위를 봤는데 상위 세 개가 481, 480, 480
너무 딱 떨어지잖아 정해진 시간마다 요청하나 싶었음
찾아보니까 주소가 checker-ash13.uptimerobot.com 이런 거야
업타임로봇
내가 켜놓은 거잖아 😱
사이트 안 죽었나 확인해주는 서비스인데, 3분마다 한 번씩 peppinch.com www 잡솔트 세 군데를 찌르고 있었고
내 사이트 요청 절반쯤은 내가 켜둔 업타임로봇이었음
전체 요청의 4분의 1은 HEAD였음 (본문을 받아오지 않고 응답 정보만 확인하는 요청), 이것도 업타임로봇 때문인가 싶었는데 정확히 얼마나 겹치는지는 더 봐야겠고
방문자가 얼마나 되나 궁금해서 열었는데 내가 켜둔 사이트 확인 서비스가 1등이었던 거지 ㅋㅋㅋ
그거 빼고 계산하니 75퍼쯤
업타임로봇 요청이 전부 Unknown/Others에 들어 있다고 보고 빼면, 남은 요청 중 이 분류가 75퍼쯤이었어
근데 업타임로봇이 정말 전부 이 분류에 들어 있는지부터 확인해야겠음, 지금 계산만으로 봇 비율을 알 수는 없네
나머지 요청도 찾아봤더니
요즘 말 많은 AI 크롤러들이 있긴 있더라 (메타가 제일 자주 오고 그다음 GPTBot 구글 빙 퍼플렉시티 순인데, 클로드봇은 딱 세 번 요청했네 🙂)
근데 다 합쳐도 전체의 5퍼밖에 안 돼
이름이 확인된 AI 크롤러만으로는 나머지를 설명할 수가 없었음
내가 계산한 나머지 3분의 2는 아직 정체를 모르겠고
그리고 이게 좀 웃긴데, 요청한 IP의 국가를 봤더니 미국이 85퍼야
싱가포르랑 중국이 그다음이고 한국은 3위 안에도 없어
내 사이트 한국어로 되어 있거든??
글도 한국어 도구도 한국어 심지어 잡솔트는 한국 채용공고 보는 건데
내 생각
한국어 사이트인데 요청한 IP가 미국으로 잡히는 비율이 이렇게 높을 줄은 몰랐음
그렇다고 IP가 미국이라고 한국어를 못 읽는다는 뜻은 아니니까, 누가 무슨 목적으로 요청하는지는 이 화면만으론 모르겠네
캐시 적중률도 1퍼대로 찍혀 있던데 왜 이렇게 낮지
처음엔 봇이 많아서 그런가 했지만 무슨 요청을 저장해뒀다가 다시 주는지 확인한 건 아니라서, 원인은 따로 봐야겠음
처음엔 영상에서 들은 60퍼가 궁금해서 열어봤는데
내 사이트는 88퍼가 Unknown/Others로 찍혔고 전체 요청 절반쯤은 내가 켜둔 감시 서비스였음, 나머지는 아직 모르는 게 많네
숫자가 찍히면 누군가 글을 읽고 있겠거니 했는데
내가 켜둔 감시 서비스가 이렇게 자주 확인하고 있었다니 좀 이상한 기분임
방문자 수라고 찍힌 숫자도 어떻게 세는 건지 궁금해졌음
요청 횟수랑 사람 수는 다를 텐데 이 화면은 뭘 세고 봇은 어떻게 처리하는 거지 🤔
그건 다음에 좀 더 파봐야겠다