Agent, który codziennie pilnuje indeksacji w Google
Sprawdzanie w Search Console, czemu strony nie wchodzą do indeksu, i klikanie "poproś o indeksację" dla kilkunastu witryn to codzienna, żmudna robota. Agent robi to sam, co dzień, dla wszystkich stron.
Branża: Właściciele stron, agencje SEO
W skrócie
- 16 stron sprawdzanych codziennie
- 13 powodów braku indeksu przeglądanych automatycznie
- Zgłaszanie do indeksacji, którego API Google nie udostępnia
- Blocklista i mapa strony sprzątane same
O projekcie
Żeby strona pokazywała się w Google, musi być zaindeksowana. Search Console mówi, które podstrony wypadły i dlaczego, ale sprawdzanie tego i zgłaszanie do ponownego indeksu, strona po stronie, to codzienne klikanie.
Wyzwanie
Część pracy w Search Console nie ma API. Listę wszystkich wykluczonych adresów i przycisk zgłoszenia do indeksacji widać tylko w przeglądarce, więc trzeba było zrobić agenta, który klika jak człowiek.
Cele
- Sprawdzać indeksację codziennie, bez człowieka
- Zgłaszać do indeksu adresy warte ponownego crawla
- Czyścić mapę strony z martwych adresów
- Zostawiać dzienny raport z tego, co się wydarzyło
Wyzwania techniczne
Nie wszystko ma API
Pełnej listy wykluczonych adresów i zgłaszania do indeksacji nie da się zrobić przez API. Agent robi to w przeglądarce, jak człowiek, z limitem dziennym Google.
Sprzątanie po sobie
Martwe adresy, przekierowania i duplikaty trafiają na blocklistę, która sama czyści mapę strony, żeby nie zgłaszać śmieci.
Rozwiązanie i wdrożenie
Codzienny obchód bez Ciebie
Agent co dzień przechodzi wszystkie strony, spisuje powody braku indeksu i zgłasza do indeksacji to, co warto.
Mapa strony sama się czyści
Adresy, które i tak nie wejdą do indeksu, lądują na blocklistcie, a mapa strony zostaje bez śmieci.
Rezultaty
Strony szybciej w Google
Adresy warte crawla są zgłaszane codziennie, a nie wtedy, gdy ktoś w końcu zajrzy do Search Console.
Koniec codziennego klikania
Robotę, która zjadała czas przy każdej stronie, robi agent, a Ty dostajesz raport.
Wnioski
Nie wszystko trzeba klikać ręcznie
Jeśli coś powtarzasz codziennie w przeglądarce, zwykle da się posadzić do tego agenta.
Zakres
- Obchód GSC
- Zgłaszanie do indeksacji
- Czyszczenie sitemap
- Dzienny raport
Technologie
- Agent przeglądarki
- Search Console
- Node.js
Najczęstsze pytania
Co ten agent robi?
Codziennie sprawdza w Search Console, które podstrony nie weszły do indeksu i czemu, i zgłasza do indeksacji te warte ponownego crawla.
Czemu agent, a nie API?
Pełnej listy wykluczonych adresów i przycisku zgłoszenia do indeksacji Google nie udostępnia przez API. Trzeba to zrobić w przeglądarce.
Ile stron może obsłużyć?
W tym wdrożeniu codziennie chodzi po szesnastu stronach, z dziennym limitem zgłoszeń, którego pilnuje Google.
Co z martwymi adresami?
Adresy typu 404, przekierowania i duplikaty trafiają na blocklistę, która sama czyści mapę strony.
Dla kogo to jest?
Dla właścicieli stron i agencji, które pilnują indeksacji wielu witryn i nie chcą robić tego ręcznie.