Jak poprawić SEO projektu na podstawie danych z crawlingu
Crawler zapisuje na hosts komplet sygnałów, które wystarczają do audytu SEO bez zewnętrznych narzędzi. Ten dokument mapuje te pola na konkretne działania i pokazuje, jak wyfiltrować problematyczne strony w UI (/hosts).
Skąd biorą się dane
Każdy zaindeksowany dokument (crawler/parsing.py → build_item) niesie m.in.:
| Pole | Znaczenie SEO |
|---|---|
title, h1, meta_description | podstawowe sygnały on-page; brak = utracony CTR i ranking |
canonical_url | ochrona przed duplicate content |
https | HTTPS to czynnik rankingowy i wymóg zaufania |
redirects | długie łańcuchy przekierowań tracą link equity i budżet crawla |
lang | podstawa pod hreflang i dopasowanie regionalne |
quality_score | zagregowany sygnał jakości (status 200 + tekst + linki + title + h1) |
text_len, content_length | wykrywanie thin content |
latency_ms | szybkość = Core Web Vitals |
health (host), dns.*, tls.* | crawlability: martwy DNS/zły TLS = strona niewidoczna dla Google |
Priorytetowe działania
1. Uzupełnij brakujące meta-tagi
Najtańszy zysk SEO. W /hosts filtruj dokumenty bez title / h1 / meta_description (filtr „brak …"). Strony bez title i meta_description tracą kontrolę nad snippetem w SERP.
2. Wymuś HTTPS
Filtr https = false na /hosts pokazuje hosty wciąż na HTTP. Crawler ma już fallback http→https, ale docelowo każdy host powinien serwować i kanonikalizować HTTPS.
3. Skróć łańcuchy przekierowań
Sortuj po redirects; wszystko powyżej 1–2 hopów marnuje budżet crawla i link equity. Najczęstszy wzorzec to http → https → www → apex — spłaszcz do jednego skoku.
4. Usuń duplicate content przez canonical_url
Dokumenty bez canonical_url, zwłaszcza warianty www/apex tego samego hosta (widoczne w „Related links" na stronie domeny), powinny wskazywać jeden kanon.
5. Wytnij thin content
Niski text_len przy http_status = 200 to kandydaci na thin/placeholder pages — albo wzbogać treść, albo oznacz noindex.
6. Napraw crawlability (zdrowie hosta)
Sekcje „Domain Health" i „Audit errors" na dashboardzie sumują health, dns.*, tls.*. Host dead/DNS_NXDOMAIN lub z błędem TLS jest dla wyszukiwarki niewidoczny — to priorytet ponad on-page, bo bez poprawnego DNS/TLS żaden inny sygnał nie zadziała. Audyt odświeżysz komendą cli audit -f errors --write.
7. Wydajność = Core Web Vitals
Sortuj po latency_ms; najwolniejsze hosty dostają karę w rankingu mobilnym. Bogatszą diagnostykę (HTTP, meta, SEO, carbon) daje „Live URL inspection" na stronie domeny.
Pętla robocza
- Filtr w
/hosts→ wyodrębnij defekt (np. brakmeta_description). - Eksport CSV (przycisk na liście) → przekaż właścicielom treści.
- Po poprawkach re-crawl (oznacz
indexed=false) i ponowny audyt. - Obserwuj trend na dashboardzie (
Region/Suffix/Kind Distribution,Domain Health).
Uwaga (SEO samego UI): publiczne strony/hosts/*renderują auto-generowaną sekcję „Research analysis" o niemal identycznej treści. Przy tysiącach stron to thin/duplicate content naszego serwisu — rozważnoindexna tych widokach.