blocked i no_follow: bany i pomijanie linków

Dwie reguły chronią crawler przed pułapkami. Obie operują na hostname i są zapisywane samo queue.status_reason = blocked lub no_follow:

• blocked — blokada crawla: zablokowany hostname dostaje IgnoreRequest przed pobraniem i wypada z kolejki. → wykluczone w UI
• no_follow — prewencja zapisu linków: linki do takich domen nie trafiają do kolejki hostów i nie są dalej zbierane. → wykluczone w UI

Dwa mechanizmy obok siebie

flowchart TD
    A[Żądanie URL] --> B[BlacklistMiddleware]
    B --> C{hostname blocked?}
    C -- Tak --> D[IgnoreRequest: odrzuć]
    C -- Nie --> E{Poddomena hostname?}
    E -- Nie --> P[Normalne parsowanie]
    E -- Tak --> F{Wynik requestu}
    F -- "OK" --> G[Zapisz OK w oknie 50]
    F -- "DNS/TLS/TCP error" --> H[Zapisz błąd w oknie 50]
    G --> I{50 ostatnich = 100% błędów?}
    H --> I
    I -- Nie --> P
    I -- Tak --> J[upsert_blocked + blocked_reason]
    J --> D

flowchart TD
    A[Strona HTML] --> B[Ekstrakcja linków]
    B --> C{Normalizacja linku}
    C -- "Brak hostname" --> D[Odrzuć link]
    C -- "hostname OK" --> E{hostname w no_follow?}
    E -- Tak --> D
    E -- Nie --> F{hostname blocked?}
    F -- Tak --> D
    F -- Nie --> G[Zapisz do hosts]

Kiedy domena trafia do blocked

BlacklistMiddleware i audyt DNS/TLS blokują automatycznie, bez operatora:

• Generator poddomen / trap — 50 ostatnich unikalnych subdomen jednego hostname kończy się w 100% złym wynikiem (DNS != DNS_ALIVE, TLS_*, TCP_*).
• Jeśli w oknie 50 subdomen choć jedna jest OK, blocked nie jest ustawiane.
• Powód blokady jest zapisywany jako blocked_reason.

Kiedy domena trafia do no_follow

• Ręcznie / operator — wielkie platformy bez wartości dla indeksu (facebook.com, google.com, youtube.com), dodawane przez panel /no_follow.
• Nie automatycznie z blocked — no_follow nie jest korelowane z trapami i nie powstaje przy blokadzie.

Współpraca z hosts

1. Wybór do crawla (Database.start_urls) claimuje tylko rekordy z datą queue.next_claim_at <= now; status_reason i brak daty blokują routing.
2. Filtr odkrytych linków (save_hosts) odrzuca linki, których root jest w unii no_follow i blocked — blokada działa natychmiast w tej samej sesji.

blocked vs no_follow

Reguły dla programisty

1. no_follow = prewencja globalna — wielkie platformy o nieskończonej strukturze linków.
2. blocked = automat trapów — ustawiaj przez upsert_blocked, zapisując blocked_reason.
3. Nie łącz z no_follow — trap nie tworzy wpisu no_follow; no_follow służy linkom, których nie zapisujemy i nie zbieramy.

Powiązane: Typy problemów DNS/TLS, Audyt DNS.