Beslut, hvad der skal være offentligt
Notér den præcise URL, miljø, ansvarlige og ønskede tilstand. En offentlig ydelsesside, en kvitteringsside og en privat forhåndsvisning har forskellige behov. Få indholdsbeslutningen godkendt, før en udvikler ændrer generelle regler.
Robots.txt og noindex beskytter ikke mod uvedkommende adgang. Kundedokumenter med følsomme oplysninger kræver passende login og adgangsregler. En tilsigtet blokering i et testmiljø er ikke i sig selv en fejl, selv om et SEO-værktøj viser en advarsel.
Læs det svar, serveren faktisk leverer
Hent adressen og registrér tidspunkt, første statuskode, omdirigeringer og slutadresse. Læs robots.txt for det rigtige værtsnavn og den rigtige protokol. Se, hvilken user-agent reglen gælder for; en tilladelse til én robot siger ikke nødvendigvis noget om Googlebot.
Kontrollér både robots-meta i HTML og X-Robots-Tag i HTTP-headeren. En rettet skabelon kan stadig blive leveret med noindex fra serveren. Undersøg selve GET-svaret med indholdet, da HEAD kan give et andet svar. Gem observationerne uden adgangskoder eller andre hemmeligheder.
| Observation | Mulig betydning | Næste kontrol |
|---|---|---|
| Disallow rammer adressen | Hentning kan være blokeret | Hvilken robot og regel gælder? |
| Noindex i HTML eller header | Indeksering er fravalgt | Kan robotten læse direktivet? |
| Login kræves | Adgangen er beskyttet | Skal siden være offentlig? |
| 200 uden blokering | En teknisk forudsætning er opfyldt | Indhold, canonical og søgedata |
Afprøv konflikten på en tænkt kvitteringsside
I et fiktivt eksempel har /kampagne/tak/ både noindex og en Disallow-regel. Virksomheden vil vise kvitteringen efter formularen, men holde den ude af søgeresultater. En robot, der ikke må hente siden, kan ikke læse noindex. Den blokerede URL kan stadig optræde i søgeresultater uden hentet indhold.
For en offentlig kvittering uden følsomme data kan crawl tillades, så reglen bliver læsbar. En privat kvittering med personoplysninger har derimod brug for adgangsbeskyttelse. Find andre URL'er, som matcher reglen, før du ændrer et fælles mønster.
Ret årsagen og gentest et afgrænset udvalg
Hvis en ydelsesside skal kunne indekseres, retter du den dokumenterede utilsigtede blokering. Kontrollér derefter slutstatus, læsbart indhold, canonical, interne links og sitemap. Tag også en side med, som fortsat skal være beskyttet, så du opdager for brede ændringer.
Gem før- og efterværdier med dato og ansvarlig. Autoriseret adgang til Search Console giver mulighed for at supplere kontrollen med URL-inspektion. En bestået live-test betyder ikke, at siden allerede er indekseret. Følg søgemaskinens status separat, og brug protokollen som grundlag for en teknisk SEO-dialog med ImbaHub.