Avklar om siden skal være offentlig
Noter nøyaktig URL, miljø, ansvarlig og ønsket status. En offentlig tjenesteside, en takkeside etter et skjema og en privat forhåndsvisning har forskjellige behov. Spør hvem som kan godkjenne at innholdet blir tilgjengelig, ikke bare hvem som kan endre malen.
Verken robots.txt eller noindex er tilgangskontroll. Dokumenter med kundeopplysninger trenger egnet innlogging og tilgangsregler. En bevisst blokkert testside skal ikke åpnes fordi et SEO-verktøy viser et rødt varsel.
Undersøk det faktiske HTTP-svaret
Hent den berørte adressen og registrer dato, første statuskode, eventuell videresending og sluttadresse. Les robots.txt for riktig vertsnavn og protokoll. Kontroller hvilken user-agent regelen gjelder; en tillatelse for én robot er ikke bevis for at andre får samme tilgang.
Se etter robots-meta i HTML og X-Robots-Tag i responsens headere. En endret mal kan fortsatt overstyres av en serverregel med noindex. Bruk svaret fra faktisk henting av innholdet; et HEAD-svar kan avvike fra GET. Lagre funn uten passord, informasjonskapsler eller andre hemmeligheter.
| Funn | Mulig betydning | Neste kontroll |
|---|---|---|
| Disallow treffer URL-en | Henting kan være blokkert | Riktig robot og regel? |
| Noindex i HTML eller header | Indeksering er frarådet | Kan roboten lese regelen? |
| Innlogging kreves | Tilsiktet tilgangsvern | Skal innholdet være offentlig? |
| 200 uten sperre | En teknisk forutsetning er oppfylt | Innhold, canonical og søkedata |
Prøv en konflikt på en tenkt takkeside
I et fiktivt eksempel har /kampanje/takk/ både noindex og en Disallow-regel. Bedriften vil at besøkende skal kunne se bekreftelsen, men at siden ikke skal vises i søk. Når roboten ikke får hente siden, kan den heller ikke lese noindex. En blokkert URL kan fortsatt bli vist uten hentet innhold.
For en offentlig bekreftelse uten sensitive opplysninger kan henting tillates slik at noindex blir lesbart. Inneholder siden private opplysninger, er tilgangsvern en egen oppgave. Kartlegg andre URL-er som treffes av regelen før du endrer et generelt mønster.
Rett én dokumentert årsak og test på nytt
Hvis en tjenesteside skal kunne indekseres, fjerner du den bekreftede utilsiktede sperren og kontrollerer sluttstatus, lesbart innhold, canonical, interne lenker og sitemap. Test også en side som fortsatt skal være beskyttet. Da oppdager du om endringen har blitt for omfattende.
Lagre før- og etterverdier, tidspunkt og ansvarlig. Med autorisert Search Console-tilgang kan URL-inspeksjon supplere HTTP-kontrollen. Et vellykket live-testresultat betyr ikke at siden allerede er indeksert. Følg søkemotorens status separat, og ta med protokollen dersom ImbaHub skal hjelpe med teknisk SEO.