imbahub
Meny +
NO
Snakk med oss
IMBAHUB / Kunnskap og guider

Robots.txt og noindex virker på ulike trinn.

Robots.txt kan begrense hva en søkerobot får hente. Noindex ber en søkemotor som støtter regelen om å holde innholdet utenfor indeksen. Roboten må kunne hente ressursen for å lese regelen. Avklar derfor sidens formål før du fjerner en sperre.

Fra henting til søkebeslutning
  1. Kan siden hentes?
  2. Kan regelen leses?
  3. Søkemotoren vurderer siden

Forenklet forklaring, ikke et løfte om indeksering.

Prøv: robots.txt blokkerer en side med noindex

Roboten kan ikke lese sidens noindex når henting er blokkert. Avklar ønsket offentlig status før regelen endres.

Avklar om siden skal være offentlig

Noter nøyaktig URL, miljø, ansvarlig og ønsket status. En offentlig tjenesteside, en takkeside etter et skjema og en privat forhåndsvisning har forskjellige behov. Spør hvem som kan godkjenne at innholdet blir tilgjengelig, ikke bare hvem som kan endre malen.

Verken robots.txt eller noindex er tilgangskontroll. Dokumenter med kundeopplysninger trenger egnet innlogging og tilgangsregler. En bevisst blokkert testside skal ikke åpnes fordi et SEO-verktøy viser et rødt varsel.

Undersøk det faktiske HTTP-svaret

Hent den berørte adressen og registrer dato, første statuskode, eventuell videresending og sluttadresse. Les robots.txt for riktig vertsnavn og protokoll. Kontroller hvilken user-agent regelen gjelder; en tillatelse for én robot er ikke bevis for at andre får samme tilgang.

Se etter robots-meta i HTML og X-Robots-Tag i responsens headere. En endret mal kan fortsatt overstyres av en serverregel med noindex. Bruk svaret fra faktisk henting av innholdet; et HEAD-svar kan avvike fra GET. Lagre funn uten passord, informasjonskapsler eller andre hemmeligheter.

FunnMulig betydningNeste kontroll
Disallow treffer URL-enHenting kan være blokkertRiktig robot og regel?
Noindex i HTML eller headerIndeksering er frarådetKan roboten lese regelen?
Innlogging krevesTilsiktet tilgangsvernSkal innholdet være offentlig?
200 uten sperreEn teknisk forutsetning er oppfyltInnhold, canonical og søkedata

Prøv en konflikt på en tenkt takkeside

I et fiktivt eksempel har /kampanje/takk/ både noindex og en Disallow-regel. Bedriften vil at besøkende skal kunne se bekreftelsen, men at siden ikke skal vises i søk. Når roboten ikke får hente siden, kan den heller ikke lese noindex. En blokkert URL kan fortsatt bli vist uten hentet innhold.

For en offentlig bekreftelse uten sensitive opplysninger kan henting tillates slik at noindex blir lesbart. Inneholder siden private opplysninger, er tilgangsvern en egen oppgave. Kartlegg andre URL-er som treffes av regelen før du endrer et generelt mønster.

Rett én dokumentert årsak og test på nytt

Hvis en tjenesteside skal kunne indekseres, fjerner du den bekreftede utilsiktede sperren og kontrollerer sluttstatus, lesbart innhold, canonical, interne lenker og sitemap. Test også en side som fortsatt skal være beskyttet. Da oppdager du om endringen har blitt for omfattende.

Lagre før- og etterverdier, tidspunkt og ansvarlig. Med autorisert Search Console-tilgang kan URL-inspeksjon supplere HTTP-kontrollen. Et vellykket live-testresultat betyr ikke at siden allerede er indeksert. Følg søkemotorens status separat, og ta med protokollen dersom ImbaHub skal hjelpe med teknisk SEO.

Kilder og fordypning

Spørsmål og svar

Fjerner robots.txt en URL fra Google?

Ikke nødvendigvis. Blokkering av henting er ikke det samme som fjerning fra indeksen. En offentlig side med noindex må være tilgjengelig for at regelen skal kunne leses.

Holder det å fjerne noindex fra HTML?

Ikke hvis en relevant X-Robots-Tag fortsatt leverer noindex. Kontroller både dokumentet og HTTP-headerne, samt eventuelle regler for bestemte roboter.

Når blir siden indeksert etter rettingen?

Det finnes ingen fast frist eller garanti. Rettingen gjør det mulig å vurdere siden, men søkemotoren avgjør hva den indekserer.

IMBAHUB

Hva vil du få til?

Ta med en berørt URL, ønsket offentlig status og observert HTTP-svar til en teknisk gjennomgang.

Snakk med oss
Produktgrensesnittet er satt til norsk i et isolert miljø med fiktivt norsk demoinnhold.

Produktgrensesnittet er satt til norsk i et isolert miljø med fiktivt norsk demoinnhold.