imbahub
Meny +
SV
Prata med oss
IMBAHUB / Kunskap & guider

Robots.txt och noindex styr olika steg.

Robots.txt kan begränsa en sökrobots hämtning. Noindex instruerar en sökmotor som stöder regeln att inte indexera innehållet, men roboten måste kunna hämta resursen och läsa direktivet. Börja därför med sidans avsedda roll innan du tar bort en spärr.

Från hämtning till sökbeslut
  1. Kan sidan hämtas?
  2. Kan direktivet läsas?
  3. Sökmotorn bedömer sidan

Förenklad förklaring, inte ett löfte om indexering.

Prova: robots.txt blockerar en sida med noindex

Roboten kan inte läsa sidans noindex när hämtningen är blockerad. Kontrollera avsett publiceringsläge innan regeln ändras.

Bestäm vad som ska vara publikt

Skriv ned exakt URL, miljö och önskat läge: publik tjänstesida som får indexeras, publik sida som ska hållas utanför sök eller privat förhandsvisning. Vem får godkänna beslutet? En tacksida kan vara publik utan att behöva synas i sökresultat; en kundfil kan behöva verkligt åtkomstskydd.

Robots.txt och noindex är inte behörighetskontroll. Känsligt material ska skyddas med lämplig autentisering och åtkomstregler. Ta inte bort en testmiljös skydd bara för att ett SEO-verktyg rapporterar blockering.

Kontrollera svaret som faktiskt levereras

Hämta den exakta adressen och notera datum, statuskod, eventuell omdirigering och slutadress. Läs robots.txt på rätt protokoll och värdnamn. Granska regeln för den aktuella roboten; en regel för en annan user-agent bevisar inte vad Googlebot tillåts göra.

Kontrollera både robots-meta i HTML och X-Robots-Tag i HTTP-svaret. En mall kan vara rättad samtidigt som en serverheader fortfarande anger noindex. Spara observationerna i ett protokoll utan inloggningsuppgifter. Ett HEAD-svar kan avvika från ett GET-svar; kontrollera det svar som innehållet faktiskt levereras med.

ObserveratTolkningNästa kontroll
Disallow för sidans sökvägHämtning kan vara blockeradVilken robot och regel gäller?
Noindex i HTML eller headerAvsiktlig eller oavsiktlig indexeringsspärrKan roboten hämta och läsa regeln?
Inloggning krävsÅtkomstskydd, inte ett SEO-fel i sigSka sidan över huvud taget vara publik?
200 utan spärrTeknisk förutsättning, inget indexeringsbevisInnehåll, canonical och sökdata

Prova konflikten på en fiktiv kampanjsida

Anta att /kampanj/tack/ har noindex men också blockeras i robots.txt. Teamet vill att sidan ska kunna öppnas efter formuläret men inte visas i sök. Om roboten inte får läsa sidan kan den inte läsa noindex. En blockerad URL kan fortfarande förekomma i sökresultat utan hämtat innehåll.

Lösningen beror på beslutet: för en offentlig, icke-känslig tacksida kan crawl tillåtas så att noindex blir läsbart. För en privat bekräftelse med personuppgifter behövs åtkomstskydd. Byt inte generella regler innan andra adresser som matchar mönstret har inventerats.

Rätta en avgränsad orsak och följ upp

För en tjänstesida som ska vara indexerbar rättar du först den verifierade oavsiktliga spärren. Kontrollera därefter slutstatus, synlig text, canonical, interna länkar och sitemap. Testa även en adress som avsiktligt ska förbli skyddad så att rättningen inte blir för bred.

Spara före- och eftervärden samt ansvarig och tidpunkt. Med behörig Search Console-åtkomst kan URL-inspektion komplettera det tekniska provet. Ett godkänt live-test bevisar inte att sidan redan är indexerad; följ indexeringsstatus separat. Ta med protokollet till ImbaHub om ni behöver hjälp att prioritera tekniska SEO-åtgärder.

Källor och fördjupning

Bra att veta

Kan robots.txt ta bort en sida från Google?

En crawlspärr är inte en säker metod för borttagning ur index. För en offentlig sida som inte ska indexeras behöver noindex kunna läsas. Privat innehåll kräver åtkomstskydd.

Är noindex i HTTP-header mindre viktigt än i HTML?

Nej. Granska båda leveransvägarna och eventuella robotspecifika regler. En borttagen HTML-tagg räcker inte om ett relevant noindex fortfarande levereras i headern.

När kommer sidan tillbaka i sök?

Det finns ingen bestämd tid eller garanti. Teknisk åtkomst och rättade direktiv gör sidan möjlig att bedöma; sökmotorn fattar sitt eget indexeringsbeslut.

IMBAHUB

Vad vill du göra möjligt?

Ta med en berörd URL, önskat publiceringsläge och det faktiska HTTP-svaret till en teknisk genomgång.

Prata med oss
Autentiskt produktgränssnitt på svenska. Separat presentationsmiljö med fiktiva demodata.

Autentiskt produktgränssnitt på svenska. Separat presentationsmiljö med fiktiva demodata.