Hiába készítünk minőségi tartalmat és alakítunk ki jól átlátható weboldalt, ha a Google nem találja meg vagy nem veszi fel az oldalainkat az indexébe. Az oldal indexelése ugyanis a keresési eredményekben való megjelenés egyik alapfeltétele: ami nincs indexelve, az organikus találatként sem jelenhet meg. Az indexbe kerülés ugyanakkor egyáltalán nem automatikus folyamat. Különféle technikai hibák, helytelen beállítások és tartalmi problémák egyaránt akadályozhatják az indexelést.

Ebben a cikkben bemutatjuk, hogyan segíthetjük a weboldal feltérképezését és indexelését. Kitérünk a robots.txt fájl, az XML-webhelytérkép, a belső linkek és a canonical címke szerepére, valamint arra is, hogyan ellenőrizhetjük az indexelést a Google Search Console-ban. Végül összegyűjtjük a leggyakoribb indexelési problémákat, és azt is megnézzük, mennyi idő alatt kerülhet be egy oldal a Google indexébe.

Oldal indexelése: miért fontos?

A crawling, vagyis a honlapok átfésülése és gyűjtése, illetve az indexing, ami ezen oldalak elmentését jelenti, a Google keresőrobot legfontosabb feladatai. Az oldal indexelése egyszerűsíthető néhány előzetes változtatással, ezzel segítve, hogy a keresőrobot alaposabb munkát végezhessen és az oldalunk jobb helyen szerepeljen a rangsorban.

A következő öt lépés segít optimalizálni az oldalunkat crawling és indexing szempontjából, hogy a honlapot könnyebb legyen megtalálni a weben.

1. A robots.txt fájl

A robots.txt egy egyszerű szöveges fájl, ami útmutatóként szolgál a Googlebot számára a honlap gyűjtésére vonatkozóan, például hogy hagyjon ki egyes könyvtárakat. Ezek gyakran olyan aloldalak, amik bizonyos kampányok landing oldalai, vagy akár olyan adatbázisok, amik bizalmas információkat tartalmaznak, mint például statisztikák, vagy egyéb analitikai adatok.

A robots.txt fájl létrehozásakor fontos, hogy ügyeljünk arra, hogy a fájl minden olyan adatot tartalmazzon, ami a bot számára lehetővé teszi, hogy megfelelően jelenítse meg a honlapot. Például próbáljuk elkerülni a CSS és a JavaScript fájlok letiltását a robots.txt-ben.

Ha egy bizonyos könyvtárat akarunk letiltani a gyűjtésben, használjuk a következő kódot az oldal indexelése során:

Disallow: /directory/*

Ebben az esetben a csillag egy kitöltő egység és a könyvtárban található összes tartalmat reprezentálja.

Miután létrehoztuk a robots.txt fájlt, mentsük el azt a honlap forrásának könyvtárába.

Javaslat

Használjuk a Google Search Console-t a robots.txt fájl ellenőrzésére, de fontos kiemelni, hogy ehhez regisztrálni kell a honlapot a Search Console-ban.

2. Az XML oldaltérkép

A robots.txt mellett az XML oldaltérkép játszik kiemelten fontos szerepet az oldal indexelése során. Ez egy mechanikusan olvasható fájl, ami a honlapunkon található összes URL-t listázza. Ezt az adatot szöveg formájában mentik el az XML fájlba. Ez a fájl azt is lehetővé teszi, hogy az URL-ek mellett egyéb fájlokat is közvetítsünk, például ha egyszerre több URL-t frissítünk.

Miután létrehoztuk az XML fájlt, adjuk hozzá a Google Search Console-hoz, hogy a Google is tudomást szerezzen az új URL-ről. Viszont az oldaltérkép csak tájékoztatja a Google-t az URL-ekről, nem ad útmutatást, mint a robots.txt fájl (pl. tiltás esetében), épp ezért a Google nem fogja figyelembe venni a tartalmat az oldal indexelése során.

Az XML oldaltérképet gyakran nem használják megfelelően, pedig nagyon hasznos lehet új és nagyméretű oldalak esetében, mivel tájékoztatja a Google-t az aloldalakról egy honlapon belül. Például, ha olyan új tartalmat osztunk meg az oldalon, ami nincs jól kereszthivatkozva, az oldaltérkép segítségével értesíthetjük a Google-t az új tartalomról.

Különböző módokon hozhatunk létre oldaltérképet, néhány tartalomkezelő rendszer például tartalmazza a hasznos eszközöket, amik segítségével automatikusan hozhatunk létre oldaltérképet. Egy másik megoldás lehet az ingyenesen elérhető programok használata.

Miután az oldaltérkép elkészült, mentsük el a honlap gyökérkönyvtárába, akár tömörítve vagy dinamikusan, hogy helyet takarítsunk meg.

A Google általában azt javasolja, hogy osszuk meg az oldaltérképet, ha ötvenezernél több URL található a honlapunkon. Ebben az esetben jó, ha indexet használunk és létrehozunk egy oldaltérképet az oldaltérképhez, ami tartalmazza az összes linket, ami az egyes XML oldaltérképekre mutat.

Az elkészült fájlt érdemes megosztani a Google Search Console-ban, hogy lehetővé tegyük az aloldalak gyűjtését a Google számára.

Ha az oldalunkon sok kép vagy videó szerepel, érdemes az általános keresés indexelését is ellenőrizni, azzal, hogy ezeknek a tartalmaknak külön oldaltérképet hozunk létre. Ennek a felépítése hasonló az alapvető oldaltérkép felépítéséhez.

Javaslat

Sok esetben jó, ha az oldalunk a változtatást követően minél hamarabb újra átesik a gyűjtésen, ebben segíthet a Google Search Console. Tüntessük fel az egyes honlapokat és azonnal küldjük el a rendszernek. Ugyanakkor fontos megjegyezni, hogy ez a lehetőség havi ötszáz URL-re van korlátozva.

3. Használjuk fel a Crawl Budgetet, avagy a feltérképezési keretet!

A Googlebot olyan számítógépes program, amit arra terveztek, hogy linkeket kövessen, URL-eket gyűjtsön, majd ezeket értelmezze, kategorizálja és listázza a tartalmat. Ennek érdekében a bot feltérképezési keretet alkalmaz, ez a szám az oldal helyezésén és az egyes honlapokon alapul, illetve azon, hogy mennyire könnyen tudja a bot követni a linkeket az adott oldalon.

Az optimalizált honlap szerkezet nagyban megkönnyíti a bot dolgát, különösen a lapos hierarchiát alkalmazó oldalak, mert minden oldalt elérhetővé tesznek. Akárcsak a felhasználók, akik nem szeretnek négy kattintásnál többet alkalmazni, hogy elérjék a keresett tartalmat, a bot sem mindig képes átlátni a nagyobb könyvtárakat, ha az elérési útvonal bonyolultabb.

A gyűjtés úgy is egyszerűbbé tehető, ha belső hivatkozásokat használunk. Adhatunk javaslatokat a botnak a többi URL-t illetően kereshető hiperlinkek elhelyezésével a szövegen belül, tekintet nélkül az irányítás menüre. Így a fontosabb tartalmakra mutató linkek egyszerűbben gyűjthetők. A link célját leíró horgony címke további útmutatást ad a botnak arról, hogy nagyjából mire mutat a link és hogyan kategorizálja a tartalmat.

Ahhoz, hogy a bot könnyebben tekintse át a tartalmat, érdemes logikusan meghatározni a H-címkéket, vagyis azokat a HTML-címkéket, amik egy honlap fejléc szövegének fontosságát jelzik. Ehhez érdemes a címkéket kronológiai sorrendbe helyezni, vagyis H1-címke kerüljön a főcímhez, majd H2, H3 az egyes alcímekhez.

Sok tartalomkezelő rendszer és webdesigner használja a H-címkéket az oldal fejléceinek méretezésére, mivel az egyszerűbb, ez viszont összezavarhatja a Googlebotot a gyűjtésben. Érdemesebb CSS-t használni a tartalomtól független szövegek betűméretének változtatására.

4. Kerüljük el, hogy a botnak kerülőúton kelljen mennie!

Az árva oldalak és a 404 hibaüzenetet megjelenítő oldalak felesleges nyomást helyeznek a feltérképezési keretre. Ahányszor a bot 404 hibaüzenetbe fut, nem tud más linkeket követni, ezért vissza kell mennie az előző pontra és más irányban folytatnia a gyűjtést. A böngészők és gyűjtő botok gyakran nem képesek megtalálni az URL-t, például miután egy online bolt törölte a terméket a kínálatából, vagy változás történt az URL-ben. Ebben az esetben a szerver 404 hibakódot küld vissza, hiszen nem találja az oldalt, ez azonban leterheli a keretet. A webfejlesztőknek törekedniük kell arra, hogy ezeket a hibákat mihamarabb orvosolják.

Az árva oldalak olyan oldalak, amiknek nincs belső befelé mutató linkjük, viszont vannak külső linkjeik. A bot ebben az esetben nem képes gyűjteni az oldalt, vagy rákényszerül, hogy váratlanul abbahagyja a gyűjtést. A 404 oldalakhoz hasonlóan, ezt is érdemes elkerülni. Ez a probléma gyakran a webdesign hibáiból vagy a belső linkek szintaxisának helytelenségéből ered és ahogy láthatjuk, az oldal indexelése során komoly gondot jelenthet.

5. Kerüljük el a duplikált tartalmat!

A Google álláspontja szerint a duplikált tartalom nem indokolja a fellépést az adott oldallal szemben, azonban ez nem jelenti azt, hogy az oldalon kéne maradnia. Ha a keresőoptimalizálás vagy a webfejlesztő nem oldja meg a problémát, a keresőmotor fogja eldönteni, hogy melyik tartalmat listázza és melyik URL-t hagyja figyelmen kívül, ha a tartalom hasonló. Ezt elkerülendő, érdemes tisztában lenni a következő három jelölési módszerrel:

301 átirányítás

A duplikált tartalom nagyon gyorsan létrejöhet, különösen, ha az oldal www. és anélküli verziója is listázva van, ugyanígy a biztonságos elérési utak a https-eken keresztül. Ahhoz, hogy elkerüljük a duplikált tartalmat, érdemes állandó átirányítást (301) használni, hogy a megfelelő oldalra küldje a felhasználót. Ehhez vagy a .htaccess fájlt kell felülírni vagy adjuk hozzá a preferált oldalt a Google Search Console-hoz.

canonical címke

Az online áruházak esetén különösen gyakran előfordul a duplikált tartalom problémája, hiszen egy termékhez több URL is tartozhat. Ezt megoldhatjuk canonical címke használatával is, mely tájékoztatja a Googlebotot arról, hogy melyik az eredeti URL, amit listáznia kell. Fontos, hogy minden olyan oldal, amit nem akarunk listáztatni, kapjon egy ilyen címkét, ami az eredeti URL-re mutat a forráskódban. Miután elhelyeztük a címkéket, érdemes ellenőrizni, hogy a megfelelő helyre mutatnak-e és hogy az a hely valóban létező oldal. Ha csak egy oldalt akarunk listázni, akkor érdemes önmagára mutató címkét elhelyezni benne.

rel=alternate

Ez a címke akkor különösen hasznos, ha az oldalunk több nyelven elérhető vagy ha van asztali számítógépre és mobilra optimalizált verziója is. A címke tájékoztatja a Googlebotot az alternatív URL-ről, aminek ugyanaz a tartalma, de nem fog duplikáltként megjelenni.

Hogyan ellenőrizhetők az indexelt oldalak a Google Search Console-ban?

Az oldal indexelésének állapotát a Google Search Console URL-ellenőrző eszközével vizsgálhatjuk meg a legmegbízhatóbban. Ehhez a Search Console felső keresősávjába írjuk be az ellenőrizni kívánt URL-t. Ha az oldal indexelve van, az eszköz azt is megmutatja, hogy

mikor térképezte fel legutóbb a Googlebot,
melyik URL-t tekinti a Google az oldal elsődleges változatának
és engedélyezett-e az indexelés.

Az eredmény mindig a Google által legutóbb feldolgozott változat állapotát mutatja. Ha időközben esetleg módosítások történtek az oldalon, akkor érdemes újra tesztelni az élő URL-t, mert nincs rá garancia, hogy az új tartalom indexelésre kerül.

Gyors ellenőrzésre a site:teljes-URL keresés is használható, de ennek az eredménye nem mindig teljes. Az URL akkor is szerepelhet a Google indexében, ha nem jelenik meg a találatok között, ezért ez a módszer nem helyettesíti a Google Search Console-ban elérhető adatokat. Az Oldalindexelési jelentés átfogó képet ad a webhelyhez tartozó összes URL indexelési állapotáról, amelyről a Google tud.

Miért nem indexeli a Google az adott URL-t?

Az előzőekben bemutatott hibák mellett további akadályai is lehetnek az oldal indexelésének. A leggyakoribb problémák közé tartoznak a következők:

noindex utasítás szerepel a forráskódban vagy a HTTP-válasz fejlécében,
az oldal ismétlődően 5xx szerverhibát dob, ezért a keresőrobot nem tudja lekérni,
a tartalom nagyrészt megegyezik egy másik oldaléval, vagy kevés egyedi és hasznos információt kínál,
a Google már ismeri az oldalt, de még nem térképezte fel vagy nem vette fel az indexébe.

Fontos kiemelnünk, hogy a robots.txt fájlnak és a noindex utasításnak eltérő szerepe van. A robots.txt egy egyszerű szöveges fájl, amely meghatározza, hogy a Googlebot a webhely mely URL-jeit térképezheti fel. A noindex utasítással pedig az oldal keresési eredményekben való megjelenését tilthatjuk meg. A robots.txt fájlban letiltott URL ettől még megjelenhet a keresési eredmények között, ha a Google például más oldalakon található linkekből tudomást szerez róla.

Mennyi ideig tart, amíg a Google indexeli az oldalt?

Az oldal indexelése néhány naptól akár néhány hétig is eltarthat. A folyamatot többek között a webhely technikai állapota, ismertsége, frissítési gyakorisága, belső linkstruktúrája és a tartalom minősége befolyásolja.

Új vagy jelentősen módosított oldal esetén a Google Search Console-ban mi magunk is kérhetjük az adott URL indexelését. Ez azonban egyáltalán nem garantálja azt, hogy az oldal bekerül az indexelt oldalak közé. A folyamatot ugyanazon URL ismételt és többszöri beküldése nem gyorsítja fel, ezért nem érdemes ezzel időt tölteni. Hasznos tipp: ha egyszerre több új oldalt szeretnénk beküldeni, akkor egyenkénti kérelmek helyett friss XML-webhelytérképpel is segíthetjük a Google-t.

Összegzés

A cikkben bemutatott lehetőségek segítenek optimalizálni honlapunk gyűjtését és könnyebbé válhat az oldal indexelése. Ezzel párhuzamosan pedig lehetővé teszik, hogy honlapunkat könnyebb legyen megtalálni a keresőkben. Ezekkel az ötletekkel sikeres oldalt hozhatunk létre és jobb helyezést érhetünk el a találati listákban, ezzel növelve a forgalmat.