Webhelyek kezelése

Webhely robotokkal. Mik azok a Robotok (keresőrobotok), mi a feladatuk és hogyan működnek?

Tartalom

    webhely robotokkal

    Ajánlások robot- és archívumbarát webhelyekhez Crawler-friendly website Olyan kialakítású webhely, amelynek releváns tartalma könnyen és teljesen felderíthető robotokkal, az érdektelen pl. Például ilyen megoldásokkal tehető bejárhatóbbá egy webszerver tartalma: honlaptérkép lehetőleg XML-benamely minden lényeges aloldalra elvezeti a robotot a tartalom értékes része nincs túl mélyen a kezdőlapról indulva és linkeken keresztül is elérhető, nem webhely robotokkal egy keresőűrlapon át szabályos HTML linkek a Javascript- Flash- Java-alapú stb.

    Ezek nagyrészt az archiválási célból indított robotok esetében is hasznosak, de az archiválás esetében más szempontok is vannak.

    webhely robotokkal

    Archive-friendly website Olyan webhely, amely nemcsak crawler-friendly, vagyis robotokkal könnyen bejárható, hanem jó minőségben archiválható is: a lementett változat tartalmában, megjelenésében és funkcionalitásában kellően hű mása az eredetinek. Az archiválhatósági jellemzők egy része könnyen ellenőrizhető egy website esetében olyan szolgáltatásokkal, mint például az Archive Ready.

    Weboldal készítés, fejlesztés A robots. Ez alapján a weboldal üzemeltetője jelezheti a robot felé, hogy melyek azok a tartalmak, amiket nem szeretne indexelni, így a keresési találatok között sem fog megjelenni a kérdéses oldal. Milyen esetekben célszerű a robots. Például, ha olyan tartalmak vannak az oldalunkon, melyeket nem szeretnénk mindenki számára elérhetővé tenni, mivel a keresési találatokon keresztül el lehet majd jutni ezekre az oldalakra.