De kracht van robots.txt
*ook verschenen op Marketingfacts
Dit keer een artikel met een iets meer technische insteek over het kleine en vaak vergeten bestand robots.txt. Veel webbeheerders onderschatten de mogelijkheden van dit kleine bestand, en sommige zijn keihard in aanraking gekomen met de kracht die het bestand heeft. Dit artikel is een reminder om iedereen weer attent te maken op dit bestand.
Wat doet het dan
Voor de mensen die het fenomeen helemaal niet kennen een korte introductie. Het robots.txt bestand wordt altijd in de root (de hoofdmap) van een website geplaatst en is bedoeld om aan te geven welke delen van de site door robots bekeken mogen worden. Over het algemeen worden met deze robots de zogenaamde spiderbots van de zoekmachines bedoeld. Voordat een zoekmachine begint een site te indexeren zal hij eerst kijken of de robots.txt bestaat en eventuele informatie geeft over wat hij wel en niet mag indexeren.
Beveiligingscamera’s per ongeluk zichtbaar?
Tot groot vermaak zag ik deze kop bovenaan de site Voelspriet staan. Er wordt in het artikel beweert dat Google je mee laat kijken (gluren) met diverse verborgen camera's. Deze zouden gevonden kunnen worden door het inbrengen van speciale commando's in de zoekmachine: inurl:/view/index.shtml site:.nl. Het hele artikel is één groot afschieten van Google want zij zouden de privacy in het geding brengen, zo zouden er nog veel meer voorbeelden zijn van dit soort zoekopdrachten.
Maar dan rijst bij mij als zoekmachinekenner direct de vraag: hoe komt Google aan die links? Een pagina zal eerst bekend gemaakt moeten worden bij de zoekmachine alvorens hij bezocht kan worden. Dit kan gedaan worden met het plaatsen van een link naar deze pagina. Deze link kan van een andere site komen, of in een zogenaamde sitemap.xml staan. Dat vertelt mij dus dat de eigenaren van de camera's ergens een link naar de camerapagina geplaatst hebben om deze openbaar te maken. Daar is dus bewust voor gekozen...
Natural Search een overschatte zoekmethode
*ook verschenen op Marketingfacts
Danny Sullivan heeft op SearchEngineWatch een betoog geschreven over de gebreken van de huidige natural search engines. Een leuke tekst met argumentatie waar ik mij persoonlijk goed in kan vinden.
Natural Search is van nature geschikt voor mensen die onbekend zijn met het fenomeen. Je kiest een woord en krijgt aan de hand daarvan een scherm met relevante resultaten die algoritmisch gewogen zijn. Een hele verbetering ten opzichte van simpele zoeksystemen die alleen controleren of een woord in de tekst voorkomt. De resultaten voldoen redelijk aan de verwachting dus de zoekmachine wordt goed bevonden.
Wat is dan het probleem?
Maak nu je eigen zoekmachine
*ook verschenen op Marketingfacts
Op diverse sites waaronder die van Matt Cutts wordt gesproken over de nieuwe Custom Search Engine die Google gelanceerd heeft. In plaats van de oude zoekbox die je op je site kon plaatsen kun je nu een verder gespecificeerde zoekbox aanmaken. Deze biedt veel voordelen aangezien je nu veel meer controle hebt over de resultaten.
Wat is het dan precies: je kunt bijvoorbeeld een zoekbox maken die alleen zoekt in de bekende auto verkoop sites. Tegelijkertijd filter je de ongewenste sites er uit zodat je een relevante schone lijst overhoudt met alleen goede resultaten. Deze zoekmachine is dan te bereiken op een aparte pagina maar ook te gebruiken als losse zoekbox in je site. De parameters zijn verregaand uit te breiden, zo kun je alle bekende zoekparameters gebruiken die de normale zoekmachine ook aanbiedt.
Sitelinks, hoe krijg je ze nou?
Je hebt ze vast wel eens gezien, een rij met extra links die onder een normaal resultaat in Google staan:
Hoe komen ze daar en waarom staan ze daar? Het is duidelijk dat je met dit soort extra links veel extra exposure krijgt omdat het afwijkt van de andere resultaten. Veel mensen zien dit als een betrouwbaar resultaat speciaal door Google gekozen voor hun zoekopdracht.
%7Cutmccn%3D(direct)%7Cutmcmd%3D(none)%3B)
