Usare la Wildcard in Robots.TxT

La Wildcard è molto utile per dire ai motori di ricerca (non solo google) di indicizzare o meno un gruppo di pagine. Vedi esempi.

  1. Non indicizzare gli URL che contengono il punto interrogativo “?”User-agent: *
    Disallow: /*?
  2. Non indicizzare le pagine di ricerca contenenti i paramenti nell’urlUser-agent: *
    Disallow: /search?s=*
  3. Il dollaro “$” viene usato per definire la fine dell’url. Per dire ai motori di ricerca di non indicizzare gli url che finiscono con .php bisogna scrivere:User-agent: *
    Disallow: /*.php$