La Wildcard è molto utile per dire ai motori di ricerca (non solo google) di indicizzare o meno un gruppo di pagine. Vedi esempi.
- Non indicizzare gli URL che contengono il punto interrogativo “?”User-agent: *
Disallow: /*? - Non indicizzare le pagine di ricerca contenenti i paramenti nell’urlUser-agent: *
Disallow: /search?s=* - Il dollaro “$” viene usato per definire la fine dell’url. Per dire ai motori di ricerca di non indicizzare gli url che finiscono con .php bisogna scrivere:User-agent: *
Disallow: /*.php$