Поисковый робот Яндекса поддерживает Crawl-delay и GZIP

Crawl-delay заимствован у Yahoo: http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

Gzip давно используют краулеры Google.

Теперь осталось дождаться когда реализуют нормальный class="robots-nocontent" от Yahoo вместо нестандартного тега noindex и rel="nofollow".