В ближайшие дни поисковик Yahoo! обновит свой алгоритм индексирования и краулинга в связи с введением поддержки так называемых “тегов исключения”. Это стало взможным благодаря появлению директивы x-Robot-Tag.

Ранее прописать запрещающие теги можно было лишь в META-директиве, а сейчас система позволит запрещать индексирование в заголовке html-документа.

“Нововведение” системы Yahoo! распространится на тэги noindex, nofollow, noarchive, nosnippet.
NOINDEX – запретить показ URL сайта в результатах Yahoo! Search.
NOARCHIVE – запретить кэширование страницы в результатах поиска.
NOSNIPPET – запретить показ сниппета в результатах поиска.
NOFOLLOW – запретить боту Yahoo! обходить ссылки страницы.