Как составить Robots.txt
Robots.txt. Давайте сегодня мы поговорим с Вами разговор о том, как правильно составить и использовать файл под названием robots.txt. Но прежде всего давайте все же разберемся для чего служит этот файл robots.txt? Этот файл служит для того, чтобы показать поисковым роботам, прежде всего таким поисковым системам, как Яндекс и Google, какие папки и файлы сайта [...]
