آموزش دستورالعملهای فایل Robots.txt
فایل Robots.txt یک فایل متنی و مجموعهای از دستورالعملها برای باتهای موتور جستجو است. این فایل بخشی از robots exclusion protocol (REP) بوده و شامل چند استاندارد مختلف درباره نحوه کراول کردن بات های موتور جستجو است. از این فایل