سئو وبسایت رایگان

مستر سئو همانطور که از نام فایل robots.txt پیداست، این فایل برای روبات ها ایجاد شده است و سطح دسترسی ربات ها به فایل های هاست را محدود می کند. این کار برای جلوگیری از آسیب دیدن سایت، افشای فایل های محرمانه و همچنین بهبود رتبه سایت در سایت های جستجو ضروری است. ایجاد یک فایل robots.txt آنقدر مهم است که باید بلافاصله پس از ارسال سایت شما به موتورهای جستجو ایجاد شود تا از دسترسی ربات های مخرب به اطلاعات حساس سایت شما جلوگیری شود.
برخی از آن برای موتورهای جستجو کار می کند. وظیفه این ربات ها (که به آنها فقط خزنده یا عنکبوت نیز می گویند) بررسی صفحات سایت و اطلاع رسانی به موتورهای جستجو از تغییرات آن است. صفحات بررسی شده توسط ربات ها در موتورهای جستجو نمایش داده می شوند.
انواع دیگری از ربات ها در فضای وب وجود دارند که برای تخریب سایر وب سایت ها طراحی شده اند. این ربات ها نباید به فایل های محرمانه شما دسترسی داشته باشند. در غیر این صورت می توانند آسیب جدی به سایت وارد کنند.
کاربرد فایل robots.txt برای سئو
همانطور که قبلا ذکر شد، ربات های موتور جستجو به طور پیش فرض هر صفحه و فایل وب سایت شما را می خزند و اطلاعات آن را در اختیار موتورهای جستجو قرار می دهند. موتورهای جستجو نیز اطلاعات به دست آمده در صفحات نتایج جستجو (SERP) را نمایش می دهند. بله، این چیز خوبی است، پس چرا باید برخی از فایل ها و صفحات سایت خود را از ربات های گوگل و سایر موتورهای جستجو پنهان نگه داریم؟
مهمترین دلیل ایجاد فایل robots.txt حفظ امنیت سایت است. فرض کنید موتورهای جستجو فایل های مخفی را پیدا کرده و در صفحات SERP نمایش می دهند. به این ترتیب این داده ها در اختیار تمامی کاربران اینترنت قرار خواهد گرفت. همچنین، دزدان اطلاعات و هکرها معمولاً وب سایت ها را با ایجاد بدافزار و ربات ها سرازیر می کنند. این فایل با جلوگیری از دسترسی ربات های اینترنتی به منابع مهم وب سایت، امنیت وب سایت را بهبود می بخشد. البته به این نکته توجه کنید که گفتیم: «افزایش امنیت» نه ایجاد امنیت مطلق!
ممکن است صفحاتی در وب سایت خود ایجاد کرده باشید که فقط مربوط به افراد خاصی است. به عنوان مثال، فرض کنید یک صفحه فرود سفارشی برای شریک تجاری احتمالی خود ایجاد کرده اید، و نمی خواهید این صفحه در نتایج جستجوی گوگل نمایش داده شود.
مثال دیگر صفحاتی با محتوای دارای حق چاپ است که توسط موتورهای جستجو منتشر نمی شوند. اگر ربات های موتور جستجو در این صفحات بخزند، نتایج ممکن است برای وب سایت شما مطلوب نباشد.
دستور عامل کاربر
در اولین خطی که در فایل robots.txt می نویسیم، مشخص می کنیم که این دستور برای کدام ربات است.
جلوی دستور user-agent: نام ربات نوشته شده است. به عنوان مثال، اگر می خواهید دستوری برای یک ربات گوگل صادر کنید، باید دستور زیر را در فایل robots.txt بنویسید:
همانطور که مشاهده می کنید در دستور خط سوم مسیر دسترسی به فایل آموزشی داده شده است. بنابراین، اگر می خواهید دسترسی به فایل خاصی را مسدود کنید، باید مسیر دسترسی آن را جلوی دستور deny بنویسید. در انتهای مسیر نام فایل به همراه فرمت آن نوشته می شود.
این دستور به همه مرورگرها (به جز ربات های گوگل - روبات های گوگل تحت تاثیر این دستور نیستند) می گوید که 10 ثانیه پس از خزیدن و خزیدن یک صفحه در وب سایت شما قبل از بررسی صفحه بعدی صبر کنند. . دوباره 10 ثانیه برای فکر کردن و سپس صفحه بعدی. این کد برای کاهش ترافیک سایت شما خوب است و باعث کاهش سرعت رفت و آمد ربات ها به سایت شما می شود و در نتیجه سرعت سایت شما بهتر می شود.
جمع بندی
البته به یاد داشته باشید که این کار باعث کاهش سرعت خزیدن صفحات سایت شما می شود. بنابراین اگر سایت بسیار بزرگی با تعداد صفحات زیاد دارید، تعداد صفحاتی که در روز ایندکس می شوند را در نظر بگیرید تا بعداً پشیمان نشوید.