نحوه ساخت فایل ربات گوگل robots.txt و کاربرد آن در سئو - سریرنوین 🕊
خانه » مقالات سئو » نحوه ساخت فایل ربات گوگل robots.txt و کاربرد آن در سئو

نحوه ساخت فایل ربات گوگل robots.txt و کاربرد آن در سئو

هنگامی که موتورهای جستجو به طور مرتب از سایت شما بازدید می کنند و مطالب شما را فهرست می کنند بسیار عالی است، و موجب بالا بردن رتبه سایت در گوگل می­شود، اما در اغلب موارد بخش هایی از محتوای آنلاین شما چیزی نیست که شما می خواهید مورد بازدید قرار گیرد. به عنوان مثال، اگر شما دو نسخه از یک صفحه (یکی برای مرور در مرورگر و دیگری برای چاپ)، باشد شما ترجیح می دهید که نسخه چاپی از بازدید حذف شود، در غیر این صورت مطلب شما تکراری شده و از لحاظ بهینه سازی موتور جستجو دچار مشکل خواهید شد.

یک راه برای آگاه کردن موتورهای جستجو از این که برخی فایل ها و پوشه های موجود در وب سایت شما باید از دید عموم دور نگه داشته شود استفاده از متا تگ های روبات ها است. اما از آنجایی که همه موتورهای جستجو متاتگ ها را تشخیص نمی­دهند، یک راه بهتر برای اطلاع دادن به موتورهای جستجو در مورد خواست شما این است که از فایل robots.txt استفاده کنید.

Robots.txt چیست؟

Robots.txt یک فایل است که شما در سایت خود قرار داده اید تا رباتهای جستجو صفحاتی را که مایل به بازدید آنها نیستید را رد کنند. Robots.txt به هیچ وجه اجباری برای موتورهای جستجو نیست، اما به طور کلی موتورهای جستجو اطمینان دارند از آنها خواسته نمی شود بازیدی انجام دهند. در واقع شما یک فایل robots.txt قرار داده اید چیزی شبیه قرار دادن یک یادداشت “لطفا، وارد نشوید” در یک درب قفل شده – به عنوان مثال شما نمی توانید از ورود دزدان جلوگیری کنید اما بچه های خوب  درب را باز نمی گذارند.

مکان robots.txt بسیار مهم است. آن باید در دایرکتوری اصلی قرار بگیرد، زیرا در غیر این صورت موتورهای جستجو قادر به پیدا کردن آن نخواهند بود. آنها کل سایت را برای فایل با نام robots.txt جستجو نمی کنند. بلکه، آنها ابتدا به دایرکتوری اصلی (به عنوان مثال http://mydomain.com/robots.txt ) نگاه می کنند و اگر آنها آن را پیدا نکنند، فرض می کنند که این سایت فایل robots.txt ندارد. بنابراین، اگر Robots.txt را در جای مناسب قرار ندهید، موتورهای جستجو تمام سایت شما را فهرست خواهند کرد.

مفهوم و ساختار robots.txt از بیش یک دهه پیش توسعه یافته است.

اگر شما علاقه مند به کسب اطلاعات بیشتر در مورد آن هستید، به http://www.robotstxt.org مراجعه کنید.

کاربرد Robots.txt چیست؟

Robots.txt یک سند ضروری برای یک وب سایت نیست. سایت شما می تواند بدون این فایل رتبه بندی خوبی داشته باشد.با این حال، با استفاده از Robots.txt می توان در مسیر بالا بردن رتبه سایت در گوگل قام برداشت. برخی دیگر از مزایای Robots.txt ارائه شده است:

  • جلوگیری از ردیابی فایل های خصوصی توسط رباتها

صفحات تولید شده براساس جستجوی داخلی سایت را می­توان با استفاده از فایل robots.txt از دید موتورهای جستجو پنهان کرد. زیرا ارزشی برای کاربران نخواهند داشت و نیازی به ایندکس آنها توسط گوگل نیست. استفاده از فایل robots.txt  به روبات های گوگل اطلاع میدهد که چه بخش هایی از سایت را باید بررسی کنند و چه بخش هایی نیاز به بررسی و ایندکس ندارند. با استفاده از ابزار robots.txt analysis tool در وبمستر گوگل می­توان از صحت عملکرد آن مطمئن شد.

این امر ربات های قانونی مانند موتوهای جستوجوگر را از بازدید به طور کامل متوقف می­کند. اما از ورود سایر ربات ها ­جلوگیری نمی­کند و امکان نفود وجود دارد. ولی کار آنها برای نفوذ با وجود  Robots.txt دشوارتر می­باشد.

  • استفاده از منابع کنترل

هر بار که یک ربات در سایت شما نفود می­کند و محتوای آن را برمی­دارد، پهنای باند و منابع سرور سایت را از بین می برد. برای سایت های دارای محتوای زیاد، این می تواند هزینه ها را افزایش دهد. شما می توانید از Robots.txt برای جلوگیری از دسترسی به اسکریپت ها، تصاویر غیر مهم برای صرفه جویی در منابع استفاده کنید.

  • اولویت بندی صفحات مهم

با مسدود کردن صفحات بی فایده، می توانید اولویت بندی کنید که ربات روی کدام صفحات تمرکز کند.

Robots.txt برای مخفی کردن چه فایل هایی استفاده می­شود ؟

  • برای صفحات وب (HTML، PDF، و یا سایر فرمت های غیر رسانه ای که گوگل می تواند بخواند)، txt را می توان برای مدیریت وب سایت استفاده کرد.

شما نباید از robots.txt به عنوان وسیله ای برای مخفی کردن صفحات وب خود از نتایج جستجوی گوگل استفاده کنید. این به این دلیل است که اگر صفحات دیگر به صفحه شما با متن توصیفی اشاره کنند، صفحه شما همچنان بدون بازدید از صفحه نمایش داده می شود. اگر می خواهید صفحه خود را از نتایج جستجو مسدود کنید، از روش دیگری مانند حفاظت از رمز عبور استفاده کنید.

اگر صفحه وب شما با یک فایل robots.txt مسدود شود، هنوز هم در نتایج جستجو نمایش داده می شود، اما نتیجه جستجو توضیحی نخواهد داشت و فایل های تصویری، فایل های ویدئویی، فایل های PDF و دیگر فایل های غیر HTML حذف خواهند شد. اگر این نتیجه جستجو را برای صفحه خود مشاهده کرده و بخواهید آن را رفع کنید، رکورد robots.txt را مسدود کرده و صفحه را حذف کنید. اگر می خواهید صفحه را به طور کامل از جستجو پنهان کنید، از روش دیگری استفاده کنید.

  • برای جلوگیری از نمایش تصاویر، ویدیو و فایل های صوتی از نتایج جستجوی گوگل. (توجه داشته باشید که این امر دیگر صفحات یا کاربران را از پیوند به فایل تصویری / ویدیویی / صوتی شما متوقف نخواهد کرد.)

چرا نباید از robots.txt برای قسمت های حساس وب سایت استفاده کرد ؟

استفاده از robots.txt برای جلوگیری از دسترسی به قسمت های حساس سایت شما نمی­باشد. اگر شما در سایت خود دارای حوزه هایی هستید که نباید در دسترس باشند، با رمز عبوراز آنها محافظت کنید. نه، با robots.txt . دلایل متعددی برای اینکار وجود دارد که که در ذیل اشاره شده است:

  • txt یک توصیه است، نه یک مجموعه اجباری از قوانین؛
  • ربات های هکری که از پروتکل های ربات پیروی نمی­کنند و هم چنین انسان ها می توانند به مناطق غیر مجاز دسترسی داشته باشند؛
  • txt خود یک فایل قابل دسترسی است و همه می توانند ببینند که آیا شما در حال تلاش برای پنهان کردن چیزی هستید یا آن را تحت یک قانون غیر مجاز در robots.txt قرار داده اید؟ یا خیر؟
  • اگر قرار است یخش هایی به طور کامل خصوصی باقی بماند، آن را به صورت آنلاین قرار ندهید.
  • یکی از سرگرمی های مورد علاقه جامعه جستجوگر، چک کردن txt گوگل است تا ببینند کدام پروژه های مخفی جدید در حال انجام هستند و چندین بار در گذشته چنین پروژه هایی از طریق robots.txt به بیرون درز پیدا کرده اند.

نحوه ساخت robots.txt :

برای ساخت robots.txt می­توان از ترکیب دو دستور User-agent و Disallow استفاده کرد. لیست تمامی ربات ها در web robots database  موجود می­باشد.

اشتباهات رایج در ساخت robots.txt :

  • به طور ناخواسته دایرکتوری ها را مسدود کنید:

قبل از اینکه فایل robots.txt به دایرکتوری ریشه ای وب سایت آپلود شود، باید همواره نحوه درست آن را بررسی کنید. همیشه اطمینان حاصل کنید که دایرکتوری هایی که نباید نمایه شوند، پس از دستور Disallow فهرست شده اند.

  • فایل txt را در دایرکتوری پایه(روت) ذخیره نشود:

شایع ترین خطا در ارتباط با فایل robots.txt عدم ذخیره فایل در دایرکتوری پایه وب سایت است. دایرکتوری های پایه  اغلب نادیده گرفته می شوند، زیرا عامل های کاربر تنها دایرکتوری پایه را برای فایل robots.txt  جستجو می کنند.

خدمات سئو سایت سریرنوین

منتظر نظرات ارزشمند شما در مورد پیرامون این مقاله هستیم و مطمئن باشید در کمترین زمان ممکن به آن پاسخ داده خواهد شد.

من تو سایتم میخوام یه سری صحفات رو ببندم که گوگل تو نتایج نیارتشون
ولی خوب اگه کسی این آدرس فایل رو وارد بکنه میبینه که این آدرس رو از روبات بستیم و بهش دسترسی پیدا میکنه
راهکار دیگه ای وجود دارد؟

6 روز پیش
    توحید عزیززاده

    سلام. بله درست میفرمایید میتونن از دسترسی به فایل آدرسش رو متوجه بشن
    شما میتونید رو اون صفحه تگ no-index رو استفاده کنید تا ربات ها اون صفحه رو ایندکس نکنن براتون
    موفق باشین

    6 روز پیش
دیدگاهی بنویسید

نشانی ایمیل و شماره همراه شما منتشر نخواهد شد.

  • date_range۳۰ آبان ۱۳۹۷
expand_less