روبوت محرك البحث مسؤول عن الزحف إلى صفحات الويب. يقوم البرنامج تلقائيًا بقراءة البيانات من جميع المواقع وتسجيلها بشكل مفهوم لمحرك البحث نفسه ، بحيث يعرض النظام لاحقًا أنسب النتائج للمستخدم.
المهام
يتم تسجيل جميع المعلومات المفهرسة في قاعدة بيانات مشتركة.
روبوت البحث هو برنامج ينتقل تلقائيًا عبر صفحات الإنترنت ويطلب المستندات اللازمة ويتلقى بنية المواقع التي تم الزحف إليها. يقوم الروبوت بشكل مستقل بتحديد الصفحات التي سيتم مسحها ضوئيًا. في معظم الحالات ، يتم تحديد المواقع المطلوب فحصها بشكل عشوائي.
أنواع البوتات
يزيد الروبوت الذي يعمل بشكل غير صحيح من الحمل على الشبكة والخادم بشكل كبير ، مما قد يتسبب في عدم توفر المورد.
يحتوي كل محرك بحث على عدة برامج تسمى الروبوتات. يمكن لكل منهم أداء وظيفة محددة. على سبيل المثال ، في Yandex ، تكون بعض الروبوتات مسؤولة عن فحص موجز أخبار RSS ، والتي ستكون مفيدة لفهرسة المدونات. هناك أيضًا برامج تبحث فقط عن الصور. ومع ذلك ، فإن أهم شيء هو روبوت الفهرسة ، والذي يشكل الأساس لأي بحث. هناك أيضًا روبوت مساعد سريع مصمم للبحث عن تحديثات الأخبار والأحداث.
إجراء المسح
هناك طريقة أخرى لمنع الزحف إلى المحتوى وهي إنشاء وصول إلى الموقع من خلال لوحة التسجيل.
عند زيارة الموقع ، يقوم البرنامج بفحص نظام الملفات بحثًا عن وجود ملفات تعليمات robots.txt. في حالة وجود مستند ، تبدأ قراءة التوجيهات المكتوبة في المستند. يمكن أن يحظر ملف Robots.txt أو يسمح ، على العكس من ذلك ، بمسح صفحات وملفات معينة على الموقع.
تعتمد عملية المسح على نوع البرنامج. أحيانًا لا تقرأ الروبوتات سوى عناوين الصفحات وفقرات قليلة. في بعض الحالات ، يتم إجراء المسح في جميع أنحاء المستند اعتمادًا على ترميز HTML ، والذي يمكن أن يعمل أيضًا كوسيلة لتحديد العبارات الرئيسية. تتخصص بعض البرامج في العلامات المخفية أو الوصفية.
إضافة إلى القائمة
يمكن لكل مشرف موقع منع محرك البحث من الزحف إلى الصفحات من خلال ملف robots.txt أو علامة META. أيضًا ، يمكن لمنشئ الموقع إضافة الموقع يدويًا إلى قائمة انتظار الفهرسة ، لكن إضافته لا تعني أن الروبوت سوف يزحف على الفور إلى الصفحة المطلوبة. لإضافة موقع إلى قائمة الانتظار ، توفر محركات البحث أيضًا واجهات خاصة. تؤدي إضافة موقع إلى تسريع عملية الفهرسة بشكل كبير. أيضًا ، للتسجيل السريع في محرك البحث ، يمكن استخدام أنظمة تحليلات الويب وأدلة الموقع وما إلى ذلك.
