ببساطة شديدة ال “crawler” أو الزواحف هي برامج حاسوب تهدف إلى زيارة المواقع وتجميع البيانات التي صممت هذه الزواحف من أجل جمعها , وغالبا فإن الزواحف أو crawler تستخدم من طرف محركات البحث , بحيث تقوم محركات البحث بتطوير هذه الزواحف , ونقوم بإطلاقها حتى تقوم بزيارة أكبر عدد من المواقع , من هنا نقوم الزواحف أو ال crawler بتجميع البيانات وأرشفتها لدى محركات البحث.
هل crawler إيجابية أو سلبية
في أغلب الأحيان فإن زيارة الزواحف إلى موقعك يعتبر أمر إيجابي حيث أن هذا اﻷمر يعني أن محركات البحث تهتم بالمحتوى المعروض على موقعك , لهذا يهتم مطورو المواقع بجعل مواقعهم متوافقة وقابلة للتحليل والدراسة من قبل الزواحف , حتى يتم أرشفة محتوى هذه المواقع بشكل جيد.
رغم ذلك فإن بعض الزواحف قد تشكل ضغط على المواقع الصغيرة , بحيث أن بعض الأحيان تقوم هذه الزواحف بطلبات كثيرة للسيرفر الذي يحتوي على ملفات الموقع , وهذه الطلبات الكثير قد يصعب على السيرفر تلبيتها في بعض الأحيان , مما يؤدي إلى تعطل الموقع لبعض الوقت , لهذا هناك بعض الطرق التي يمكن من خلالها وضع حد لعدد المرات التي يقوم بها ال crawler بزيارة الموقع , الهدف من هذه الإجراءات هو التحكم بالطريقة التي سيتعامل بها الزاحف مع الموقع.
عندما نتحدث عن محركات البحث والزواحف الخاصة بها لابد من الإشارة إلى “Googlebot” وهو برنامج الزحف الخاص ب جوجل , شهرته الكبيرة مرتبطة بنشاط هذا الزاحف أو “Bot” حيث تقوم جوجل بأرشفة ملايين المواقع وتتبع جديد المحتوى الذي يتم عرضه على هذه المواقع , ومن أجل تحقيق هذا الهدف لابد من أرشفة المواقع بشكل متكرر .
رغم ذلك لايتم أرشفة المواقع بنفس الطريقة , بل لكل موقع طريقة مخصصة في أرشفته بحيث أن المواقع الكبيرة والتي بها محتوى غزير مثل المواقع الإخبارية يتم أرشفتها بشكل شبه أني , بينما المواقع الصغيرة يتم أرشفتها من حين لآخر وتختلف مرات الأرشفة حسب نشاط الموقع وهل يقوم بنشر محتوى بشكل دائم أم لا.