اصلاح اخطاء الزحف لمحركات البحث

السلام عليكم ورحمة الله وبركاته

على حسب ما قرئت في وثائق المساعدة لجوجل كثرة اخطاء الزحف قد تسبب في انخفاض معدل زحف محرك البحث جوجل لموقعك وربما الامر ينطبق على محركات البحث الاخرى لهذا يجب عليك الانتباه الى هذه الامور, في هذه التدوينة سنتطرق الى اصلاح اخطاء الزحف والتي قد تكون لها عدة اسباب اما بالنسبة لشرح سنعتمد على اداة مشرفي المواقع الخاصة بجوجل واضافتين من ووردبريس لتحقق من الروابط المعطوبة واعادة التوجيه. بالنسبة لي لم اكن اهتم لهذه الامور في السابق لاني ببساطة كنت منغمس في تطوير القوالب 🙂 ندخل في صلب الموضوع

اسباب اخطاء الزحف

بعد تحديث موقعي مؤخرا ومراجعته في اداة مشرفي المواقع لاحظت ان هذه الاسباب متعددة ساذكر منها فقط التي صادفتني في موقعي وقد تختلف الاسباب من موقع الى اخر وهي كالتالي :

1. تغيير تركيبة الروابط الدائمة للمقالات
2. تغيير الرابط اللطيف لتصنيفات
3. حذف مقالات او صفحات معينة
4. مشكل ترقيم الارشيف

الاسباب التي ذكرت فوق خاصة بووردبريس وهناك اسباب اخرى مثلا مشاكل في الاستضافة او السيرفر الخاص بك او مشاكل في DNS هذه الامور يتم معالجتها مع مزود النطاق او الشركة التي تستضيف موقعك لديها.

صورة توضيحية لبعض الاخطاء التي ظهرت لي مؤخرا في اداة مشرفي المواقع جوجل

اصلاح اخطاء الزحف

اصلاح هذه الاخطاء يعتمد على نوع الخطأ الذي يواجهك مثلا لحل مشكلة الصفحات المحذوفة نقوم بتحويلها الى الصفحة الرئيسية والروابط الدائمة نقوم بتصحيحها وهكذا الى ان يتم تصحيح جميع الاخطاء التي تظهر في اداة مشرفي المواقع ولكي نقوم بالاصلاحات سنحتاج اضافتين من ووردبريس

الاضافات التي سنحتاج هي كالتالي :

1. اضافة Broken Links لاصلاح بعض الروابط
2. اضافة 301 Redirects لاعادة توجيه الصفحات او المقالات او التصنيفات
3. ادراج شرط في ملف الـ htaccess لاصلاح بعض الروابط

قم بتركيب وتفعيل الاضافة من لوحة تحكم ووردبريس بعد التفعيل اول شيء سنقوم بالتحقق من الروابط المعطوبة بواسطة اضافة Broken Links قم بالتوجه الى صفحة الاضافة كما هو موضح في الصورة

الروابط المعطوبة لا تظهر مباشرة بعد تفعيل الاضافة تحتاج القليل من الوقت قم بتحديث الصفحة حتى تظهر لك الروابط المعطوبة كما هو موضح في الصورة التالية

الصورة اعلاه فقط مثال على ما سيظهر لك في نتائج الروابط المعطوبة التي وجدتها الاضافة بالنسبة للاخطاء التي تظهر فهي اما للروابط الدائمة وروابط التعليقات التي لم تعد تعمل اما بالنسبة للمقالات او الصفحات التي قمت بحذفها فلن تظهر لك في هذه النتائج وانما ستظهر في اداة مشرفي المواقع لجوجل (Search Console)

ازالة روابط التعليقات

بالنسبة لروابط الاشخاص الذي يقومون بالتعليق في موقعك والتي تظهر حالتها كـ Server Not Found او 403 Forbidden او 410 Gone قم بحذفها مباشرة لا حاجة لك بها كما هو موضح في الصورة التالية :

يمكنك اختيار العديد من الروابط دفعة واحدة ثم حذفها مباشرة الطريقة سهلة ولا تحتاج توضيح. يمكنك حذف ايضا الروابط التي تجد بها 302 او يمكنك حذف جميع روابط التعليقات لكن هذه الطريقة تقوم بها بعد الانتهاء من اصلاح الروابط الخاصة بموقعك

اصلاح تركيبة الروابط الدائمة

اذا قمت بتغيير تركيبة الروابط الدائمة لموقعك وكنت تقوم بادراج روابط لمقالات معينة في مقالات اخرى لن تتغيير الروابط التي قمت بادراجها تلقائيا اي انه يجب عليك اصلاح تلك الروابط لتتناسب مع التركيبة الجديدة التي قمت بها. بالنسبة لاصلاح هذه الروابط ساتطرق الى مثال واحد لان الامر يختلف من تركيبة الى اخرى

مثلا انا استعمل في تركيبة الروابط الدائمة الحالية اسم المقالة فقط كما هو موضح في الصورة التالية :

وفي السابق كنت استعمل الشهر والسنة كما هو موضح في الرابط ادناه

https://www.mwordpress.net/2011/08/use-google-app-engine-like-cdn/

لاصلاح هذا الرابط ساقوم بتعديله من اضافة broken links كما هو موضح في الصورة التالية :

عند تمرير الماوس يظهر Edit Link نقوم بالضغط عليه لتعديل الرابط كما هو موضح في الصورة التالية :

كما هو موضح في الصورة اعلاه قمت بزالة الشهر والسنة من الرابط, بعد الضغط على تحديث سيظهر لك التالي :

الان سنستعمل كود في ملف htaccess لاعادة توجيه الزوار من محرك البحث او محرك البحث نفسه الى الروابط الصحيحة بالنسبة لي استعمل الكود ادناه

RewriteEngine On
RedirectMatch 301 ^/([0-9]{4})/([0-9]{2})/(.*)$ https://www.mwordpress.net/$3

هذا الشرط او القانون بمعنى اخر يصلح فقط في حالة كنت تستعمل من قبل التركيبة (الشهر + السنة) فقط

اما في حالة كنت تستعمل من قبل التركيبة (اليوم + الشهر + السنة) يمكنك استعمال الشرط التالي :

RewriteEngine On
RedirectMatch 301 ^/([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*)$ http://www.mwordpress.net/$3

لا تنسى ان تقوم بتغيير رابط الموقع في الكود اعلاه الى رابط موقعك

الان بعد اصلاح الروابط  نتوجه الى اداة مشرفي المواقع جوجل (Search console) ثم نقوم بتفحص الروابط التي تم اصلاحها ثم وضع علامة عليها كما هو موضح في الصورة ادناه ثم الضغط على “MARK AS FIXED”

بعد ذالك ستظهر لك رسالة تاكيد اضغط على الزر ok كما هو موضح في الصورة التالية :

بطبيعة الحال الرسالة تقول انه ربما يظهر فيما بعد اذا لم تقم بحل هذه المشكلة وهذا ما قمنا به فوق بعد التأكيد سيتم اخفاء الرابط من القائمة

اذا قمت باتباع هذه الخطوات فلن تظهر مرة اخرى هذه المقالات في اداة مشرفي المواقع (Search Console)

طلب ازالة المقالات من محرك البحث

بالنسبة للمقالات او الصفحات او التصنيفات التي قمت بازالتها من موقعك فهذه الصفحات لن تختفي من اخطاء الموقع في اداة مشرفي المواقع () حتى تقوم بطلب ازالتها من محرك البحث او منع الوصول لها عن طريق ملف robots.txt بالنسبة لتقديم طلب ازالة رابط يتم بالشكل التالي :

بعد ادخال الرابط في الحقل اضغط على متابعة وستظهر لك صفحة اخرى قم بالتالي :

هذه الصفحات لا يتم حذفها مباشرة تحتاج وقت حتى يتم حذفها من محرك البحث المهم بعد طلب الازالة نقوم بمنع هذه الروابط عن طريق ملف robots.txt

بالنسبة لطريقة مع هذه الصفحات يمكنك القاء نظرة على ملف الـ robots.txt الطريقة بسيطة جدا كل ما علي هو اضافة كلمة Disallow: ووضع رابط المقالة لا تضع الرابط كامل فقط الجزاء الغير موجود من رابط المقالة كما هو موضح في الكود التالي :

Disallow: /how-to-add-adsense-to-sidebar-in-wordpress-part3/

اصلاح الرابط اللطيف

في حالة قمت بتغيير الرابط اللطيف (slug) للمقالات او التصنيفات او الصفحات يجب عليك اعادة توجيه هذا الرابط من القديم الى الجديد بواسطة الـ htaccess لانه ببساطة سيظهر لك ايضا في أخطاء الموقع , التوجيه يكون بالشكل التالي :

مثلا تصنيف مشاكل وحلول قمت بتغيير الرابط اللطيف له من “problem-and-solution” الى “fix-problem” كما هو موضح في الكود ادناه

RedirectMatch 301 /problem-and-solution/(.*) /fix-problem/$1

التوجيه يقبل الكلمات العربية قمت بتجربته بالنسبة لصفحة عن المدونة كما هو موضح اسفله

RedirectMatch 301 /عن-المدونة/(.*) /about/$1

مشكل ترقيم الارشيف

بالنسبة لمشكل ترقيم ارشيف الصفحات او التصنيفات او الاوسمة في الحقيقة لم اجد له حل سوى منع الوصول عن طريق اضافة Yoast اصلا لا ارى لهذه الصفحات اي معنى في محرك البحث لهذا قمت بمنع الوصول لها من طرف محركات البحث اذا اردت الطريقة فكل ما عليك هو تفعيل الخاصية التالية :

اعادة توجيه الروابط – 301 Redirects

الان بعد القيام بجميع التدابير اللازمة اعلاه نقوم بالتعامل مع الصفحات و المقالات التي تم حذفها من الموقع ولم تعد متوفرة, سنقوم بجمع هذه الروابط من اضافة Broken links و الروابط الموجودة في اداة مشرفي المواقع لجوجل (Search Console)

الان كما هو موضح في الصورتين توجد الروابط التي لم تعد متوفرة في الموقع نقوم بجمعها في ملف نصي على جهازك لترتيبها و اعادة توجيهها الى الصفحة الرئيسية او اي صفحة اخرى المهم هذه القائمة التي جمعتها يمكنك انشاء قائمة مثلها لروابط التي تظهر في موقعك وهذا مثال :

https://www.mwordpress.net/2010/11/how-to-add-adsense-link-unit-in-wordpress/
http://mwordpress.net/2010/09/15-wordpress-slide-show-plugins/
http://mwordpress.net/category/adsense/
https://www.mwordpress.net/2012/02/new-revisions-for-newstoday-theme/comment-page-2/
https://www.mwordpress.net/2011/04/how-to-display-your-most-popular-posts-with-thumbnails-in-wordpress/
https://www.mwordpress.net/amnews-theme/
https://www.mwordpress.net/2011/03/ways-to-retrieve-the-admin-password-to-wordpress-blog/
https://www.mwordpress.net/add-new-category-post-photo-video/
https://www.mwordpress.net/2012/02/new-revisions-for-newstoday-theme/comment-page-6/
https://www.mwordpress.net/2012/02/new-update-amn-u001-for-theme-amnews/comment-page-2/

قم بالتعديل على القائمة وازالة اسم النطاق لتصبح بالشكل التالي :

/2010/11/how-to-add-adsense-link-unit-in-wordpress/
/2010/09/15-wordpress-slide-show-plugins/
/category/adsense/
/2012/02/new-revisions-for-newstoday-theme/comment-page-2/
/2011/04/how-to-display-your-most-popular-posts-with-thumbnails-in-wordpress/
/amnews-theme/
/2011/03/ways-to-retrieve-the-admin-password-to-wordpress-blog/
/add-new-category-post-photo-video/
/2012/02/new-revisions-for-newstoday-theme/comment-page-6/
/2012/02/new-update-amn-u001-for-theme-amnews/comment-page-2/

الان سنقوم باعادة توجيه هذه الروابط بواسكة اضافة 301 Redirection بالنسبة لاضافة الروابط الطريقة بسيطة كما هو موضح في الصورة التالية :

ادراج الروابط يتم حسب الترقيم

1. قم بوضع الرابط المعطوب
2. قم بتحديد الصفحة التي تود ان يتم ارسال اليها الرابط في حالة الطلب
3. ثم قم بحفظ الاعدادات

بعد اتمام العملية

توجه الى اداة مشرفي المواقع لجوجل ثم بوضع علامة على جميع الروابط التي تم اعادة توجيهها الى الصفحة الرئيسية او الصفحة التي تريد كما هو موضح في الصورة

الاخطاء يجب مراجعتها بشكل دوري الى ان يتم اصلاحها بالكامل اعانكم الله ودمتم في ود