Back to Question Center
0

Semalt מספק עצות כיצד להתמודד עם בוטים, עכבישים ו סורק

1 answers:

מלבד יצירת מנוע חיפוש כתובות ידידותיות, את הקובץ. Htaccess מאפשר למנהלי אתרים לחסום רובוטים ספציפיים לגשת לאתר האינטרנט שלהם. אחת הדרכים לחסימת רובוטים אלה היא באמצעות קובץ robots.txt - damen uhren online kaufen. עם זאת, רוס ברבר, מנהל הצלחה לקוח Semalt , מציין כי הוא ראה כמה סורקים מתעלמים בקשה זו. אחת הדרכים הטובות ביותר היא להשתמש בקובץ. Htaccess כדי למנוע מהם להוסיף לאינדקס את התוכן שלך.

מהם הרובוטים האלה?

הם סוג של תוכנה המשמשת את מנועי החיפוש למחוק תוכן חדש מהאינטרנט למטרות אינדוקס.

הם מבצעים את המשימות הבאות:

  • בקר בדפי אינטרנט שאליהם קישרת
  • בדוק את קוד ה- HTML שלך עבור שגיאות
  • הם שומרים מה דפי אינטרנט אתה מקשר ולראות מה דפי אינטרנט מקושרים לתוכן שלך
  • הם מוסיפים את התוכן שלך

עם זאת, כמה הרובוטים הם זדוניים ולחפש את האתר שלך עבור כתובות דוא"ל וטפסים המשמשים בדרך כלל כדי לשלוח לך הודעות לא רצויות או דואר זבל. אחרים אפילו לחפש פרצות אבטחה בקוד שלך.

מה נדרש כדי לחסום סורקי אינטרנט

לפני השימוש בקובץ .htaccess, עליך לבדוק את הדברים הבאים:

1. האתר שלך חייב לפעול בשרת Apache. כיום, גם אלה חברות אירוח אתרים חצי הגון בתפקיד שלהם, לתת לך גישה לקובץ הנדרש.

2. אתה צריך גישה אתה יומני שרת גולמי של האתר שלך, כך שתוכל לאתר מה הרובוטים ביקר את דפי האינטרנט שלך.

שים לב שאין אפשרות לחסום את כל הרובוטים המזיקים, אלא אם תחסום את כולם, גם אם אתה מחשיב אותם. בוטים חדשים מתעוררים מדי יום, ואלה ישנים יותר. הדרך היעילה ביותר היא לאבטח את הקוד שלך ולהקשות על הרובוטים כדי לשלוח לך דואר זבל

זיהוי סירים

בוטים יכולים להיות מזוהים על ידי כתובת ה- IP או מתוך "מחרוזת סוכן משתמש" שלהם הם שולחים בכותרות HTTP. לדוגמה, Google משתמשת ב- Googlebot.

ייתכן שתצטרך רשימה זו עם 302 בוטים אם כבר יש לך את שם הבוט שאתה רוצה לשמור באמצעות. Htaccess

דרך אחרת היא להוריד את כל קבצי היומן מהשרת ולפתוח אותם באמצעות עורך טקסט המיקום שלהם בשרת עשוי להשתנות בהתאם לתצורת השרת שלך.אם אינך מוצא אותם, חפש סיוע מהמארח האינטרנט שלך.

אם אתה יודע איזה דף היה ביקר, או בזמן הביקור, קל יותר לבוא עם בוט לא רצוי. אתה יכול לחפש את קובץ היומן עם הפרמטרים האלה.

פעם אחת, אתה כבר ציין מה bots אתה צריך לחסום; לאחר מכן תוכל לכלול אותם בקובץ .htaccess. שים לב שחסימת הבוט אינה מספיקה כדי לעצור אותה. זה יכול לחזור עם כתובת IP חדשה או.

כיצד לחסום אותם

הורד עותק של קובץ .htaccess. צור גיבויים במידת הצורך.

שיטה 1: חסימה באמצעות IP

קטע קוד זה חוסם את הבוט באמצעות כתובת ה- IP 197.0.0.1

להזמין Deny, מותר

דחה מ 197.0.0.1

השורה הראשונה פירושה שהשרת יחסום את כל הבקשות המתאימות לדפוסים שציינת ולאפשר לכל האחרים.

השורה השנייה אומרת לשרת להנפיק דף 403: אסור

שיטה 2: חסימה על ידי סוכני משתמש

הדרך הקלה ביותר היא להשתמש במנוע כתיבה מחדש של Apache

RewriteEngine on

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

השורה הראשונה מבטיחה כי מודול השכתוב מופעל. שורה 2 היא התנאי שבו חל הכלל. "F" בשורה 4 אומר לשרת להחזיר 403: אסור כאשר L "" פירושו הוא הכלל האחרון.

לאחר מכן תעלה את הקובץ. Htaccess לשרת שלך ותשנה את הקובץ הקיים. עם הזמן, יהיה עליך לעדכן את ה- IP של הבוט. במקרה שתבצע שגיאה, העלה את הגיבוי שביצעת.

November 29, 2017