מרגע שגוגל נולד ועד הבהלה לקישורים: כיצד השפיעה לידתו של מנוע החיפוש הפופולרי על שיטת דירוג תוצאות ועל קידום אתרים?

קידום אתרים במנועי חיפוש (SEO) הוא אומנם תחום שנולד באמצע שנות התשעים, אך השינויים המהותיים בקונספט ומתודולוגיית דירוג האתרים התקבעו רק בעשור האחרון.

כל אחד רוצה להופיע בראש התוצאות
מנועי חיפוש בשנות התשעים
מנועי חיפוש בשנות התשעים

הסבא רבא של מנועי החיפוש הוא Archie, שנוצר בשנת 1990 ע"י הסטודנט Alan Emtage.

ארצ'י ומנועי החיפוש הראשונים לא היו מנועים מתוחכמים - שיטות הדירוג שלהם התבססו בעיקר על ניתוח טקסטים וכותרות של דפי האתר, מספר המופעים של מילות מפתח ומיקומם הפיזי בדף, Meta tags, משקלים למילים מסוימות ועוד. כלומר, בחיפוש אחר ביטוי מסוים, מנועי החיפוש הללו נתנו עדיפות לאתרים שהכילו את מילת המפתח או הביטוי בוריאציות שונות ובתכיפות גבוהה. החיסרון העיקרי של שיטה זו היה חוסר יחסי גומלין בין האתרים ברשת - כל אתר היה אדון לעצמו וקישורים בין שני אתרים שונים לא נלקחו בחשבון ולא השפיעו על תוצאות החיפוש.

כיוון שמנועי החיפוש של אותה תקופה לא היו פופולריים במיוחד, למקדמי אתרים לא היתה סיבה לעשות אופטימיזציה לאתר שלהם. עם זאת, מי שרצה לנצל לרעה את האלגוריתמים המוגבלים, יכול היה לבצע מניפולציות כדי לדרג את האתר שלו בראש התוצאות ("דחיסת מילות מפתח בדף" היא אחת מהן).

לידתו של שליט עולם החיפוש – גוגל
פרסום

חוסר יחסי הגומלין בין קישורי אתרים היה בעיה שהטרידה במיוחד את הסטודנט הצעיר לארי פייג'. בשנת 1996 יצרו לארי פייג' וסרגיי ברין את backrub, מנוע חיפוש שהפך במרוצת השנים לגוגל. הנחת הבסיס של פייג' וברין היתה פשוטה: ניתן לאפיין פופולריות של אתר מסוים באמצעות הקישורים שמובילים אליו מאתרים אחרים. אם הרבה אתרים בתחום מסוים מקשרים לאתר אחר מאותו התחום - נראה שהוא רלוונטי לתחום הזה. הקונספט הזה מבוסס על המלצות מהמציאות המוכרת לנו - לדוגמה, אם הרבה סטודנטים ומרצים טוענים שמרצה מסוים טוב, נראה שהוא באמת טוב.

כדי למפות אתרים על סמך הקישוריות שלהם מאתרים אחרים, פייג' וברין פיתחו את האלגוריתם הראשון בשם Pagerank (הקרוי דווקא על שם Larry Page), ופרסמו אותו לראשונה במסמך בשם The Anatomy of a Large-Scale Hypertextual Web Search Engine . Pagerank הוא ציון שנע בסקאלה שבין 0-10 ומוענק לכל דף באינטרנט. הציון הזה מחושב על סמך מספר ואיכות הקישורים שמצביעים לדף מסוים. עם הקפיצה בפופולריות של גוגל, כל אחד רצה להופיע בראש תוצאות החיפוש, מקדמי אתרים חיפשו אחרי קישורים עם Pagerank גבוה - ובאופן כללי מקדמי אתרים עברו לשחק לפי הכללים של גוגל.

להלן גרף שמתאר את מידת הפופולריות של גוגל בשנים האחרונות (מתוך google trends):

צילום : google trends

הבהלה לקישורים – האלגוריתם הופך מסובך יותר
גוגל. כבר לא כל דף לעצמו
גוגל. כבר לא כל דף לעצמו
צילום : flickr, TheAlieness GiselaGiardino, cc by sa

באופן כללי, ניתן לחלק את הגורמים שמשפיעים על דירוג האתר במנועי חיפוש לשני חלקים עיקריים:

1. on page -פעולות ושינויים שנעשים בדף/באתר שאנו שמעוניינים לקדם. לדוגמה: כותרות, טקסט, תגיות מטה, מבנה והיררכיית ה-URL, קישורים פנימיים, תקינות קוד ועוד. לפני גוגל, אלו הפרמטרים העיקריים על פיהם דפים היו מדורגים.

2. off page - כלומר הגורמים "החיצוניים" שלא נמצאים בדף/אתר עצמו. הסעיף הזה מתייחס בעיקר לקישורים באתרים חיצוניים שמצביעים על האתר שרוצים לקדם והאיכות שלהם (למשל, ה-Pagerank של העמוד המקשר, הטקסט שכתוב בקישור, כמה קישורים נוספים יש באותו דף ועוד).

מרבית מקדמי האתרים הבינו כי הקישורים מהווים את ליבת אלגוריתם הדירוג של גוגל, ושאם הם רוצים להופיע בראש תוצאות החיפוש - עליהם להשיג כמה שיותר קישורים איכותיים לאתרים שלהם. הבהלה לגורמי ה-off page גרמה להתפתחות משמעותית בענף: פותחו שיטות שונות להשגת קישורים כמו קניה של קישורים, החלפה, הפצת מאמרים ועוד. בעצם נוצר תחום שלם שנקרא link building (בניית קישורים).

עם הזמן גוגל דאגה למגר את הספאם וקבעה דרגות איכות שונות לקישורים. הכוונה היא שבדף שבו יש 20 קישורים יוצאים, כוחו של כל אחד מהם יהיה קטן יותר מדף שבו עשרה קישורים יוצאים (החלטה הגיונית, בהתחשב בכך שכל קישור פחות בולט לעין). פרט לדרגות איכות שהקנו לקישורים עוצמה שונה, נוצרו גם מערכות פילטרים שבמקרים מסוימים ביטלו לחלוטין קישורים. כך, לדוגמה, אם קישור יוצא מתוך תוכן משוכפל הוא פשוט לא ייספר - כי הרי קל מאד להעתיק תוכן קיים ולפרסם אותו במקום אחר עם קישור.

מקדמי אתרים או ספאמרים?
שולפים שפן מה-Black Hat
שולפים שפן מה-Black Hat
צילום : flickr, myuibe, cc by

עם הזמן התברר שמערכות ההגנה והפילטרים המורכבים יצרו חוסר איזון: מצד אחד, מנוע החיפוש מעוניין לדרג בראש תוצאות החיפוש את האתר הרלוונטי ביותר. מצד שני, כל מקדם אתרים טוען שהאתר שלו הוא הרלוונטי ביותר ועושה את כל הפעולות כדי לקדם אותו. איך ניתן ליצור סנכרון מלא בין הדברים כך שרק שיטות של בעלי האתרים רלוונטיים יעבדו?

גוגל של ימינו הרבה יותר מתוחכם, ביקורתי ופחות פתוח למוניפולציות, והרבה מהפרמטרים שהשפיעו על תוצאות החיפוש בעבר, כבר לא מקבלים חשיבות כיום. צוות המהנדסים במחלקת הספאם של גוגל משתדל להמצא תמיד צעד אחד קדימה, כך שלספאמרים קשה יותר לקדם אתרים ב-Google.com, במפרט כשמדובר בנישות תחרותיות. עם זאת, בגרסאות מקומיות של גוגל בהן יש תעבורה נמוכה יותר (לדוגמה, גוגל ישראל, גוגל צרפת או גוגל גרמניה), לא תמיד הנושא נאכף.

בעבר ניתן היה להשתמש בטכניקות פסולות לקידום אתרים. הטכניקות הללו מכונות Black Hat ובין השאר תוכלו למצוא בהן שיטות כמו חוות קישורים, דפי כניסה, אתרי מראה וכו'. כדי להתגבר על אותן טכניקות - ועל הטכניקות החדשות שהומצאו - גוגל הקימה צוות מיוחד שמוקדש לנושא, שלעיתים מצריך בחינה ידנית אנושית של האתרים. כמו כן, גוגל לא מהססת להעניש אתרים שמשתמשים באחת הטכניקות הללו.

שיטה נוספת של גוגל להתמודד עם קישורים שמטרתם לקדם אתרים בלבד ואינם תורמים לגולשים, היא תג nofollow. זהו מאפיין שניתן להוסיף לכל קישור (ref=nofollow), ובכך לנטרל את הכוח שהוא מעביר לדף אליו מקשר. בצורה זו יכולים בעלי האתרים לפקח על קישורים שיוצאים מהאתרים שלהם - יישום חשוב במיוחד בפלטפורמות כמו פורומים ורשתות חברתיות, שניתן לנצל להוספת קישורים מיותרים.

ומה הלאה? רשתות חברתיות

כיוון שרשתות חברתיות הפכו לתחום חם שמרכז את תשומת ליבם של משתפי מידע, ההערכה היא שלגוגל לא תהיה ברירה אלא להתחשב במידע שזורם שם מדי יום כדי לדרג אתרים. הוכחה לכך ניתן לראות בצעדים שגוגל כבר עושה בכיוון, ובהם שילוב של דיווחי חדשות בתוצאות החיפוש שלה, ואף שורות דיווחים מרשת המיקרו בלוגינג טוויטר.