לפני שאתם מחפשים, סורקי אינטרנט (המכוּנים "עכבישים") אוספים מידע ממאות מיליארדים של דפי אינטרנט ומארגנים אותו באינדקס החיפוש.

העקרונות הבסיסיים של החיפוש

תהליך הסריקה מתחיל ברשימה של כתובות אינטרנט שמקורה בסריקות קודמות ובמפות אתרים (Sitemaps‏) שסופקו על-ידי בעלי אתרים. כשהסורקים מבקרים באתרים האלה, הם משתמשים בקישורים שנמצאים בהם כדי לגלות דפים אחרים. התוכנה שמה דגש על אתרים חדשים, שינויים באתרים קיימים וקישורים לא פעילים. תוכנות קובעות אילו אתרים יש לסרוק, באיזו תדירות לסרוק אותם וכמה דפים להביא (לאחזר) מכל אתר.

אנחנו מציעים את Search Console כדי לאפשר לבעלי אתרים לקבוע באופן פרטני כיצד האתר שלהם ייסרק על ידי Google: הם יכולים לתת הוראות מפורטות לעיבוד הדפים באתרים שלהם, להגיש בקשה לסריקה מחדש או לבטל הסכמה לסריקה באמצעות קובץ שנקרא “robots.txt”. בשום מקרה, Google אינה מקבלת תשלום כדי להגביר את תדירות הסריקה של אתר מסוים – אנחנו מספקים את אותם כלים לכל האתרים כדי לוודא שהמשתמשים שלנו יקבלו את התוצאות הטובות ביותר.

חיפוש מידע באמצעות סריקה

רשת האינטרנט היא כמו ספרייה שהולכת ומתרחבת ויש בה כבר מיליארדי ספרים – אבל אין בה מערכת מיון מרכזית. אנחנו משתמשים בתוכנות שנקראות סורקי אינטרנט כדי למצוא דפים שזמינים לציבור הרחב. הסורקים "קוראים" דפי אינטרנט ו"לוחצים" על קישורים בדפים האלה, בדומה למה שהייתם עושים אם הייתם מחפשים תוכן באינטרנט. הם עוברים מקישור לקישור ומחזירים אל השרתים של Google נתונים לגבי דפי האינטרנט האלה.

ארגון המידע באינדקס

כשהסורקים מאתרים דף אינטרנט, המערכות שלנו מעבדות את תוכן הדף כפי שעושה דפדפן. אנחנו מחפשים סימנים בעלי חשיבות – ממילות מפתח ועד עדכניות האתר – ושומרים תיעוד של כל המידע הזה באינדקס החיפוש.

האינדקס של חיפוש Google מכיל מאות מיליארדים של דפי אינטרנט, וגודלו עולה על ‎100,000,000 GB. אפשר להשוות אותו לאינדקס בסוף ספר – יש בו רשומה לכל מילה שמופיעה בכל אחד מדפי האינטרנט שהוספנו לאינדקס. כשאנחנו מוסיפים דף אינטרנט לאינדקס, הוא נוסף לרשומות של כל המילים שהוא מכיל.

 

 

בעזרת Knowledge Graph אנחנו ממשיכים לפתח שיטות חדשות – מעֵבֶר להתאמת המילים – כדי להבין אילו אנשים, מקומות ודברים מעניינים אתכם. לשם כך אנחנו לא מארגנים רק מידע על דפי אינטרנט, אלא גם סוגי מידע אחרים. כיום חיפוש Google יכול לעזור לכם לחפש טקסט במיליוני ספרים בספריות מרכזיות, למצוא את לוחות הזמנים של התחבורה הציבוריות באזור שלכם או לקבל נתונים ממקורות ציבוריים, כמו הבנק העולמי.