כמה פעמים צריך לחזור על ביטוי במאמר? – דחיסת מילים

מילות LSI
איך גוגל יכול להבין על מה הטקסט מדבר ללא מילת מפתח?

הכירו את המושג מילות LSI.

מילות LSI (Latent Semantic Indexing) הן מילים הקשורות באופן סמנטי למילת מפתח או לנושא ספציפי. לדוגמה, אם מילת המפתח היא “כלב”, כמה מילות LSI עשויות לכלול מילים כמו “גור”, “כלב”, “ווף” ו”פרוותי”.

גוגל משתמש ב-LSI כדי להבין את ההקשר והמשמעות של המילים בטקסט, על מנת לקבוע טוב יותר את הרלוונטיות של התוכן לשאילתת חיפוש מסוימת.

כאשר משתמש מחפש מילת מפתח מסוימת, גוגל יחפש דפים שלא רק מכילים את מילת המפתח, אלא הוא יחפש גם מילות LSI הקשורות למילת המפתח. מילות LSI עוזרות לגוגל להבין את ההקשר שבו נעשה שימוש במילת המפתח, ולספק תוצאות חיפוש רלוונטיות יותר למשתמש.

נמשיך עם אותה דוגמה, אם משתמש מחפש “כלב”, גוגל עשוי להחזיר דפים המכילים את מילת המפתח “כלב”, כמו גם מילות של LSI כמו “כלבלב”, “חית מחמד” ו”ווף”.

לסיכום, מילות LSI הן מילים הקשורות באופן סמנטי למילת מפתח או לנושא ספציפי, וגוגל משתמשת בהן כדי להבין טוב יותר את ההקשר ואת המשמעות של המילים בדף אינטרנט על מנת לספק תוצאות חיפוש רלוונטיות יותר למשתמשים.

TF-IDF: דחיסת מילים ותדירות של מילה בטקסט
מונח נוסף שמומלץ להכיר: TF-IDF

דמיינו שאתם עובדים על פרויקט ואתם צריכים למצוא מידע על נושא מסוים. אתם נכנסים לגוגל ומקלידים מילת מפתח הקשורה לנושא שלכם, גוגל מציג לכם רשימה של אתרים שלדעתו רלוונטיים לחיפוש שלכם. אבל איך גוגל מחליטה אילו אתרים להציג לכם?

אחת הדרכים שבהן גוגל קובעת את הרלוונטיות של עמוד אינטרנט היא על ידי הסתכלות על המילים באתר ובאיזו תדירות הן מופיעות. גוגל משתמשת בפונקציה שנקראת TF-IDF.

TF-IDF ראשי תיבות של “Term Frequency-Inverse Document Frequency”. זאת בעצם פונקציה שדרכה אפשר למדוד כמה חשובה מילה מסוימת בתוך טקסט או בקבוצה של דפים באינטרנט.

TF: כמות הפעמים שהמילה מופיעה בתוך טקסט. אם המילה מופיעה הרבה, יש לה TF גבוה.

IDF: עד כמה המילה נדירה או שכיחה בקבוצה של דפים שונים באינטרנט. מילים שמופיעות הרבה באינטרנט יש להן IDF נמוך, בעוד למילים נדירות או ייחודיות יש IDF גבוה.

על ידי הכפלת ה-TF ו-IDF עבור מילה מסוימת, נוכל להבין עד כמה היא חשובה בתוך עמוד מסוים, בהשוואה לדפים אחרים.

Google משתמש במידע זה כדי להחליט אילו אתרים להציג לכם כאשר אתם מחפשים משהו. דפי אינטרנט עם מילים עם דירוג TF-IDF גבוה עבור מילות המפתח בחיפוש, סביר להניח שייחשבו יותר רלוונטיים על ידי גוגל ויקבלו דירוג גבוה יותר בתוצאות החיפוש.

מה זה BM25
דרך נוספת שבה גוגל קובע את הרלוונטיות של אתר אינטרנט היא באמצעות פונקציית דירוג בשם BM25. BM25 מייצג “Best Matching 25”, וזו דרך למדוד עד כמה עמוד באינטרנט מתאים לשאילתת חיפוש מסוימת.

כאשר אתם מקלידים מילת מפתח בגוגל, BM25 מסתכל על המילים בשאילתה שלכם ומשווה את אותן מילים באתרים שגוגל אינדקס. כמובן האלגוריתם לוקח בחשבון גורמים נוספים כמו תדירות ההופעה של המילים, כמה נדירות או נפוצות המילות מפתח ( TF-IDF), את אורך הטקסט בדף ואת שאר הגורמים שעליהם מבוסס האלגוריתם. בהתבסס על מידע זה, BM25 מקצה ציון לכל אתר ומשתמש בציון זה כדי לדרג את האתרים בתוצאות החיפוש.

BM25 היא דרך יעילה עבור גוגל לקבוע את הרלוונטיות של אתר אינטרנט לשאילתת חיפוש מסוימת. זה בעצם עוזר להבטיח שהאתרים שמופיעים בראש תוצאות החיפוש הם אלו שסביר להניח יהיו שימושיים ורלוונטים למחפש.

Word2vec מה זה
Word2vec הוא אלגוריתם למידה המשמש ליצירת “וקטורים”. האלגוריתם עובד על ידי ניתוח מערך נתונים גדול של טקסטים וחיפוש דפוסים של אופן השימוש במילים יחד.

לדוגמה, האלגוריתם עשוי לגלות שהמילה “כלב” משמשת לעתים קרובות בסמיכות למילים כמו “נביחה”, “כלבלב”, בעוד שהמילה “חתול” משמשת לעתים קרובות בסמיכות ליד מילים כמו “מיאו”, “שריטה” ו”גרגר”.

בעזרת word2vec גוגל יכול הבין את המשמעות וההקשר של מילים בדף אינטרנט. על ידי ניתוח היחסים בין מילים בדף אינטרנט, מנועי החיפוש יכולים לקבל מושג טוב יותר על מה נושא של דף מסוים ומה התוכן של הדף, מה שיכול לעזור למנועי החיפוש לדרג דפים בצורה מדויקת יותר בתוצאות החיפוש.

לדוגמה, אם דף אינטרנט מכיל הרבה מילים הקשורות לנושא “כלבים”, ומעט מילים שקשורות לנושא “חתולים”, בעזרת word2vec גוגל עשוי להסיק שדף האינטרנט הוא יותר רלוונטי לחיפוש “כלבים” מאשר לחיפוש “חתולים”.

פטנטים של גוגל
לגוגל יש פורטפוליו גדול ומגוון של פטנטים, המכסה מגוון רחב של טכנולוגיות וחידושים.

לחיפוש פטנטים של גוגל: https://patents.google.com/advanced

כלים לספירת מילים
כלי לספירת מילים
פתחנו כלי שיכול לספור את כמות הפעמים שביטוי מסוים חוזר בדף.

ע”י הכנסת הדפים של המתחרים לכלי (מומלץ לקחת את עשרה המקומות הראשונים בתוצאות החיפוש), אפשר לראות כמה פעמים הם משתמשים בביטוי מסויים בדף.

מידע זה יכול לעזור לתת הערכה כמה פעמים אפשר להכניס ביטוי מסוים בדף כדי שהעמוד יהיה רלוונטי לתוצאות החיפוש .

קישור לכלי:

ספירת מילים

כלי לספירת מילים על פי URL
כלי נוסף שפתחנו. ע”י הזנת URL של דף מתחרה, אפשר לראות אילו מילים חוזרות הכי הרבה פעמים.

סיכום
בעבר, היה מקובל שבעלי אתרים, כותבי תוכן ומקדמי אתרים היו ממלאים את המאמרים שלהם במילות מפתח בניסיון לשפר את הדירוג שלהם במנועי החיפוש.

היום, מנועי החיפוש הרבה יותר מתוחכמים ומסוגלים להבין את ההקשר והמשמעות של המילים בדף אינטרנט, מה שהופך את “דחיסת” מילות המפתח למיותרת ואף עלולה להזיק לדירוג של דף אינטרנט.

במקום להתמקד בכמות מילות מפתח, חשוב יותר לכתוב תוכן איכותי, אינפורמטיבי ורלוונטי שעושה שימוש טבעי והולם במילות מפתח.