כדי להבין איך מודלי שפה LLM’s עובדים חשוב להבין את המנגנונים שמפעילים אותם. בסרטון הזה נסביר מה זה ׳טוקנים׳ (Tokens)?, כיצד הם משפיעים על השיחה שלנו עם מודל שפה כמו GPT?, מה זה חלון הקשר? ואיך עובדים עם טוקנים בצורכה חכמה 👇📺.
אם אתם מחפשים כלל אצבע, ׳טוקן׳ אחד שווה בדרך כלל ל-4 תווים של טקסט כלומר בערך רבע מילה (לכן 100 אסימונים ~= 75 מילים). אתם יכולים לבדוק כמה טוקנים שווה הטקסט שכתבתם ולקרוא על זה עוד ממש כאן באתר של OpenAI. אגב, הסרטון הזה שווה ערך ל-668, זה נראה ככה👇
למה טוקנים חשובים בעבודה יומיומית עם AI?
טוקנים משפיעים ישירות על מה שהמודל “זוכר” בתוך השיחה, כמה מידע אפשר להכניס לפרומפט, וכמה מדויקת תהיה התשובה. אם מכניסים יותר מדי מידע לא רלוונטי, חלון ההקשר מתמלא והמודל מתקשה לזהות מה באמת חשוב. אם מכניסים מעט מדי מידע, הוא נאלץ להשלים פערים בעצמו.
בגלל זה עבודה טובה עם LLM היא לא רק כתיבת שאלה יפה, אלא גם ניהול הקשר: לבחור מה נכנס, מה נשאר בחוץ, ומה צריך להפוך למסמך קבוע. זה מתחבר ישירות ל-ניהול חלון הקשר ב-Claude Code ולדרך שבה עובדים עם סוכני AI בפרויקטים גדולים.
כשעובדים עם מסמכים ארוכים, הטוקנים הופכים לשיקול תכנוני ממשי. לפעמים עדיף לסכם מסמך לפני שמכניסים אותו לשיחה, לפעמים כדאי לחלק משימה לשלבים, ולפעמים נכון לשמור ידע חוזר בקובץ קבוע במקום להדביק אותו מחדש בכל פעם. זו אחת הסיבות לכך שניהול הקשר הפך למיומנות בסיסית בעבודה עם AI.
בפועל, מי שמבין טוקנים יודע לתכנן שיחה טובה יותר, לחסוך רעש ולהוציא תשובות מדויקות יותר מהמודל.