שיטות מתמטיות בבינה מלאכותית - ארז שיינר
בכל פרק מאמר אחד: מה הייתה הבעיה, מה הרעיון, ההגדרות והמשפטים המדויקים שמאחוריו עם הוכחותיהם, האלגוריתם צעד אחר צעד, וניסוי שבודק אותו על נתונים אמיתיים מול הפתרון הפשוט ביותר. דרך הדוגמאות נלמד את התהליך כולו - החל מאפיון בעיה, בחירת שיטות מתאימות לטיפול בה, ועד מימוש ושיפור הפתרון.
לפני היחידות: פתח דבר: המסלול של הספר, מה כבר למדתם, מה הבינה המלאכותית צריכה ללמוד, איך עובדים בקורס, ומה קורה בכל שיעור.
היחידות
ייצוג ראשוני ואובדן מידע. קול, תמונה, צבע ושחמט: מה נשמר ומה אובד (Shannon, 1949).
למידה אקראית בהשראת המוח (Rosenblatt, 1958): רשתית, שכבת אסוציאציה אקראית, וכלל תיקון שלומד רק את השכבה האחרונה.
תדרים, PCA וייצוג חזותי: טביעת אצבע של צליל (Wang, 2003) והפרצופים העצמיים (Turk & Pentland, 1991).
טקסט, סמנטיקה ודירוג ברשת: פירוק SVD ומשפט Eckart–Young, PageRank ואיטרציית החזקה, פירוק מטריצות להמלצות.
ייצוג נלמד מתוך תוויות: הפצה לאחור של השגיאה (Rumelhart, Hinton & Williams, 1986), ואחריה רשתות קונבולוציה ו־U-Net.
חלוקה למחלקות וגילוי מבנים: k-means (Lloyd, 1982) וחיתוכים מנורמלים (Shi & Malik, 2000).
סיווג טקסט לפי מילים: בייס הנאיבי (McCallum & Nigam, 1998).
ללמוד משקלים לפיצ'רים מתוך הקשר (Berger ואחרים, 1996).
מילים כנקודות במרחב: Skip-gram ו־negative sampling (Mikolov ואחרים, 2013).
מנגנון הקשב (Vaswani ואחרים, 2017), צעד אחר צעד.
מייצוג ליצירה: VAE (Kingma & Welling, 2013) ומודלי דיפוזיה (Ho, Jain & Abbeel, 2020).
פעולה, משחק ולמידה עצמית (Silver ואחרים, 2018): MCTS, מדיניות וערך, ומשחק עצמי.
ממודל שמנחש למודל שבודקים: אימות צעד אחר צעד (Lightman ואחרים, 2023), DeepSeek-R1 ו־GRPO, ואימות פורמלי.
ראו גם
- ארז שיינר
- אלגברה לינארית 2 - ארז שיינר: ערכים עצמיים ולכסון, שעליהם בנויים PCA ו־PageRank
- חדוא 2 - ארז שיינר