🕹️ התפתחות המכונה
מסע קליל — מחדר שלם עם מחשב אחד, ועד לעוזר AI שכותב קוד מהטלפון. 15 תחנות, בלי להיות משעמם.
ה-ENIAC שקל כ-30 טונה, תפס חדר שלם, וביצע פחות חישובים בשנייה מהמחשבון הפשוט ביותר היום. תכנות נעשה בכרטיסי ניקוב — כל שגיאה הייתה עבודה של שעות לתקן.
💬 30 טונה כדי לחשב מה שהשעון החכם שלכם עושה תוך כדי שינה.
הרגע שמחשבים הפסיקו להיות בגודל של חדר. הטרנזיסטור החליף שפופרות ואקום ענקיות וחמות ברכיב זעיר, אמין וזול — הבסיס לכל מה שבא אחריו.
ג'ק קילבי ורוברט נויס (כל אחד בנפרד) מוצאים דרך לדחוס כמה רכיבים אלקטרוניים על פיסת סיליקון אחת. כל האלקטרוניקה המודרנית — מהטלפון ועד לוויין — בנויה על הרעיון הזה.
אינטל 4004 — מחשב שלם על שבב אחד. פתאום אפשר לבנות מחשב שנכנס על שולחן, לא רק בחדר ממוזג באוניברסיטה.
Altair 8800, Apple II, Commodore PET, TRS-80 — ואי אפשר בלי להזכיר את ה-Dragon 32 (כן, זה מה שגדלנו עליו). 32 קילובייט זיכרון, מקלדת מחוברת לטלוויזיה, וקלטת קסטה בתור "כונן קשיח".
💬 32KB — פחות מגודל התמונה שאתם שולחים עכשיו בוואטסאפ.
מבוסס על רעיונות שפותחו ב-Xerox PARC, אפל משיקה את ה-Macintosh, ואחריו חלונות של מיקרוסופט. מ"תקלידו פקודה מדויקת" ל"תראו סמל ותלחצו עליו".
טים ברנרס-לי משחרר את הרשת העולמית (World Wide Web). לראשונה, מחשבים ברחבי העולם יכולים "לדבר" זה עם זה בשפה משותפת.
ה-iPhone יוצא לשוק. פתאום יש בכיס שלכם מחשב חזק בהרבה מכל מה שהיה קיים עשור קודם לכן — עם מצלמה, GPS ואינטרנט.
במקום לקנות ולתחזק שרת פיזי, אפשר "לשכור" כוח מחשוב מרוחק לפי דקה. זה מה שמאפשר לכל אתר קטן (כולל זה) לרוץ בלי חדר שרתים בבית.
רשת בשם AlexNet מנצחת בתחרות זיהוי תמונות בפער עצום, ומוכיחה שרשתות נוירונים עמוקות (deep learning) יכולות ללמוד דברים שאף אחד לא תכנת במפורש. זו נקודת המפנה שהובילה לכל מה שבא אחר כך.
מאמר בשם "Attention Is All You Need" מציג ארכיטקטורה חדשה שמבינה הקשר בטקסט טוב בהרבה מכל מה שהיה קודם. רוב האנשים לא שמעו על המאמר הזה — אבל כל צ'אטבוט AI שאתם מכירים היום בנוי עליו.
תקציר בעברית — מה כתוב שם, בלי המתמטיקה
מה היה נהוג עד אז. מודלים שהבינו טקסט קראו אותו מילה אחרי מילה, לפי הסדר. לשיטה הזו היו שתי בעיות: ככל שהמשפט התארך, ההתחלה שלו כמעט נשכחה עד שהגיעו לסוף; וכיוון שכל מילה המתינה לקודמת, אי אפשר היה לעבד אותן במקביל, והאימון היה איטי.
מה המאמר הציע. לוותר על הקריאה לפי הסדר לגמרי. במקום זה, כל מילה במשפט מסתכלת בבת אחת על כל שאר המילים ומחליטה כמה כל אחת מהן חשובה להבנתה. זה בדיוק מה שהגרפיקה שלמעלה מדגימה: המילה "הוא" מוצאת ש"החתול" רלוונטי לה הרבה יותר מ"מהכלב".
למה זה שינה הכול. כשאין תלות בסדר, אפשר לחשב את כל המילים בו-זמנית. פתאום היה אפשר לנצל את החומרה עד הסוף ולאמן מודלים גדולים בהרבה ממה שהיה מעשי קודם. כל גל המודלים הגדולים של השנים שאחרי נשען על הפתח הזה.
מה הם עצמם בדקו. רק תרגום מכונה — מאנגלית לגרמנית ומאנגלית לצרפתית. הם שברו את השיא של אז, ועשו את זה בפחות מארבעה ימי אימון על שמונה כרטיסים גרפיים, שבריר מהמשאבים שדרשו המודלים המתחרים. במאמר עצמו אין מילה על צ'אטבוטים; שהארכיטקטורה הזו תהיה הבסיס לכל מודל שיחה מוכר התברר רק בשנים שאחר כך.
איפה זה פוגש אתכם. האות T בשם GPT — ובכל שם אחר שנגמר כך — היא ראשי תיבות של Transformer, הארכיטקטורה שהמאמר הזה הציג.
GPT-3 מוכיח שמודל שפה שאומן על כמויות עצומות של טקסט יכול לבצע משימות שמעולם לא אומן עליהן ספציפית — רק מתיאור במילים.
- כל ויקיפדיה באנגלית — 3%
- כל השאר: דפי אינטרנט וספרים — 97%
ויקיפדיה האנגלית כולה, על כל ערכיה, היא כשלושה אחוזים מהחומר שהמודל קרא. זה מה ש"כמויות עצומות" באמת אומר.
ChatGPT יוצא לציבור הרחב. תוך שבועות, מיליוני אנשים שמעולם לא התעניינו ב-AI מדברים על זה — כולל, כנראה, מי שהראה לכם את האתר הזה.
- ChatGPT — כחודשיים
- טיקטוק — כתשעה חודשים
- אינסטגרם — כשנתיים וחצי
אף מוצר לפני כן לא נכנס לחיים של כל כך הרבה אנשים כל כך מהר. זה הרגע שבו AI הפסיק להיות נושא למומחים.
Claude, Gemini ומודלים נוספים לומדים "לראות" תמונות, "לשמוע" קול, ולנהל שיחה ארוכה עם זיכרון הקשר. AI מפסיק להיות "תיבת טקסט" ונהיה עוזר רב-תכליתי.
AI שלא רק עונה על שאלות — אלא כותב קוד אמיתי, מריץ בדיקות, ופותר בעיות בעצמו. אגב, האתר הזה שאתם קוראים בו כרגע — נבנה חלקית ככה. הסיפור עדיין נכתב.
מ-30 טונה של ENIAC ל-Dragon 32 בחדר ילדים, ומשם לעוזר AI שכותב קוד — זה לא סוף הסיפור, זו רק התחנה הנוכחית.