המחקר מבקש להתמודד עם אחת השאלות המרכזיות בעולם הלמידה: כיצד ניתן לזהות את הרגע שבו סטודנט ממשיך לקרוא, אך הקשב שלו נחלש או שהוא כבר אינו מבין באופן מלא את הטקסט.
לשם כך, מוביל ד"ר מלכה את הפיתוח ההנדסי והטכנולוגי של מערכת מבוססת בינה מלאכותית, שתנתח בזמן אמת תנועות עיניים, כיוון מבט, מצמוצים, תנוחת ראש, הבעות פנים ודפוסי קריאה. באמצעות שילוב בין ראייה ממוחשבת ולמידת מכונה, מנסה המערכת לזהות מצבים של נדידת מחשבות, ירידה בקשב וקושי בהבנת הנקרא.
"לעיתים העיניים ממשיכות לנוע על פני הטקסט, אך הקורא כבר אינו קשוב או אינו מעבד באופן מלא את משמעות הדברים," מסביר ד"ר מלכה. "המטרה שלנו, היא לפתח מערכת AI שלא רק תדע לאן הלומד מסתכל, אלא גם תוכל להעריך בזמן אמת את המתרחש במהלך הקריאה."
בינה מלאכותית שתשתלב בסביבת למידה אמיתית
אחת ממטרות המחקר, היא לפתח מערכת נגישה שתוכל לפעול בעתיד גם מחוץ למעבדה, באמצעות מצלמה רגילה ובסביבת למידה טבעית.
מערכת כזאת עשויה להשתלב בפלטפורמות למידה מקוונות, במחשבים אישיים ובמערכות הוראה דיגיטליות. היא תוכל לזהות שהלומד מתקשה, להציע הסבר נוסף, להפנות אותו לחלק בטקסט שלא הובן, להתאים את קצב הצגת החומר או להמליץ על הפסקה קצרה.
הגישה מבקשת לעבור ממדידה בדיעבד – למשל באמצעות מבחן הנערך לאחר הקריאה – לניטור רציף של תהליך הלמידה עצמו.
"כיום אנחנו יודעים אם הסטודנט הבין, בדרך כלל, רק לאחר שהוא מסיים לקרוא ועונה על שאלות," אומר ד"ר מלכה. "החזון הוא לזהות את הקושי בזמן שהוא מתרחש, וכך לאפשר בעתיד תמיכה אישית ומדויקת יותר לכל לומד."
דגש על סטודנטים וסטודנטיות עם ADHD וקשיי הבנת הנקרא
במחקר ישתתפו סטודנטים וסטודנטיות בעלי פרופילים שונים של קריאה וקשב, ובהם סטודנטים וסטודנטיות עם הפרעת קשב וריכוז, קוראים וקוראות המתקשים בהבנת הנקרא וסטודנטים וסטודנטיות ללא קשיי קשב או קריאה.
החוקרים יבחנו האם קיימים הבדלים בין הקבוצות בדפוסי תנועות העיניים, המצמוץ, תנוחת הראש, הבעות הפנים וקצב הקריאה, והאם מודלים של למידת מכונה יכולים לזהות באופן אמין ירידה בקשב או בהבנה בקרב אוכלוסיות שונות.
המחקר נערך בשיתוף עם פרופ' מנחם יערי מאוניברסיטת בר־אילן, פסיכולוג קוגניטיבי המתמחה בהבנת הנקרא, בניטור הבנה ובמחקר של קוראים עם ADHD ושל קוראים המתקשים בהבנת הנקרא.
בצוות המחקר משתתפת גם נופר אביטל, דוקטורנטית המונחית במשותף על ידי ד"ר דרור מלכה ופרופ' מנחם יערי.
מחקרה של אביטל עוסק בקשב, נדידת מחשבות והבנת הנקרא במהלך קריאה. במסגרת עבודת הדוקטורט, היא בוחנת כיצד שינויים בקשב משפיעים על תהליך הקריאה; כיצד לומדים מזהים בעצמם שאיבדו ריכוז; וכיצד ניתן לשלב בין דיווחים של המשתתפים לבין מדדים אובייקטיביים, הנאספים בזמן אמת. עבודתה מהווה בסיס מדעי חשוב למחקר החדש ומחברת בין שאלות מתחומי הפסיכולוגיה הקוגניטיבית והחינוך לבין הנתונים המתקבלים מהעיניים, מהפנים ומהתנהגות הקורא.
היקף המענק עד 230 אלף ש"ח לשנה למשך ארבע שנים, ועד 920 אלף ש"ח בסך הכול.
סטודנטים וסטודנטיות מקבוצת המחקר של ד"ר מלכה מפתחים את מערכות ה־AI
סטודנטים וסטודנטיות מקבוצת המחקר של ד"ר מלכה, בפקולטה להנדסת חשמל ואלקטרוניקה ב־HIT, משתתפים בפיתוח התשתית הטכנולוגית של המחקר.
הסטודנטים והסטודנטיות עוסקים בתכנות מערכת מעקב העיניים מבוססת ה־AI, בעיבוד סרטוני וידאו, בחילוץ מאפיינים מתנועות העיניים והפנים, בניתוח תנוחת הראש, בהכנת מאגרי נתונים ובפיתוח מודלים של למידת מכונה לזיהוי קשב והבנה.
כמו כן, הוגדרו בתקציב המחקר גם תפקידים לסטודנטים וסטודנטיות לתארים ראשון ושני, שיעסקו בתכנות מערכת ה־AI המטה קוגניטיבית, באינטגרציה של מעקב העיניים, בעיבוד נתוני וידאו ובהרצת אלגוריתמים של למידת מכונה.
"הסטודנטים והסטודנטיות שלנו אינם רק משתמשים בכלי AI קיימים," מדגיש ד"ר מלכה. "הם שותפים בפיתוח האלגוריתמים, התוכנה ומערכות העיבוד שיאפשרו לטכנולוגיה לפעול בסביבת למידה אמיתית."
המחקר החדש הוא חלק מפעילות רחבה יותר, שמוביל ד"ר מלכה בתחומי הבינה המלאכותית, עיבוד האותות והחומרה המתקדמת.
קבוצת המחקר שלו עוסקת בפיתוח מערכות AI לניתוח תמונה, וידאו, אותות מוחיים, תנועות עיניים ומדדים התנהגותיים. לצד זאת, הקבוצה עוסקת גם בפוטוניקה בסיליקון, בתכנון רכיבים אופטיים משולבים ובפיתוח תשתיות עתידיות לשבבים אופטיים, המיועדים לתקשורת מהירה ולעיבוד מידע עבור מערכות בינה מלאכותית.
בטווח הארוך, שואפת הקבוצה להרחיב את פעילותה גם לרכיבים פוטוניים מתקדמים ושבבים אופטיים וקוונטיים, המשלבים בין עיבוד מידע באמצעות אור, חומרת AI וטכנולוגיות קוונטיות.
"העתיד של הבינה המלאכותית תלוי לא רק באלגוריתמים טובים יותר, אלא גם בחומרה מהירה, יעילה וחסכונית יותר," מסביר ד"ר מלכה. "לכן אנחנו משלבים בין פיתוח יישומי AI מתקדמים לבין מחקר בפוטוניקה בסיליקון ובשבבים אופטיים, ובמבט קדימה גם ברכיבים קוונטיים."
הזמנה לסטודנטים ולסטודנטיות מצטיינים
קבוצת המחקר של ד"ר מלכה מרחיבה בימים אלה את פעילותה, ומזמינה סטודנטים וסטודנטיות מצטיינים מהפקולטה להנדסת חשמל ואלקטרוניקה להצטרף לפרויקטים מחקריים פעילים.
הקבוצה מתאימה במיוחד לסטודנטים וסטודנטיות בעלי עניין בתחומי הבינה המלאכותית, למידת המכונה, ראייה ממוחשבת, עיבוד תמונה ווידאו, עיבוד אותות, ניתוח אותות מוחיים, מעקב עיניים, Python ,MATLAB, פוטוניקה בסיליקון, תכנון רכיבים אופטיים ושבבים אופטיים וקוונטיים עתידיים.
הסטודנטים והסטודנטיות המצטרפים יוכלו לעבוד עם נתונים אמיתיים, לפתח אלגוריתמים ומערכות, להשתלב בפרויקטי מחקר ממומנים ולהיות שותפים לפרסומים מדעיים ולהצגת עבודות בכנסים בארץ ובעולם.
"אנחנו מחפשים סטודנטים וסטודנטיות סקרנים, יצירתיים ובעלי מוטיבציה גבוהה, שלא רוצים רק ללמוד על בינה מלאכותית ופוטוניקה אלא גם לקחת חלק בפיתוח הדור הבא של המערכות החכמות והשבבים האופטיים," אומר ד"ר מלכה. "זו הזדמנות להשתלב – כבר במהלך הלימודים – במחקר רב-תחומי ברמה בינלאומית."
