מולטי-מודאליות ב-IBM: איך מאמנים מודלי Vision-Language, עם ד״ר אלי שוורץ

השבוע ב-explAInable אירחנו את ד״ר אלי שוורץ, מנהל קבוצת בינה מלאכותית מולטי מודאלית ב-IBM. ניסינו להבין את חשיבות המולטי-מודליות, למשל בעבודה עם מסמכים הכוללים טבלאות ותמונות, והבנו מה מקומם של מודלים קטנים יותר. אז מהם שלושת הרכיבים בארכיטקטורה שמאפשרים הטלה של תמונות במרחב הטקסט? למה מייק מאמין במודלים קטנים? והאם העתיד נמצא דווקא במודלי דיפיוזיה? כל זאת ועוד- בפרק!

 

לפרק ביוטיוב:  https://youtu.be/AXj6VLAzYEM

ללינקדאין של אלי: https://www.linkedin.com/in/elischwartz/ 

למאמר: https://arxiv.org/abs/2502.09927 

למודל הפתוח: https://huggingface.co/ibm-granite/granite-vision-3.3-2b 

בואו להתארח אצלנו כמומחים בפרקים הבאים: https://forms.gle/tUArnguwPU5KFNKx5