להריץ מודל בינה מלאכותית על רספברי פיי

הידע המוקדם הנדרש לפוסט זה הוא הכרה עם רספברי פיי והתחברות עם SSH לרספברי פיי. אם אתם לא מכירים, ממש לא נורא ואפשר להתחיל עם מאמר המבוא לרספברי פיי.

מטפס ההרים הידוע ג'ורג' מאלורי אמר ״אני רוצה לטפס על ההרים כי הם שם״. אני לא ממש מטפס על הרים, ולא יוצא כל כך מפתח תקווה (למעט גיחות לפאבים אלו ואחרים), אבל לפעמים אני עושה דברים בלי שום צורך או רצון אופרטיבי, רק כדי לעשות אותם. אחד מהם הוא להריץ LLM על רספברי פיי. מה זה LLM? למי שלא יודע: ראשי תבות של  large language model – בינה מלאכותית שיודעת לייצר טקסט. בלשון העם זה צ׳אטג׳יפיטי. יש לנו לא מעט מודלים מבוססי קוד פתוח שאפשר להוריד ולהשתמש בהם. כמובן שצריך מחשב חזק על מנת להשתמש במודלים האלו.

למה להריץ LLM על מכונה כמו רספברי פיי שהיא קטנה, ללא כרטיס גרפי ובגדול בלי הרבה כוח להריץ משהו כזה? נו, כי אפשר. בגדול לצרכי עבודה, אני ארים מכונה וירטואלית בענן זה או אחר ואני אריץ את ה-LLM.

אז ראשית, כדי למנוע בעיות – ממליץ לשדרג את הרספברי פיי שלנו לסביבה החדשה.

sudo apt-get update
sudo apt-get upgrade

על מנת למנוע סיבוך, אני אשתמש ב-ollama כדי להתקין את ה-LLM. למה ollama? (🥁) כי הוא מאד קל לתפעול בכל מה שקשור להתקנת מודלים מקומיים.

אנחנו נתקין את ollama באמצעות סקריפט ההתקנה הרשמי:

curl -fsSL https://ollama.com/install.sh | sh

נמתין מעט זמן. ואכן צריך זמן ואינטרנט מוצלח.

אחרי ההתקנה ואחרי שקיבלנו את האזהרה ש… אין GPU, תרקדו. אפשר להמשיך הלאה.

השלב הבא הוא לבחור מודל מהאתר של ollama. כמובן שכאן צריך מאד מאד מאד מאד בזהירות לבחור. זה לא שיש לנו מכונה חזקה, אני בחרתי ב-tinydolphin. לפי השם אפשר להבין שזה לא א-גרויסע מציעא מודל, אבל הוא יספיק. בטח למטרות נלוזות. אבל אפשר לחפש ולמצוא מודלים אחרים – כמו phi-3 למשל.

אחרי שהחלטנו על המודל, מה שצריך זה להקליד:

ollama run tinydolphin

ולהמתין עוד זמן מה, עד שאנחנו נראה Send a message (/? for help) – זה אומר ש… יש לנו מודל!

עכשיו אפשר לשאול אותו שאלות. צריך לזכור שטיב התשובות נעוץ בטיב המודל. זה לא GPT4 שעומד בחזית. מצד שני, הוא לגמרי שלכם ולגמרי פרטי ואפשר באמת להתחיל להשתולל איתו. כולל לשאול אותו דברים לא יפים. למשל, אם אני אשאל את צ׳אטג׳יפיטי, שעליו שאני משלם 20 דולר בחודש, איך הורגים אדם, אני אקבל תשובה רצינית וממוסדת:

אם אני אשאל את הקקמייקה שהותקן אצלי הרגע, אני אקבל יותר שעשוע כי אין לו את החסמים שיש (לא לכל מודל כמובן אין חסמים):

עכשיו, מה אפשר לעשות עם זה חוץ מלהשתעשע עם ה-CLI? הו הו הו. טוב, פה השמים הם הגבול – ראשית אפשר לחבר ל openweb ui ועל כך אסביר בפוסט הבא.

שנית, אם רוצים לקחת את זה לכיוון אפילו יותר מטופש אפשר לחבר אותו לחיישנים – למשל לחיישן לחות, כדי שיתרגם לנו את המידע הזה לטקסט וישלח אותו ל text to speech פייתוני זה או אחר ואז העציץ יכול לצרוח עליך שתשקה אותו (למשל).

המטרה של הפוסט הזה היא להראות כמה קל לחבר LLM אפילו על מכונה חלשה כמו רספברי פיי. ככל שהמודלים הקטנים יותר יתפסו תאוצה, כך זה יהיה יותר מעניין. כבר עכשיו יש אפשרות לבנות מיני ג׳רוויס חמוד לשימושים נלוזים אלו ואחרים. מקווה שקצת פתחתי את הראש 🙂