מה זה AIoT? ואיך אפשר להתחיל?

הפוסט הזה מלווה פרק מיוחד בפודקאסט עושים תוכנה שבו בועז לביא ואני דיברתי קצת על AIoT, טרנד חזק ודי ותיק שמשלב שני תחומים: IoT – האינטרנט של הדברים שבו יוצרים קוד שמפעיל אלקטרוניקה בעולם האמיתי ו-AI – בינה מלאכותית שזה מונח סל שכולל בתוכו גם Machine Learning וגם בינה מלאכותית יוצרת. השילוב בינהם הוא עולם מרתק וכיפי במיוחד שפתוח בפני כל אחד שיש לו רצון ללמוד ולהתנסות.

ראשית, אפשר להאזין לפרק פה. בפוסט יש רפרנסים והסברים נוספים על מה שיש בפרק.

הפרק זמין לא רק בספוטיפיי אלא גם בפלטפורמות אחרות בקישור הזה.

רספברי פיי

כשאנו מדברים על IoT, בטח בצד של המייקרים – אלו שבונים את הציוד שלהם בשביל הכיף והחדווה ולא קונים את הכל ומחברים את זה עם גוגל הום – התחנה הראשונה היא רספברי פיי. זה לא תחנה זולה במיוחד כיוון שרספברי פיי 5 עם מארז, ספק כוח וזכרון של 8 ג׳יגה עולה בין 400 ל-500 ש״ח. אבל זו תחנה קלה כיוון שמדובר במחשב לינוקס לכל דבר שקל לעבוד איתו, לחבר אותו אפילו למסך עם מקלדת או לעבוד עליו כמו מכונה מרוחקת ולהתחבר אליו ב-SSH. אם אתם לא מכירים – זה הזמן להכיר!

רספברי פיי – מבוא למתחיל

רספברי פיי – חיבור מרחוק

רספברי פיי – חיבור VSCode

רספברי פיי – ה-GPIO והאלקטרוניקה הבסיסית (פוסט ראשון בסדרה של כמה פוסטים)

חיבור של מצלמה לרספברי פיי

פרק מיוחד בעושים תוכנה בהשתתפותי על רספברי פיי – מכונת המשאלות הקטנה:

מי שחושש מלהתעסק עם קוד, אפשר בכלל עם פלטפורמה ללא קוד. בהרצאה הזו בכנס NodeTLV סיפרתי על Node-RED:

רספברי פיי ו-AIoT

נתחיל בכמה דברים בסיסיים:

ראשית – איך מתקינים עליו LLM?

אחר כך – כן, אפשר זיהוי תמונה עם רספברי פיי!

ולמה שלא נחבר את ה-LLM והחיישנים וניצור… עציץ מדבר?

על זיהוי אובייקטים עם רספברי פיי

על בניית מודל משלנו לסיווג תמונות – כמו למשל סל כביסה מלא או ריק

ESP32

ה-מיקרו בקר בה״א הידיעה. הוא לא חזק כמו רספברי פיי ובטח שלא מריץ לינוקס, אבל הוא זול מאד (12 ש״ח).

אפשר להתחיל בפוסט הזה על ESP32 להורים וילדים שיוביל אתכם לעוד פוסטים לפי סדר. מה זה ESP32, איפה קונים בזול, מה עושים איתו, איך מחברים אותו ואיך כותבים עליו קוד עם מיקרופייתון. אפשר אגב גם עם גו עם TinyGo.

ההרצאה הזו שהעברתי בכנס פייקון 2023 על מיקרופייתון תכניס כל מתכנת פייתון ישר לעניינים.

אפשר לעשות עם ESP32 מלא דברים מגניבים ממש. גם שימושיים וגם… פחות:

בפועל, אפשר להעביר את המידע מהחיישנים של ESP32 למודל למידת מכונה או AI של רספברי פיי עם פרוטוקול שנקרא MQTT. בפוסט הזה אני מסביר על כך.

ופרויקט מעשי של הכיור שצורח על הילדים לרוקן אותו.

ESP32 ו-AIoT

אפשר גם להריץ מודלים של למידת מכונה על מיקרובקרים כולל ESP32! עם Edge Impulse אפשר ליצור מודלים של זיהוי אובייקטים ולדפלט אותם עם Edge impulse. המאמרים שלי ממש בדרך – אבל מי שרוצה דוגמה באנגלית – הנה פוסט מצוין שמסביר על כך.

סיכום

אני מקווה שהפרק הזה בעושים תוכנה והרפרנסים יגררו אתכם קצת לעולם ה-IoT וספציפית לעולם ה-AIoT. זה עולם מרתק וכל כך נגיש. דברים שלפני שנתיים שלוש היו מדע בדיוני הם בהישג יד ובהחלט אפשר להריץ אותם על חומרה זולה בעלות של כמה מאות או לפעמים כמה עשרות שקלים בלבד. רוצים ג׳רוויס משלכם שידבר איתכם כשאתם מגיעים הביתה? עציץ מדבר? רובוט שיורה מים על הציפורים ומבריח אותן מהגינה או מהמרפסת? תאורה מיוחדת או תחפושת בלתי נשכחת לפורים? זו בדיוק הדרך! מעבר לכיף הטהור, גם מתכנתים שמתנסים בפרויקטים כאלו לומדים המון: על דיפלוי נכון, על תפיסת שגיאות לא סטנדרטית ולא מעט גם על סביבות אחרות.