מדריך Node.js: שימוש ב-Streams

במאמר הקודם דיברנו על Node.js Utilities ועל כך שאפשר לבצע ירושה באמצעות Node.js. באופן עקרוני, די מיצינו את נושא המודולים ב-Node.js – אני לא יכול להוסיף הרבה על המידע שכבר נמצא בדוקומנטציה ועברנו על מספיק מודולי ליבה של Node.js על מנת שתרגישו בנוח להרחיב את הידע שלכם באמצעות הדוקומנטציה.

Streams הוא מודול שנמצא בליבה של Node.js והוא חשוב כיוון שלכאורה אפשר להסתדר בלעדיו. בואו ונסתכל על הקוד הבא:

var http = require('http');
var fs = require('fs');

var server = http.createServer(function (req, res) {
    fs.readFile(__dirname + '/text.txt', function (err, data) {
        res.end(data);
    });
});
server.listen(3000);

עברנו גם על מודול http במדריך וגם על מודול fs שמטפל בקריאה קבצים, כך שאם עברתם על המדריך לפי הסדר, אתם יכולים להבין בקלות שמדובר כאן בקוד שמייצר שרת שכאשר נכנסים אליו (במקרה הזה localhost:3000 או ה-IP של השרת ואז פורט 3000) יחזיר לנו את data.txt אל הדפדפן.

הקוד הזה יעבוד, אבל יש בעיה אחת עיקרית איתו – עד שמתודת fs.readFile לא מסתיימת, אז המשתמש לא רואה דבר וגם ה-callback שלה לא נורה. כלומר, אם data.txt גדול וכבד – אז המשתמש יבהה במסך לבן. כמה טוב היה אם היינו יכולים "לשבור" את data.txt לחתיכות קטנות ואז לשגר כל חתיכה אל המשתמש על מנת שיוכל לקבל את כל הקובץ, אבל בהמשכים – כך הוא לא יבהה במסך לבן (במיוחד אם נוסיף את הזמן שלוקח לקובץ להגיע אליו!) בנוסף, אם אנו משתמשים ב-fs, אנו טוענים את כל הקובץ לזכרון בכל קריאה עד שהקובץ עובר בשלמותו למשתמש. בעייתי אם יש המון משתמשים ועוד יותר בעייתי אם לחלק מהם יש אינטרנט איטי. אם נוכל לשבור את הקובץ לחלקים לא נצטרך לאחסן עבור כל אחד מהם את כל הקובץ בזכרון – דבר שיזלול את הזכרון עבור מספר רב של משתמשים.

למרבה המזל יש דרך כזו והיא נקראת stream – הנה החלק שלה בדוקומנטציה.

אני יודע שחלק מכם, כאשר הם שומעים stream, מקבלים חררה. אבל זה באמת פשוט – שימו לב איך אני טוען את text.txt באמצעות stream ותראו כמה זה קל:

var http = require('http');
var fs = require('fs');

var server = http.createServer(function (req, res) {
    var stream = fs.createReadStream(__dirname + '/text.txt');
    stream.pipe(res);
});
server.listen(3000);

אחרי שנרגענו קצת, בואו ונמשיך לדון בעניין. באופן עקרוני מי שממש stream הוא לא רק fs אלא לא מעט מודולים. אנחנו נדבר על http, fs ובהמשך גם על net.socket. חשוב לזכור שלמרות שכל אחד מממש את stream באופן מעט שונה, הדרך היא מאוד דומה. אפשר ליצור כמה סוגים של stream – הסוג הראשון הוא קריאה. בדוגמה שלעיל הראיתי איך מממשים את זה עם fs. קודם כל אני יוצר את ה-stream הקורא. איך? באמצעות שימוש במתודה:

fs.createReadStream

המתודה הזו מתועדת ב-fs. זה יוצר לי בעצם משאב שאותו אני יכול להעביר לכל מקום שיכול לקבל את ה-stream הזה. ההעברה מתבצעת באמצעות מתודת pipe. כלומר קודם כל אני צריך ליצור את ה-stream read ואז אני יכול לעשות איתו מה שאני רוצה – אם המודול שאני רוצה להשתמש בו תומך ב-stream.

עוד דוגמה להמחשה? כן. הקוד הבא משתמש ב-stream על מנת לבצע העתקה. קודם אני יוצר stream read, אחרי זה אני יוצר write stream ואז אני לוקח את ה-read ושופך אותו לתוך ה-write באמצעות pipe. ה-pipe חיוני להעברה.

var http = require('http');

var rstream = fs.createReadStream(__dirname + '/text.txt');
var wstream = fs.createWriteStream(__dirname + '/out.txt');
rstream.pipe(wstream);

אתם רואים שזה לא נורא? לא שונה באופן מהותי מהמתודות הרגילות של fs, אבל הרבה יותר רך כלפי הזכרון.

ל-stream יש גם אירועים שאפשר להשתמש בה. למשל:

var fs = require('fs');

var rstream = fs.createReadStream(__dirname + '/text.txt');
var wstream = fs.createWriteStream(__dirname + '/out.txt');
rstream.pipe(wstream);

var dataLength = 0;
// using a readStream that we created already
rstream
    .on('data', function (chunk) {
        dataLength += chunk.length;
    })
    .on('end', function () {  // done
        console.log('The length was:', dataLength);
    });

אפשר לשרשר כמה פעולות עם pipe. הנה דוגמה נחמדה: לקרוא קובץ, לכווץ אותו (עם מודול ליבה שלא דיברנו עליו שנקרא zlib) ואז לכתוב אותו:

var fs = require("fs");
var zlib = require("zlib");

// Read File
fs.createReadStream("text.txt")
    // Gzip
    .pipe(zlib.createGzip())
    // Write File
    .pipe(fs.createWriteStream("text.gz"));

באופן עקרוני יש עוד המון דברים שאפשר לעשות עם stream, אבל מה שחשוב הוא לזכור את הבסיס: יש לנו stream קורא או כותב ואנחנו דוחפים ממנו או לתוכו עם pipe. אפשר לשרשר כמו בדוגמה למעלה.

ב-Net Sockets אנחנו משתמשים גם ב-streams ועל כך נדבר במאמר הבא.

⚠️ תזכורת – המדריכים האלו הם רק טעימה, בספר שלי "ללמוד Node.js בעברית" יש הסברים מלאים ומקיפים על השפה המיועדים ללימוד עצמי. עם תרגילים והסברים. הספר יצא לאור בשיתוף הקריה האקדמית אונו ובתמיכת החברות אלמנטור, ו-Iron source ונערך טכנית על ידי בנג'י גרינבאום (מפתח ליבה של Node.js), גיל פינק ומתכנתים מעולים נוספים.