בלוג

שיחות קוליות וחדרי שמע באפליקציית ווב: איך הם עובדים

· Andrij Tkachenko · 6 דקות קריאה

שני חלונות דפדפן שמחובר ביניהם קו מקווקו עם גלי קול, לצד חדר עגול של מושבים שבו שני אנשים מדברים במיקרופונים והשאר מקשיבים

שיחה קולית באפליקציית ווב היא שיחת WebRTC עם ערוץ מיקרופון ובלי מצלמה: אותו חיבור כמו בשיחת וידאו, שמעביר כמה עשרות קילוביט בשנייה במקום מאות. חדר שמע הוא שיחה קבוצתית שבה כמה אנשים מדברים וכל השאר מקשיבים, ולזה צריך שרת מדיה וכלל בשרת שלכם שקובע מי רשאי לדבר.

שתיהן שיחות בין המשתמשים של האפליקציה שלכם, לפי החשבונות שלהם, דרך האינטרנט. אין בהן מספרי טלפון ואין רשת טלפוניה. הפוסט הזה מראה מה שיחה קולית שולחת, כפי שנמדד ב-Chromium, את קוד הדפדפן שהיא צריכה, במה חדר שמע שונה משיחה בין שניים, ואיך אפליקציה מוסיפה את שתיהן בלי לבנות את צד המדיה.

שיחה קולית היא שיחת וידאו בלי המצלמה

כל דפדפן שמדבר WebRTC חייב לתמוך בשני קודקים של שמע: Opus, ו-G.711 בתור PCMA ו-PCMU למערכות טלפון ישנות (RFC 7874). כששני הצדדים יכולים, Opus בא ראשון. Opus מכסה הכול, מ-6 kbit/s לדיבור בפס צר ועד 510 kbit/s למוזיקה בסטריאו, והמפרט שלו עצמו נותן 16 עד 20 kbit/s כנקודה האידיאלית לדיבור בפס רחב (RFC 6716).

ערכנו שיחת שמע בלבד בין שני חיבורים ב-Chromium 156, עם המיקרופון המדומה שלו, וקראנו מה השולח דיווח:

מה קראנו שיחה קולית שיחת וידאו
קודק Opus, ‏48 kHz, מונו VP8
קול או תמונה כ-21 kbit/s קרוב ל-480 kbit/s
כותרות RTP כ-12 kbit/s

השיחה הקולית שלחה 50 מנות בשנייה, אחת לכל 20 מילישניות של קול, והכותרות של המנות האלה הוסיפו עוד יותר מחצי ממה שהקול עצמו תפס. IP ו-UDP מוסיפים עוד על הקו. שיחת הווידאו, תמונה של 640 על 480 מהמצלמה המדומה, הייתה קרובה ל-480 kbit/s אחרי 20 שניות ועדיין טיפסה כשהדפדפן מצא עוד מקום, כך שהמספר שלה מספר יותר על תחילת שיחה מאשר על סופה.

אז שיחה קולית מעבירה הרבה פחות ביטים משיחת וידאו, ובגלל זה היא מחזיקה מעמד ברשת סלולרית חלשה שבה וידאו מגמגם. כל השאר זהה: הצעה ותשובה, הכתובות של שני הצדדים, וממסר לרשתות שחוסמות נתיב ישיר.

קוד הדפדפן

שיחה קולית מבקשת רק את המיקרופון, ומשמיעה את מה שחוזר ברכיב <audio>:

JavaScript
// call.js: המיקרופון, עם ביטול ההד, הפחתת הרעש ובקרת העוצמה של הדפדפן
const stream = await navigator.mediaDevices.getUserMedia({
  audio: { echoCancellation: true, noiseSuppression: true, autoGainControl: true },
});

const pc = new RTCPeerConnection({ iceServers: [{ urls: 'stun:stun.example.com:3478' }] });
pc.addTrack(stream.getAudioTracks()[0], stream);

pc.ontrack = ({ streams }) => {
  const audio = document.getElementById('them');
  audio.srcObject = streams[0];
  // דפדפן משמיע קול רק אחרי שהאדם לחץ או הקליד משהו בדף.
  audio.play().catch(() => showTurnSoundOn());
};

// השתקה: הערוץ ממשיך, והצד השני שומע שקט.
document.getElementById('mute').onclick = () => {
  const track = stream.getAudioTracks()[0];
  track.enabled = !track.enabled;
};
HTML
<audio id="them" autoplay></audio>
<button id="mute">Mute</button>

ההצעה, התשובה והמועמדים עוברים דרך שרת איתות, בדיוק כמו בווידאו: איך WebRTC מחבר שני דפדפנים מראה את הממסר הזה, כמה שורות של Node.js, ואת הדף שסביבו. שלושה דברים חשובים יותר בשיחה קולית מאשר בשיחת וידאו:

  1. הד. בלי אוזניות, הרמקול של מחשב נייד משמיע את האדם השני לתוך המיקרופון של אותו מחשב. RFC 7874 מבקש מכל נקודת קצה של WebRTC לבטל את ההד הזה, ו-Chromium הפעיל כברירת מחדל את שלוש האפשרויות שלמעלה כשקראנו את track.getSettings() על { audio: true } פשוט. בקשו אותן בכל זאת, והשאירו אותן פועלות אלא אם האפליקציה משמיעה מוזיקה.
  2. קול שלא מתחיל. דפדפנים מעכבים קול עד שהאדם השתמש בדף. שיחה שעונים לה בלחיצה תקינה. שיחה שמצטרפים אליה מקישור שנפתח בלשונית חדשה עלולה להתחבר בשקט, ולכן תנו לדף כפתור שמפעיל את הקול כש-play() מסרב.
  3. השתקה בלי לנתק. כיבוי של track.enabled שולח שקט ושומר על החיבור, כך שהפעלה מחדש מיידית ולא מבקשת שום דבר. עצירת הערוץ הייתה מחייבת לבקש את המיקרופון שוב.

אם הבעיה היא במיקרופון עצמו, בדיקת המיקרופון מגלה איזה חלק נכשל, בדפדפן, לפני כל שיחה.

חדר שמע הוא שיחה קבוצתית עם מאזינים

שיחה בין שני אנשים עוברת מדפדפן אחד לשני. חדר של עשרים לא יכול לעבוד כך: ב-mesh, כל דובר שולח עותק של הקול שלו לכל אדם אחר, כך שההעלאה גדלה עם כל מי שמצטרף. שיחות קבוצתיות שולחות כל קול פעם אחת לשרת מדיה, שמעביר אותו לכל השאר (איך שיחות וידאו קבוצתיות עובדות).

חדר שמע מוסיף לזה תפקידים:

שיחה בין שניים חדר שמע
מי מדבר שניהם הדוברים, מעטים
לאן הקול הולך מדפדפן לדפדפן דרך שרת מדיה
מי מחליט שניהם המארח והשרת שלכם

המאזינים לא שולחים כלום. הם מקבלים את הקולות של הדוברים, כל אחד מועבר על ידי השרת, והמיקרופונים שלהם נשארים סגורים. מאזין מרים יד, המארח נותן לו לדבר, ומאוחר יותר מחזיר אותו להיות מאזין.

את החלק האחרון צריך להחליט בשרת. כפתור שרק מסתיר את המיקרופון בדף הוא לא כלל: כל אחד יכול לפתוח את הקונסולה של הדפדפן ולשלוח קול בכל זאת. שרת המדיה צריך לסרב למה שמאזין שולח, ולקחת את זה בחזרה ממי שמפסיק להיות דובר, על סמך הוכחה שרק השרת שלכם יכול לתת.

מה שעדיין נדרש

ויתור על המצלמה חוסך רוחב פס ולא שום דבר אחר. שיחה קולית עדיין צריכה:

  • STUN ו-TURN. רשתות מסוימות חוסמות נתיב ישיר בין שני מכשירים, בקול כמו בווידאו. ממסר בפורט 443 מעביר את השיחות האלה (שרתי STUN ו-TURN, בהסבר).
  • הצלצול. האדם שמתקשרים אליו צריך לשמוע אותו בכל לשונית או מכשיר שפתוחים אצלו, ולהפסיק לשמוע אותו בשאר ברגע שהוא עונה.
  • חיבור ששורד מעבר. טלפון שעובר מ-Wi-Fi לנתונים סלולריים מאבד את הנתיב שהשיחה הייתה עליו, ולכן השיחה צריכה למצוא נתיב חדש בלי לנתק.

שיחות קוליות וחדרי שמע עם WordPlus Cloud

עם החבילה @wordplus/realtime, שיחה קולית היא שיחת וידאו עם type: 'audio'. האפליקציה שלכם מחליטה מי רשאי להתקשר למי ב-route משלה, שמחזיר token לשיחה. ב-Express:

JavaScript
// server.mjs: GET /call-token?to=34&type=audio, שהכפתור שואל ברגע שלוחצים עליו.
app.get('/call-token', async (req, res) => {
  // כאן הבדיקה שלכם: מי רשאי להתקשר למי.
  const me = req.session.userId;
  if (!me) return res.sendStatus(401);
  res.json({ token: await realtime.callToken(me, req.query.to, { type: req.query.type }) });
});
JavaScript
await rt.callScreen(); // הצלצול וחלון השיחה, בכל דף ששיחה עשויה לצלצל בו
HTML
<call-button to="34" token-url="/call-token" type="audio" name="Ann">Call Ann</call-button>

השיחה מצלצלת בכל לשונית ובכל מכשיר שפתוחים אצל Ann. היא עוברת ישירות בין שני הדפדפנים כשהרשתות שלהם מאפשרות זאת, דרך הממסרים שלנו בפורטים 443 ו-80 כשלא, ודרך שרתי המדיה שלנו כשאפילו הממסרים לא מצליחים להגיע, ועוברת מנתיב לנתיב בלי לנתק. שיחות בין שני אנשים מוצפנות מקצה לקצה בכל נתיב, ולא לוקחות קרדיטים באף אחד מהם.

חדר שמע הוא שיחה קבוצתית שה-tokens שלה אומרים type: 'audio', עם publish: false למאזינים. כאן המארח של חדר 7 מדבר ומנהל אותו, והשאר מקשיבים עד שנותנים להם לדבר:

JavaScript
// GET /room-token?id=7, ש-<group-call-button call="room:7" token-url="/room-token?id=7" type="audio"> שואל.
app.get('/room-token', async (req, res) => {
  const me = req.session.userId;
  if (!me) return res.sendStatus(401);
  const host = await isHostOf(req.query.id, me); // שלכם, מהנתונים שלכם
  res.json({
    token: await realtime.groupCallToken(me, `room:${req.query.id}`, {
      type: 'audio',
      admin: host,
      publish: host || (await maySpeak(req.query.id, me)),
    }),
  });
});

// המארח נותן למישהו לדבר, או מחזיר אותו להיות מאזין, בזמן שהחדר פועל.
await realtime.call('room:7').permit(34, { publish: true });

מסך השיחה נותן למארח את Promote to Speaker ואת Demote to Viewer על כל אדם, ושרתי המדיה מסרבים לקול מכל מי שה-token שלכם או permit() הפכו למאזין. שיחה קבוצתית מוצפנת מקצה לקצה כשה-tokens שלה אומרים encrypt: true. בשיחות קבוצתיות, מספר מסוים של אנשים בווידאו בו-זמנית לא לוקחים קרדיטים עם התוכנית שלכם, כשאדם בשמע נחשב כחצי, וכל אחד מעבר לזה לוקח קרדיט לדקה, בשמע חצי (מגבלות). כמה מגיע חודש של שיחות: איך להעריך את העלות של שיחות וידאו.

שיעורים, וובינרים וחדרי שמע מראה הרמת יד וכפתור Let speak משלכם ב-Node, ב-PHP וב-Python, ודף השיחות במדריך של Express את השאר: מי רשאי להתקשר, ממשק שיחה משלכם, ושיחות בתוך צ׳אט.

שיחות קוליות לאפליקציה שלכם

WordPlus Cloud for Apps מתומחר לפי חיבורים בו-זמניים, החל מ-1,000, בחיוב חודשי או שנתי, ושיחות בין שני אנשים לא לוקחות קרדיטים באף נתיב. ראו שיחות ושיחות קבוצתיות לאפליקציות, או את המחירים לאפליקציות. שאלות על האינטגרציה שלכם? כתבו לנו.