Blog

WebRTC u Node.js-u: signalizacija, sudionici i npm paketi

· Andrij Tkachenko · 10 min čitanja

Prozor preglednika s osobom na videu pokraj poslužitelja označenog šesterokutom, a paketi slike putuju isprekidanom linijom do poslužitelja i natrag

Node.js nema vlastiti WebRTC: ima ugrađen WebSocket klijent, ali nema RTCPeerConnection. Zato Node.js u pozivu sudjeluje na jedan od dva načina, ili kao signalizacijski poslužitelj koji prenosi ponude i adrese između dvaju preglednika, za što mu treba samo biblioteka za websockete, ili kao sam sudionik poziva, uz npm paket koji sa sobom donosi WebRTC.

Ovaj članak pokazuje gdje koji način odgovara, tri paketa koja od Node.js-a čine sudionika poziva i što svaki daje vašem kodu, dva kratka programa isprobana u Chromiumu, a zatim kako aplikacija u Expressu dodaje pozive između svojih korisnika bez ijednog od njih.

Dvije uloge koje Node.js može imati u pozivu

Uloga Tko prenosi medije Što treba Node.js-u
Signalizacijski poslužitelj Dva preglednika Biblioteka za websockete, npr. ws
Sudionik poziva Sam Node.js WebRTC paket iz npm-a

Pokrenite node -e "console.log(typeof RTCPeerConnection, typeof WebSocket)" na Node.js-u 22 i ispisat će undefined function. API preglednika koji prenosi pozive nije ondje, pa se kod napisan za preglednik ne može jednostavno pokrenuti na poslužitelju.

Video chatu između korisnika web aplikacije poslužitelju ništa od toga ne treba. Poziv ide od preglednika do preglednika, a Node.js im samo pomaže da pronađu jedan drugoga: kako WebRTC spaja dva preglednika sadrži cijeli taj relej u Node.js-u s paketom ws i stranicu koja ga koristi. Relej je lakši dio. Zvonjava u svakoj kartici koju osoba ima otvorenu nije, jer traži vezu otvorenu za svakog korisnika, a čim pokrenete više od jednog procesa, te su veze podijeljene među njima (websocketi u Node.js-u s više poslužitelja prolaze kroz ono što je za to potrebno).

Sudionik poziva je za programe kojima trebaju sami mediji ili kanal: snimač, bot koji se pridružuje pozivu, test koji uspostavlja poziv iz skripte, poslužitelj igre koji sa svakim igračem razgovara preko podatkovnog kanala.

npm paketi koji od Node.js-a čine sudionika poziva

Svaki od njih otvorenog je koda i Node.js-u daje RTCPeerConnection iz preglednika, a ponuda, odgovor i kandidati razmjenjuju se kao u pregledniku. Razlikuju se po onome na čemu su izgrađeni, a time i po onome što dobiva vaš kod:

Paket Što dobiva vaš kod
werift 0.28 Medije kao RTP pakete, podatkovne kanale
node-datachannel 0.33 Podatkovne kanale i vlastiti WebSocket
@roamhq/wrtc 0.10 Dekodiranu sliku i zvuk, podatkovne kanale

Što svaki kaže o sebi i što smo vidjeli kad smo ih pokrenuli:

  • werift je napisan u TypeScriptu, traži Node.js 22 ili noviji i ne instalira ništa nativno. Predaje vam svaki paket videa čim stigne, još kodiran, i šalje pakete koje mu date. To treba prosljeđivanju, i tako radi medijski poslužitelj za grupne pozive: prosljeđuje video, a da ga nikad ne dekodira (kako rade grupni videopozivi).
  • node-datachannel povezuje libdatachannel, malu biblioteku u C++-u, s gotovim binarnim datotekama za Linux, macOS i Windows na Node.js-u 18.20 ili novijem. Njegov izvoz node-datachannel/polyfill daje API preglednika, a njegov README navodi i vlastiti WebSocket klijent i poslužitelj, za signalizaciju.
  • @roamhq/wrtc je fork starijeg projekta node-webrtc, s vezama na izdanje 106 Googleove WebRTC biblioteke iz 2022., i s gotovim binarnim datotekama za Linux i macOS na x64 i arm64 te za Windows na x64. Uz standardni API ima i nestandardne izvore i ponore: pustili smo ga da primi kameru preglednika i dao nam je svaku sliku dekodiranu, 640 puta 480, kao sirove bajtove.

Izbor slijedi iz posla. Da biste medije proslijedili ili ih snimili onakve kakvi su stigli, dovoljni su paketi. Da biste pročitali što je na slici ili crtali po njoj, treba vam dekodirana, uz cijenu procesorskog rada za svaku sliku. Za same podatke dovoljna je mala biblioteka.

Node.js kao sudionik poziva: video koji se vraća

Program u nastavku odgovara pregledniku uz werift i vraća mu njegov video, a svaki paket prolazi kroz Node.js bez dekodiranja (npm install werift). Za jedini zahtjev koji razmjena treba koristi modul http iz Node.js-a:

echo.mjs
import http from 'node:http';
import { readFile } from 'node:fs/promises';
import { RTCPeerConnection } from 'werift';

async function answer(offer) {
  const pc = new RTCPeerConnection();

  pc.ontrack = ({ track, transceiver }) => {
    // Svaki paket videa iz preglednika odmah se vraća, nikad dekodiran.
    track.onReceiveRtp.subscribe((rtp) => transceiver.sender.sendRtp(rtp));
    // Povremeno zatraži od preglednika cijelu sliku, kako bi druga strana mogla početi crtati.
    const timer = setInterval(() => transceiver.receiver.sendRtcpPLI(track.ssrc), 3000);
    pc.onconnectionstatechange = () => {
      if (['failed', 'closed'].includes(pc.connectionState)) clearInterval(timer);
    };
  };

  await pc.setRemoteDescription(offer);
  // Šalji i primaj na video liniji koju je preglednik ponudio.
  for (const transceiver of pc.getTransceivers()) transceiver.direction = 'sendrecv';
  await pc.setLocalDescription(await pc.createAnswer());

  // Pričekaj sve kandidate, kako bi svi otišli u jednom odgovoru.
  await new Promise((resolve) => {
    if (pc.iceGatheringState === 'complete') return resolve();
    pc.onicegatheringstatechange = () => pc.iceGatheringState === 'complete' && resolve();
  });
  return pc.localDescription;
}

http.createServer(async (req, res) => {
  if (req.method === 'POST' && req.url === '/offer') {
    let body = '';
    for await (const chunk of req) body += chunk;
    res.setHeader('Content-Type', 'application/json');
    return res.end(JSON.stringify(await answer(JSON.parse(body))));
  }
  // Stranica i njezina skripta, iz mape static.
  const file = req.url === '/' ? 'index.html' : req.url.slice(1);
  try {
    const body = await readFile(new URL(`./static/${file}`, import.meta.url));
    res.setHeader('Content-Type', file.endsWith('.js') ? 'text/javascript' : 'text/html');
    res.end(body);
  } catch {
    res.statusCode = 404;
    res.end();
  }
}).listen(8081);

Stranica ide u static/index.html, s dva video elementa i skriptom:

HTML
<video id="me" autoplay playsinline muted></video>
<video id="back" autoplay playsinline></video>
<script type="module" src="/mirror.js"></script>
static/mirror.js
const local = await navigator.mediaDevices.getUserMedia({ video: true });
document.getElementById('me').srcObject = local;

const pc = new RTCPeerConnection();
pc.addTrack(local.getVideoTracks()[0], local);
pc.ontrack = ({ track }) => {
  document.getElementById('back').srcObject = new MediaStream([track]);
};

// Node.js strana prima jednu ponudu sa svim kandidatima, pa pričekaj da se svi prikupe.
await pc.setLocalDescription(await pc.createOffer());
await new Promise((resolve) => {
  if (pc.iceGatheringState === 'complete') return resolve();
  pc.addEventListener('icegatheringstatechange', () => {
    if (pc.iceGatheringState === 'complete') resolve();
  });
});

const response = await fetch('/offer', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify(pc.localDescription),
});
await pc.setRemoteDescription(await response.json());

Pokrenite node echo.mjs i otvorite http://localhost:8081/. Preglednik traži kameru, a trenutak kasnije drugi video prikazuje prvi, vraćen iz Node.js-a. Isprobali smo ga u Chromiumu s lažnom kamerom: slika se vratila široka 640 piksela, a broj iscrtanih slika stalno je rastao, oko 20 u sekundi.

Tri retka u njemu ondje su s razlogom:

  1. Smjer. Odgovor bez vlastitog traga samo prima, pa program prije odgovora prebacuje video liniju na sendrecv. Bez tog retka preglednik nije dobio ništa natrag.
  2. Zahtjev za cijelu sliku. Video se uglavnom šalje kao promjene u odnosu na prethodnu sliku. Program koji ništa ne dekodira ne može sam izraditi cijelu sliku, pa je povremeno traži od pošiljatelja, što drugoj strani omogućuje da počne ili da se oporavi nakon izgubljenog paketa. Medijski poslužitelji rade isto.
  3. Jedan zahtjev čini cijelu razmjenu. Preglednik šalje sve kandidate u svojoj ponudi, a Node.js sve svoje u odgovoru, pa je dovoljan običan POST i ovom programu websocket nije potreban.

Node.js kao sudionik poziva: podatkovni kanal

Podatkovnom kanalu mediji uopće nisu potrebni. Uz node-datachannel (npm install node-datachannel) poslužitelj u nastavku odgovara pregledniku preko kanala koji je neuređen i ništa ne šalje ponovno, kakav igra koristi za položaje, gdje zakašnjela poruka vrijedi manje od sljedeće:

JavaScript
// channel.mjs: isti poslužitelj kao echo.mjs, s ovim umjesto njegova importa i funkcije answer()
import { RTCPeerConnection } from 'node-datachannel/polyfill';

async function answer(offer) {
  const pc = new RTCPeerConnection();

  pc.ondatachannel = ({ channel }) => {
    channel.onmessage = ({ data }) => {
      // Odgovori na svaku poruku odmah, satom poslužitelja.
      const { sent } = JSON.parse(data);
      channel.send(JSON.stringify({ sent, server: Date.now() }));
    };
  };
  pc.onconnectionstatechange = () => {
    if (['failed', 'closed'].includes(pc.connectionState)) pc.close();
  };

  await pc.setRemoteDescription(offer);
  await pc.setLocalDescription(await pc.createAnswer());

  // Pričekaj sve kandidate, kako bi svi otišli u jednom odgovoru.
  await new Promise((resolve) => {
    if (pc.iceGatheringState === 'complete') return resolve();
    pc.onicegatheringstatechange = () => pc.iceGatheringState === 'complete' && resolve();
  });
  return pc.localDescription;
}

Stranica otvara kanal i mjeri svako kružno putovanje:

static/channel.js
const pc = new RTCPeerConnection();

// Neuređeno, nikad ponovno poslano: zakašnjela poruka vrijedi manje od sljedeće.
const channel = pc.createDataChannel('state', { ordered: false, maxRetransmits: 0 });
channel.onopen = () => {
  setInterval(() => channel.send(JSON.stringify({ sent: performance.now() })), 1000);
};
channel.onmessage = ({ data }) => {
  const { sent } = JSON.parse(data);
  document.getElementById('log').textContent += `kružno putovanje ${Math.round(performance.now() - sent)} ms\n`;
};

// Pošalji jednu ponudu sa svim kandidatima, jer poslužitelj odgovara jednom.
await pc.setLocalDescription(await pc.createOffer());
await new Promise((resolve) => {
  if (pc.iceGatheringState === 'complete') return resolve();
  pc.addEventListener('icegatheringstatechange', () => {
    if (pc.iceGatheringState === 'complete') resolve();
  });
});

const response = await fetch('/offer', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify(pc.localDescription),
});
await pc.setRemoteDescription(await response.json());

Njegov static/index.html čine <pre id="log"></pre> i oznaka skripte za /channel.js. Na jednom računalu u Chromiumu svako je kružno putovanje trajalo od 1 do 4 milisekunde. Na pravoj mreži to je vrijeme samog puta, a nijedna poruka ne čeka iza one koja se izgubila, što websocket preko TCP-a ne može obećati.

Na vašem poslužitelju oba programa trebaju ono što treba svakom sudioniku poziva: STUN poslužitelj kako bi saznali svoju javnu adresu i TURN poslužitelj za ljude iza strogih mreža, navedene u new RTCPeerConnection({ iceServers: [...] }) (STUN i TURN poslužitelji, objašnjeni). Stranica mora biti na localhost ili na HTTPS-u da bi se kamera otvorila. Ako se poziv ne spoji, zašto WebRTC veza ne uspijeva prolazi kroz ono što treba provjeriti.

Što vam treba

  • Vaši korisnici zovu jedni druge. Node.js je signalizacijski poslužitelj ili to prepušta usluzi. Preglednici prenose poziv, a vaš poslužitelj odlučuje tko smije zvati koga.
  • Program se pridružuje pozivu. Snimač, bot, test, kamera na malom uređaju: Node.js je sudionik poziva, uz paket koji vam medije predaje u obliku koji trebate, a pokrećete ga na vlastitim poslužiteljima.
  • Vaš poslužitelj razgovara sa svakim preglednikom uz najmanje kašnjenje. Podatkovni kanal prema Node.js sudioniku, za igre i upravljanje uživo, uz websocket ili umjesto njega.

Ista podjela vrijedi i u drugim jezicima: WebRTC u Pythonu ovaj je članak za Python, s aiortc-om kao sudionikom poziva. Većini web aplikacija treba prvo, a posla je manje u releju nego oko njega: zvonjava u svakoj kartici, releji, ponovno spajanje kad telefon promijeni mrežu i grupni pozivi s više od četiri osobe.

Pozivi u Expressu i Node.js-u s WordPlus Cloudom

S paketom @wordplus/realtime aplikacija u Node.js-u uspostavlja pozive između svojih korisnika bez signalizacijskog poslužitelja, releja ili zaslona poziva koje biste morali napisati, i bez vlastitog sudionika poziva koji biste morali pokretati. Vaša aplikacija odlučuje tko smije zvati u vlastitoj ruti, koja odgovara tokenom za poziv. U Expressu:

JavaScript
// server.mjs: GET /call-token?to=34&type=video, koji gumb pita kad ga se pritisne.
app.get('/call-token', async (req, res) => {
  // Ovdje ide vaša vlastita provjera: tko smije zvati koga.
  const me = req.session.userId;
  if (!me) return res.sendStatus(401);
  res.json({ token: await realtime.callToken(me, req.query.to, { type: req.query.type }) });
});

Stranica pokreće zaslon poziva i stavlja gumb ondje odakle ljudi zovu, a on pita vašu rutu:

JavaScript
await rt.callScreen(); // zvonjava i prozor poziva, na svakoj stranici na kojoj poziv može zazvoniti
HTML
<call-button to="34" token-url="/call-token" type="video" name="Ann">Call Ann</call-button>

Poziv zvoni u svakoj kartici i na svakom uređaju koji Ann ima otvoren. Ide izravno između dvaju preglednika kad to njihove mreže dopuštaju, preko naših releja na portovima 443 i 80 kad ne dopuštaju, a preko naših medijskih poslužitelja kad ni releji ne mogu proći, prelazeći s jednog puta na drugi bez prekidanja. Pozivi između dvije osobe šifrirani su s kraja na kraj na svakom putu, a grupni pozivi rade na istim poslužiteljima. Bez tokena iz vaše rute ništa ne počinje, pa to nitko ne može zaobići.

Stranica o pozivima u vodiču za Express pokazuje ostalo: tko smije zvati, grupne pozive s domaćinom i vlastito sučelje poziva. Isti paket radi i u običnom Node.js poslužitelju te uz Fastify ili Hono.

Videopozivi za vašu aplikaciju u Node.js-u

WordPlus Cloud for Apps ima cijenu prema istodobnim vezama, od 1.000 naviše, naplaćuje se mjesečno ili godišnje, a pozivi između dvije osobe ne troše kredite ni na jednom putu. Pogledajte videopozive i grupne pozive za aplikacije ili cijene za aplikacije. Imate pitanja o svojoj integraciji? Pišite nam.