Blog

Videopozivi u JavaScriptu: kako WebRTC spaja dva preglednika

· Andrij Tkachenko · 8 min čitanja

Dva prozora preglednika, svaki s web kamerom i osobom na videu, spojena isprekidanom linijom kroz mali poslužitelj označen vitičastim zagradama koda

Videopoziv u JavaScriptu traži tri stvari: getUserMedia() za kameru i mikrofon, RTCPeerConnection koji prenosi sliku i zvuk između dvaju preglednika te vlastiti signalizacijski kanal, najčešće websocket, preko kojeg jedan drugome šalju ponude i mrežne adrese. Preglednik radi s medijima, a sve oko toga, od pronalaženja druge osobe do prolaska kroz vatrozid, gradite vi.

Ovaj članak prikazuje cijeli video chat s WebRTC-om u manje od sto redaka običnog JavaScripta, isproban u dvije kartice preglednika, objašnjava svaki njegov dio, a zatim prolazi kroz ono što mu prava aplikacija dodaje prije nego što se ljudi mogu na nju osloniti.

Tri dijela WebRTC poziva

Dio Što radi
getUserMedia() Otvara kameru i mikrofon, nakon što preglednik pita
RTCPeerConnection Spaja dva preglednika i prenosi medije, šifrirane
Signalizacija Prenosi ponude, odgovore i adrese između njih, preko vašeg poslužitelja

Prva dva ugrađena su u svaki moderni preglednik. Treći nije, i to namjerno. JavaScript Session Establishment Protocol, koji opisuje kako radi API preglednika, način na koji dva preglednika dolaze jedan do drugoga prepušta aplikaciji. Prije nego što ijedna slika krene, moraju razmijeniti dvije vrste poruka:

  • Opis, ponudu s jedne strane i odgovor s druge, s popisom medija koje će svaka strana slati i načinom na koji su šifrirani.
  • Kandidate, adrese na kojima bi preglednik mogao biti dostupan: vlastitu u lokalnoj mreži, javnu koju vidi STUN poslužitelj i relej na TURN poslužitelju, ako ga ima. Preglednici ih isprobavaju u parovima dok jedan ne proradi (STUN i TURN poslužitelji, objašnjeni).

Video chat u običnom JavaScriptu

Dvije osobe otvore istu stranicu i svaka vidi drugu. Stranici trebaju dva video elementa:

HTML
<video id="me" autoplay playsinline muted></video>
<video id="them" autoplay playsinline></video>
<script type="module" src="/call.js"></script>

Vaš vlastiti video je muted, da ne čujete sami sebe, a to pregledniku omogućuje i da ga pusti prije nego što itko klikne. playsinline ga na iPhoneu zadržava unutar stranice.

Signalizacijski poslužitelj

Najmanji signalizacijski poslužitelj prenosi svaku poruku od jednog preglednika do drugoga. U Node.js-u, s paketom ws:

server.mjs
import { WebSocketServer, WebSocket } from 'ws';

const wss = new WebSocketServer({ port: 8080 });

wss.on('connection', (socket) => {
  socket.on('message', (data) => {
    // Proslijedi je svima ostalima koji su spojeni: ovdje drugoj osobi.
    for (const other of wss.clients) {
      if (other !== socket && other.readyState === WebSocket.OPEN) {
        other.send(data.toString());
      }
    }
  });
});

O pozivima ne zna ništa. Samo prenosi tekst, a signalizacija i nije ništa drugo. Isti relej u nekoliko redaka Pythona i Python program koji se sam pridružuje pozivu nalaze se u članku WebRTC u Pythonu. Pozivu se može pridružiti i Node.js, uz npm paket koji sa sobom donosi API preglednika, kako pokazuje WebRTC u Node.js-u.

Stranica

Oba preglednika izvode isti kod. Svaki otvara svoju kameru, javlja da je tu i dodaje kameru u vezu tek kad je to javila i druga osoba, kako bi prva ponuda nekome stigla. Dio koji odgovara na poruke slijedi MDN-ov obrazac savršenog pregovaranja, koji omogućuje da bilo koja strana započne, čak i obje odjednom:

call.js
const local = await navigator.mediaDevices.getUserMedia({ video: true, audio: true });
document.getElementById('me').srcObject = local;

const signaler = new WebSocket('ws://localhost:8080');
await new Promise((resolve) => signaler.addEventListener('open', resolve, { once: true }));
const send = (message) => signaler.send(JSON.stringify(message));

const pc = new RTCPeerConnection({
  iceServers: [{ urls: 'stun:stun.example.com:3478' }],
});

// Dodaj kameru kad je druga osoba tu.
let started = false;
const start = () => {
  if (started) return;
  started = true;
  for (const track of local.getTracks()) pc.addTrack(track, local);
};

// Jedna strana popušta kad obje ponude u istom trenutku.
const polite = location.hash === '#polite';
let makingOffer = false;
let ignoreOffer = false;
let isSettingRemoteAnswerPending = false;

pc.onnegotiationneeded = async () => {
  try {
    makingOffer = true;
    await pc.setLocalDescription();
    send({ description: pc.localDescription });
  } finally {
    makingOffer = false;
  }
};
pc.onicecandidate = ({ candidate }) => send({ candidate });
pc.ontrack = ({ streams }) => {
  document.getElementById('them').srcObject = streams[0];
};

signaler.onmessage = async ({ data }) => {
  const { here, description, candidate } = JSON.parse(data);
  if (here) {
    if (!started) send({ here: true }); // da počne i druga strana
    start();
  } else if (description) {
    const readyForOffer = !makingOffer
      && (pc.signalingState === 'stable' || isSettingRemoteAnswerPending);
    const offerCollision = description.type === 'offer' && !readyForOffer;
    ignoreOffer = !polite && offerCollision;
    if (ignoreOffer) return;

    isSettingRemoteAnswerPending = description.type === 'answer';
    await pc.setRemoteDescription(description);
    isSettingRemoteAnswerPending = false;
    if (description.type === 'offer') {
      await pc.setLocalDescription();
      send({ description: pc.localDescription });
    }
  } else if (candidate) {
    try {
      await pc.addIceCandidate(candidate);
    } catch (error) {
      if (!ignoreOffer) throw error;
    }
  }
};

send({ here: true });

Pokrenite poslužitelj, poslužite stranicu s localhost, otvorite je u jednoj kartici, a kao /#polite u drugoj, bilo kojim redom. Svaka kartica traži kameru, a zatim svaka prikazuje drugu. Na vašem poslužitelju stranica je na HTTPS-u, pa adresa websocketa postaje wss:// s certifikatom, a stun.example.com označava STUN poslužitelj koji smijete koristiti.

Što se događa, redom:

  1. Kamera se otvara. getUserMedia() najprije pita osobu. MDN navodi da radi samo u sigurnom kontekstu, na stranici s HTTPS-om ili na localhost, i da se odbijanje vraća kao NotAllowedError. Kad kamera ostane crna, naš vodič za kameru koja ne radi prolazi kroz svaki uzrok.
  2. Njih dvoje pronalaze jedno drugo. Svaka stranica pri spajanju javi here. Prva ne čuje nikoga, a kad stigne druga, prva je čuje i odgovori, pa obje znaju da je druga tu.
  3. Dodavanje tragova traži pregovaranje. Veza pokreće negotiationneeded, a setLocalDescription() bez argumenta izrađuje ponudu, koja odlazi kroz websocket.
  4. Druga strana odgovara. Postavlja ponudu kao svoj udaljeni opis, na isti način izrađuje odgovor i šalje ga natrag.
  5. Obje strane prikupljaju kandidate i šalju svakoga čim ga pronađu. Preglednici međusobno isprobavaju parove adresa i zadržavaju jedan koji radi, najprije izravne.
  6. Mediji teku. ontrack se pokreće na svakoj strani i pojavljuje se druga osoba. Na svom su putu mediji uvijek šifrirani, jer to WebRTC zahtijeva (RFC 8827). Zatražite samo { audio: true } i isti kod uspostavlja glasovni poziv, koji glasovni pozivi i audio sobe mjere i objašnjavaju.

Budući da obje kartice dodaju kameru otprilike u istom trenutku, obje mogu poslati ponudu. To je sudar koji obrazac razrješava: pristojna strana odbacuje vlastitu ponudu i odgovara na drugu, a nepristojna zanemaruje ponudu koja se mimoišla s njezinom.

Bez 2. koraka prva bi kartica poslala ponudu dok je sama, poslužitelj tu ponudu ne bi imao kome proslijediti i poziv nikad ne bi počeo. Ponuda koju nitko ne čuje čest je razlog zbog kojeg prvi WebRTC demo prikazuje dva crna okvira.

Što demo izostavlja

Demo radi između dvije kartice na jednoj mreži. Aplikaciji treba više prije nego što se njezini korisnici mogu na nju osloniti.

  • Tko smije zvati koga. Gornji poslužitelj prenosi bilo koju poruku bilo kome. Pravi poslužitelj provjerava tko je prijavljen i smije li zvati tu osobu, prije nego što ikome zazvoni.
  • Zvonjava. Pozvana osoba mora je čuti na bilo kojoj stranici na kojoj se nalazi, u svakoj kartici, i prestati je čuti svugdje čim se javi u jednoj. Za to svaki korisnik treba otvorenu vezu, cijelo vrijeme dok je na stranici (websocketi s više poslužitelja pokazuju što to traži kad ih imate više od jednog).
  • Releji. STUN poslužitelj pronalazi javne adrese, a to iza mnogih uredskih vatrozida i na mobilnim mrežama nije dovoljno. Takvim pozivima treba TURN poslužitelj, s prijavama koje istječu, na portovima koje takve mreže ostavljaju otvorenima (portovi koje poziv treba).
  • Ponovno spajanje. Telefon koji prelazi s Wi-Fija na mobilne podatke gubi svoj put. Pratite connectionState i pozovite pc.restartIce() kad ne uspije, kako bi preglednici potražili novi par adresa bez prekidanja poziva.
  • Više od dvije osobe. U ovakvom postavu svaka osoba šalje svoj video svakoj drugoj. To izdrži za troje ili četvero, a zatim slanje više ne ide, pa zato grupni pozivi idu preko medijskih poslužitelja (kako rade grupni videopozivi).
  • Pogreške koje ljudi vide. Odbijena kamera, mikrofon kojeg nema, poziv na koji se nitko ne javlja. Zašto WebRTC veza ne uspijeva prolazi kroz ono što treba provjeriti s obiju strana.

Svaka od ovih stvari može se izgraditi na istom API-ju, i to je posao iza većine proizvoda za video chat. Drugi je put veze, zvonjavu i releje prepustiti usluzi, a na svom poslužitelju zadržati jedini dio koji se uistinu tiče vaše aplikacije: tko smije zvati koga. Kako odabrati API za videopozive navodi pitanja koja joj treba postaviti.

Isti poziv s WordPlus Cloudom

Sa SDK-om WordPlus Clouda stranica u običnom JavaScriptu uspostavlja pozive bez signalizacijskog poslužitelja, releja ili zaslona poziva koje biste morali napisati. Vaš poslužitelj određuje tko smije zvati, kao pravilo za svaki poziv čiji naziv odgovara uzorku. Ovdje je poziv podrške poput support:34:42 namijenjen dvjema osobama iz njegova naziva:

JavaScript
// server.mjs, s realtime iz createRealtime() paketa @wordplus/realtime/server
realtime.calls('support:{a}:{b}', async (user, withUser, { a, b }) => {
  const pair = [a, b];
  return pair.includes(String(user)) && pair.includes(String(withUser));
});

Stranica se spaja s postavkama koje joj je vaš poslužitelj upisao, pokreće zaslon poziva i stavlja gumb ondje odakle ljudi zovu:

JavaScript
import { connect } from '@wordplus/realtime';

const rt = await connect(JSON.parse(document.getElementById('realtime').textContent));
await rt.callScreen(); // zvonjava i prozor poziva, na ovoj stranici
HTML
<call-button to="34" call="support:{pair}" type="video" name="Ann">Call Ann</call-button>

Poziv zvoni u svakoj kartici i na svakom uređaju koji Ann ima otvoren. Ide izravno između dvaju preglednika kad to njihove mreže dopuštaju, preko naših releja na portovima 443 i 80 kad ne dopuštaju, a preko naših medijskih poslužitelja kad ni releji ne mogu proći, prelazeći s jednog puta na drugi bez prekidanja. Pozivi između dvije osobe šifrirani su s kraja na kraj na svakom putu. Za vlastiti zaslon rt.calls() daje vam iste pozive bez gotovih dijelova, calls.start() za uspostavu poziva i događaj incoming za javljanje.

Pozivi u našoj dokumentaciji pokazuju svaki način uspostave poziva, od gumba do vlastitog sučelja, a vodič za videopozive u Next.js-u ugrađuje ih u cijelu aplikaciju.

Videopozivi za vašu aplikaciju

WordPlus Cloud for Apps ima cijenu prema istodobnim vezama, od 1.000 naviše, naplaćuje se mjesečno ili godišnje, a pozivi između dvije osobe ne troše kredite ni na jednom putu. Pogledajte videopozive i grupne pozive za aplikacije ili cijene za aplikacije. Imate pitanja o svojoj integraciji? Pišite nam.