Blog

Rozmowy głosowe i pokoje audio w aplikacji webowej: jak działają

· Andrij Tkachenko · 7 min czytania

Dwa okna przeglądarki połączone przerywaną linią z falami dźwięku, obok okrągła sala z miejscami, w której dwie osoby mówią do mikrofonów, a pozostałe słuchają

Rozmowa głosowa w aplikacji webowej to rozmowa WebRTC ze ścieżką mikrofonu i bez kamery: to samo połączenie co w rozmowie wideo, przenoszące kilkadziesiąt kilobitów na sekundę zamiast setek. Pokój audio to rozmowa grupowa, w której kilka osób mówi, a wszyscy pozostali słuchają, i do tego potrzebny jest serwer mediów oraz reguła na Twoim serwerze określająca, kto może mówić.

Jedno i drugie to rozmowy między użytkownikami Twojej aplikacji, po ich kontach, przez internet. Nie ma w nich numerów telefonów ani sieci telefonicznej. Ten wpis pokazuje, co wysyła rozmowa głosowa, zmierzone w Chromium, jakiego kodu w przeglądarce wymaga, czym pokój audio różni się od rozmowy we dwoje i jak aplikacja dodaje jedno i drugie bez budowania warstwy mediów.

Rozmowa głosowa to rozmowa wideo bez kamery

Każda przeglądarka obsługująca WebRTC musi wspierać dwa kodeki audio: Opus oraz G.711 jako PCMA i PCMU dla starszych systemów telefonicznych (RFC 7874). Gdy obie strony to potrafią, pierwszeństwo ma Opus. Opus obejmuje wszystko od 6 kbit/s dla mowy wąskopasmowej do 510 kbit/s dla muzyki stereo, a jego własna specyfikacja podaje 16 do 20 kbit/s jako optymalny zakres dla mowy szerokopasmowej (RFC 6716).

Wykonaliśmy rozmowę tylko z dźwiękiem między dwoma połączeniami w Chromium 156, z jego wirtualnym mikrofonem, i odczytaliśmy, co zgłaszał nadawca:

Co odczytano Głos Wideo
Kodek Opus, 48 kHz, mono VP8
Dźwięk lub obraz około 21 kbit/s blisko 480 kbit/s
Nagłówki RTP około 12 kbit/s

Rozmowa głosowa wysyłała 50 pakietów na sekundę, po jednym na każde 20 milisekund dźwięku, a nagłówki tych pakietów dawały ponad połowę tego, co sam dźwięk w nich. IP i UDP dokładają jeszcze więcej w sieci. Rozmowa wideo, obraz 640 na 480 z wirtualnej kamery, była blisko 480 kbit/s po 20 sekundach i wciąż rosła, w miarę jak przeglądarka znajdowała więcej miejsca, więc ta liczba mówi więcej o początku rozmowy niż o jej dalszej części.

Rozmowa głosowa przenosi więc znacznie mniej bitów niż rozmowa wideo i dlatego wytrzymuje słabą sieć komórkową, w której wideo się zacina. Cała reszta jest taka sama: oferta i odpowiedź, adresy obu stron i przekaźnik dla sieci, które blokują bezpośrednią drogę.

Kod w przeglądarce

Rozmowa głosowa prosi tylko o mikrofon i odtwarza to, co przychodzi, w elemencie <audio>:

JavaScript
// call.js: mikrofon, z usuwaniem echa, tłumieniem szumu i kontrolą poziomu przeglądarki
const stream = await navigator.mediaDevices.getUserMedia({
  audio: { echoCancellation: true, noiseSuppression: true, autoGainControl: true },
});

const pc = new RTCPeerConnection({ iceServers: [{ urls: 'stun:stun.example.com:3478' }] });
pc.addTrack(stream.getAudioTracks()[0], stream);

pc.ontrack = ({ streams }) => {
  const audio = document.getElementById('them');
  audio.srcObject = streams[0];
  // Przeglądarka odtwarza dźwięk dopiero, gdy osoba kliknie albo coś wpisze na stronie.
  audio.play().catch(() => showTurnSoundOn());
};

// Wyciszenie: ścieżka działa dalej, a druga strona słyszy ciszę.
document.getElementById('mute').onclick = () => {
  const track = stream.getAudioTracks()[0];
  track.enabled = !track.enabled;
};
HTML
<audio id="them" autoplay></audio>
<button id="mute">Mute</button>

Oferta, odpowiedź i kandydaci przechodzą przez serwer sygnalizacji, dokładnie tak jak przy wideo: jak WebRTC łączy dwie przeglądarki pokazuje ten przekaźnik, kilka linijek w Node.js, i stronę wokół niego. Trzy rzeczy mają większe znaczenie w rozmowie głosowej niż w wideo:

  1. Echo. Bez słuchawek głośnik laptopa odtwarza drugą osobę prosto do własnego mikrofonu. RFC 7874 wymaga od każdego punktu końcowego WebRTC usuwania tego echa, a Chromium miał domyślnie włączone wszystkie trzy powyższe opcje, gdy odczytaliśmy track.getSettings() przy zwykłym { audio: true }. Mimo to poproś o nie i zostaw je włączone, chyba że aplikacja odtwarza muzykę.
  2. Dźwięk, który się nie zaczyna. Przeglądarki wstrzymują dźwięk, dopóki osoba nie skorzysta ze strony. Rozmowa odebrana kliknięciem jest w porządku. Rozmowa, do której ktoś dołącza z linku otwartego w nowej karcie, może połączyć się w ciszy, więc daj stronie przycisk, który włącza dźwięk, gdy play() odmawia.
  3. Wyciszenie bez rozłączania. Wyłączenie track.enabled wysyła ciszę i zachowuje połączenie, więc ponowne włączenie jest natychmiastowe i o nic nie pyta. Zatrzymanie ścieżki oznaczałoby ponowną prośbę o mikrofon.

Jeśli problemem jest sam mikrofon, test mikrofonu ustala, która część zawodzi, w przeglądarce, przed jakąkolwiek rozmową.

Pokój audio to rozmowa grupowa ze słuchaczami

Rozmowa między dwiema osobami idzie z jednej przeglądarki do drugiej. Pokój na dwadzieścia osób nie może tak działać: w siatce każdy mówca wysyła kopię swojego głosu do każdej innej osoby, więc wysyłanie rośnie z każdym, kto dołącza. Rozmowy grupowe wysyłają każdy głos raz do serwera mediów, który przekazuje go wszystkim pozostałym (jak działają grupowe rozmowy wideo).

Pokój audio dodaje do tego role:

Rozmowa we dwoje Pokój audio
Kto mówi oboje mówcy, kilka osób
Droga dźwięku z przeglądarki do przeglądarki przez serwer mediów
Kto decyduje te dwie osoby prowadzący i Twój serwer

Słuchacze nie wysyłają niczego. Odbierają głosy mówców, każdy przekazany przez serwer, a ich mikrofony pozostają zamknięte. Słuchacz podnosi rękę, prowadzący daje mu głos, a później znów robi z niego słuchacza.

Ta ostatnia część musi być rozstrzygana na serwerze. Przycisk, który tylko ukrywa mikrofon na stronie, nie jest żadną regułą: każdy może otworzyć konsolę przeglądarki i mimo to wysłać dźwięk. Serwer mediów musi odrzucać to, co wysyła słuchacz, i odbierać to prawo komuś, kto przestaje być mówcą, na podstawie dowodu, który może wydać tylko Twój serwer.

Co nadal obowiązuje

Rezygnacja z kamery oszczędza przepustowość i nic poza tym. Rozmowa głosowa wciąż potrzebuje:

  • STUN i TURN. Niektóre sieci blokują bezpośrednią drogę między dwoma urządzeniami, dla głosu tak samo jak dla wideo. Przekaźnik na porcie 443 przeprowadza takie rozmowy (Serwery STUN i TURN).
  • Dzwonka. Osoba, do której ktoś dzwoni, musi go usłyszeć w tej karcie albo na tym urządzeniu, które ma otwarte, i przestać go słyszeć w pozostałych, gdy odbierze.
  • Połączenia, które przetrwa zmianę sieci. Telefon, który przechodzi z Wi-Fi na dane komórkowe, traci drogę, którą szła rozmowa, więc rozmowa musi znaleźć nową bez rozłączania.

Rozmowy głosowe i pokoje audio z WordPlus Cloud

Z pakietem @wordplus/realtime rozmowa głosowa to rozmowa wideo z type: 'audio'. Twoja aplikacja decyduje, kto może dzwonić do kogo, we własnej trasie, która zwraca token rozmowy. W Expressie:

JavaScript
// server.mjs: GET /call-token?to=34&type=audio, o który pyta przycisk w chwili naciśnięcia.
app.get('/call-token', async (req, res) => {
  // Tutaj Twoje własne sprawdzenie: kto może dzwonić do kogo.
  const me = req.session.userId;
  if (!me) return res.sendStatus(401);
  res.json({ token: await realtime.callToken(me, req.query.to, { type: req.query.type }) });
});
JavaScript
await rt.callScreen(); // dzwonek i okno rozmowy, na każdej stronie, na której może zadzwonić rozmowa
HTML
<call-button to="34" token-url="/call-token" type="audio" name="Ann">Call Ann</call-button>

Rozmowa dzwoni w każdej karcie i na każdym urządzeniu, które Ann ma otwarte. Idzie bezpośrednio między dwiema przeglądarkami, gdy pozwalają na to ich sieci, przez nasze przekaźniki na portach 443 i 80, gdy nie pozwalają, i przez nasze serwery mediów, gdy nawet przekaźniki nie mogą dotrzeć, przechodząc z jednej drogi na drugą bez rozłączania. Rozmowy między dwiema osobami są szyfrowane end-to-end na każdej drodze i nie zużywają kredytów na żadnej z nich.

Pokój audio to rozmowa grupowa, której tokeny mówią type: 'audio', z publish: false dla słuchaczy. Tutaj prowadzący pokoju 7 mówi i nim kieruje, a pozostali słuchają, dopóki nie dostaną głosu:

JavaScript
// GET /room-token?id=7, o który pyta <group-call-button call="room:7" token-url="/room-token?id=7" type="audio">.
app.get('/room-token', async (req, res) => {
  const me = req.session.userId;
  if (!me) return res.sendStatus(401);
  const host = await isHostOf(req.query.id, me); // Twoja funkcja, z Twoich danych
  res.json({
    token: await realtime.groupCallToken(me, `room:${req.query.id}`, {
      type: 'audio',
      admin: host,
      publish: host || (await maySpeak(req.query.id, me)),
    }),
  });
});

// Prowadzący daje komuś głos albo znów robi z niego słuchacza, w trakcie trwania pokoju.
await realtime.call('room:7').permit(34, { publish: true });

Ekran rozmowy daje prowadzącemu przy każdej osobie Promote to Speaker i Demote to Viewer, a serwery mediów odrzucają dźwięk od każdego, kogo Twój token albo permit() uczynił słuchaczem. Rozmowa grupowa jest szyfrowana end-to-end, gdy jej tokeny mówią encrypt: true. W rozmowach grupowych pewna liczba osób jednocześnie na wideo nie zużywa kredytów w ramach Twojego planu, przy czym osoba na audio liczy się za pół, a każda ponad tę liczbę zużywa kredyt na minutę, na audio połowę (limity). Ile wychodzi miesiąc rozmów: jak oszacować koszt rozmów wideo.

Zajęcia, webinary i pokoje audio pokazują podnoszenie rąk i własny przycisk dający głos w Node, PHP i Pythonie, a strona o rozmowach w przewodniku dla Expressa resztę: kto może dzwonić, własny interfejs rozmowy i rozmowy w czacie.

Rozmowy głosowe dla Twojej aplikacji

WordPlus Cloud for Apps ma cenę według jednoczesnych połączeń, od 1000 wzwyż, rozliczaną miesięcznie lub rocznie, a rozmowy między dwiema osobami nie zużywają kredytów na żadnej drodze. Zobacz rozmowy wideo i rozmowy grupowe dla aplikacji albo cennik dla aplikacji. Masz pytania o swoją integrację? Napisz do nas.