Rozmowy głosowe i pokoje audio w aplikacji webowej: jak działają

Rozmowa głosowa w aplikacji webowej to rozmowa WebRTC ze ścieżką mikrofonu i bez kamery: to samo połączenie co w rozmowie wideo, przenoszące kilkadziesiąt kilobitów na sekundę zamiast setek. Pokój audio to rozmowa grupowa, w której kilka osób mówi, a wszyscy pozostali słuchają, i do tego potrzebny jest serwer mediów oraz reguła na Twoim serwerze określająca, kto może mówić.
Jedno i drugie to rozmowy między użytkownikami Twojej aplikacji, po ich kontach, przez internet. Nie ma w nich numerów telefonów ani sieci telefonicznej. Ten wpis pokazuje, co wysyła rozmowa głosowa, zmierzone w Chromium, jakiego kodu w przeglądarce wymaga, czym pokój audio różni się od rozmowy we dwoje i jak aplikacja dodaje jedno i drugie bez budowania warstwy mediów.
Rozmowa głosowa to rozmowa wideo bez kamery
Każda przeglądarka obsługująca WebRTC musi wspierać dwa kodeki audio: Opus oraz G.711 jako PCMA i PCMU dla starszych systemów telefonicznych (RFC 7874). Gdy obie strony to potrafią, pierwszeństwo ma Opus. Opus obejmuje wszystko od 6 kbit/s dla mowy wąskopasmowej do 510 kbit/s dla muzyki stereo, a jego własna specyfikacja podaje 16 do 20 kbit/s jako optymalny zakres dla mowy szerokopasmowej (RFC 6716).
Wykonaliśmy rozmowę tylko z dźwiękiem między dwoma połączeniami w Chromium 156, z jego wirtualnym mikrofonem, i odczytaliśmy, co zgłaszał nadawca:
| Co odczytano | Głos | Wideo |
|---|---|---|
| Kodek | Opus, 48 kHz, mono | VP8 |
| Dźwięk lub obraz | około 21 kbit/s | blisko 480 kbit/s |
| Nagłówki RTP | około 12 kbit/s |
Rozmowa głosowa wysyłała 50 pakietów na sekundę, po jednym na każde 20 milisekund dźwięku, a nagłówki tych pakietów dawały ponad połowę tego, co sam dźwięk w nich. IP i UDP dokładają jeszcze więcej w sieci. Rozmowa wideo, obraz 640 na 480 z wirtualnej kamery, była blisko 480 kbit/s po 20 sekundach i wciąż rosła, w miarę jak przeglądarka znajdowała więcej miejsca, więc ta liczba mówi więcej o początku rozmowy niż o jej dalszej części.
Rozmowa głosowa przenosi więc znacznie mniej bitów niż rozmowa wideo i dlatego wytrzymuje słabą sieć komórkową, w której wideo się zacina. Cała reszta jest taka sama: oferta i odpowiedź, adresy obu stron i przekaźnik dla sieci, które blokują bezpośrednią drogę.
Kod w przeglądarce
Rozmowa głosowa prosi tylko o mikrofon i odtwarza to, co przychodzi, w elemencie <audio>:
// call.js: mikrofon, z usuwaniem echa, tłumieniem szumu i kontrolą poziomu przeglądarki
const stream = await navigator.mediaDevices.getUserMedia({
audio: { echoCancellation: true, noiseSuppression: true, autoGainControl: true },
});
const pc = new RTCPeerConnection({ iceServers: [{ urls: 'stun:stun.example.com:3478' }] });
pc.addTrack(stream.getAudioTracks()[0], stream);
pc.ontrack = ({ streams }) => {
const audio = document.getElementById('them');
audio.srcObject = streams[0];
// Przeglądarka odtwarza dźwięk dopiero, gdy osoba kliknie albo coś wpisze na stronie.
audio.play().catch(() => showTurnSoundOn());
};
// Wyciszenie: ścieżka działa dalej, a druga strona słyszy ciszę.
document.getElementById('mute').onclick = () => {
const track = stream.getAudioTracks()[0];
track.enabled = !track.enabled;
};<audio id="them" autoplay></audio>
<button id="mute">Mute</button>Oferta, odpowiedź i kandydaci przechodzą przez serwer sygnalizacji, dokładnie tak jak przy wideo: jak WebRTC łączy dwie przeglądarki pokazuje ten przekaźnik, kilka linijek w Node.js, i stronę wokół niego. Trzy rzeczy mają większe znaczenie w rozmowie głosowej niż w wideo:
- Echo. Bez słuchawek głośnik laptopa odtwarza drugą osobę prosto do własnego mikrofonu. RFC 7874 wymaga od każdego punktu końcowego WebRTC usuwania tego echa, a Chromium miał domyślnie włączone wszystkie trzy powyższe opcje, gdy odczytaliśmy
track.getSettings()przy zwykłym{ audio: true }. Mimo to poproś o nie i zostaw je włączone, chyba że aplikacja odtwarza muzykę. - Dźwięk, który się nie zaczyna. Przeglądarki wstrzymują dźwięk, dopóki osoba nie skorzysta ze strony. Rozmowa odebrana kliknięciem jest w porządku. Rozmowa, do której ktoś dołącza z linku otwartego w nowej karcie, może połączyć się w ciszy, więc daj stronie przycisk, który włącza dźwięk, gdy
play()odmawia. - Wyciszenie bez rozłączania. Wyłączenie
track.enabledwysyła ciszę i zachowuje połączenie, więc ponowne włączenie jest natychmiastowe i o nic nie pyta. Zatrzymanie ścieżki oznaczałoby ponowną prośbę o mikrofon.
Jeśli problemem jest sam mikrofon, test mikrofonu ustala, która część zawodzi, w przeglądarce, przed jakąkolwiek rozmową.
Pokój audio to rozmowa grupowa ze słuchaczami
Rozmowa między dwiema osobami idzie z jednej przeglądarki do drugiej. Pokój na dwadzieścia osób nie może tak działać: w siatce każdy mówca wysyła kopię swojego głosu do każdej innej osoby, więc wysyłanie rośnie z każdym, kto dołącza. Rozmowy grupowe wysyłają każdy głos raz do serwera mediów, który przekazuje go wszystkim pozostałym (jak działają grupowe rozmowy wideo).
Pokój audio dodaje do tego role:
| Rozmowa we dwoje | Pokój audio | |
|---|---|---|
| Kto mówi | oboje | mówcy, kilka osób |
| Droga dźwięku | z przeglądarki do przeglądarki | przez serwer mediów |
| Kto decyduje | te dwie osoby | prowadzący i Twój serwer |
Słuchacze nie wysyłają niczego. Odbierają głosy mówców, każdy przekazany przez serwer, a ich mikrofony pozostają zamknięte. Słuchacz podnosi rękę, prowadzący daje mu głos, a później znów robi z niego słuchacza.
Ta ostatnia część musi być rozstrzygana na serwerze. Przycisk, który tylko ukrywa mikrofon na stronie, nie jest żadną regułą: każdy może otworzyć konsolę przeglądarki i mimo to wysłać dźwięk. Serwer mediów musi odrzucać to, co wysyła słuchacz, i odbierać to prawo komuś, kto przestaje być mówcą, na podstawie dowodu, który może wydać tylko Twój serwer.
Co nadal obowiązuje
Rezygnacja z kamery oszczędza przepustowość i nic poza tym. Rozmowa głosowa wciąż potrzebuje:
- STUN i TURN. Niektóre sieci blokują bezpośrednią drogę między dwoma urządzeniami, dla głosu tak samo jak dla wideo. Przekaźnik na porcie 443 przeprowadza takie rozmowy (Serwery STUN i TURN).
- Dzwonka. Osoba, do której ktoś dzwoni, musi go usłyszeć w tej karcie albo na tym urządzeniu, które ma otwarte, i przestać go słyszeć w pozostałych, gdy odbierze.
- Połączenia, które przetrwa zmianę sieci. Telefon, który przechodzi z Wi-Fi na dane komórkowe, traci drogę, którą szła rozmowa, więc rozmowa musi znaleźć nową bez rozłączania.
Rozmowy głosowe i pokoje audio z WordPlus Cloud
Z pakietem @wordplus/realtime rozmowa głosowa to rozmowa wideo z type: 'audio'. Twoja aplikacja decyduje, kto może dzwonić do kogo, we własnej trasie, która zwraca token rozmowy. W Expressie:
// server.mjs: GET /call-token?to=34&type=audio, o który pyta przycisk w chwili naciśnięcia.
app.get('/call-token', async (req, res) => {
// Tutaj Twoje własne sprawdzenie: kto może dzwonić do kogo.
const me = req.session.userId;
if (!me) return res.sendStatus(401);
res.json({ token: await realtime.callToken(me, req.query.to, { type: req.query.type }) });
});await rt.callScreen(); // dzwonek i okno rozmowy, na każdej stronie, na której może zadzwonić rozmowa<call-button to="34" token-url="/call-token" type="audio" name="Ann">Call Ann</call-button>Rozmowa dzwoni w każdej karcie i na każdym urządzeniu, które Ann ma otwarte. Idzie bezpośrednio między dwiema przeglądarkami, gdy pozwalają na to ich sieci, przez nasze przekaźniki na portach 443 i 80, gdy nie pozwalają, i przez nasze serwery mediów, gdy nawet przekaźniki nie mogą dotrzeć, przechodząc z jednej drogi na drugą bez rozłączania. Rozmowy między dwiema osobami są szyfrowane end-to-end na każdej drodze i nie zużywają kredytów na żadnej z nich.
Pokój audio to rozmowa grupowa, której tokeny mówią type: 'audio', z publish: false dla słuchaczy. Tutaj prowadzący pokoju 7 mówi i nim kieruje, a pozostali słuchają, dopóki nie dostaną głosu:
// GET /room-token?id=7, o który pyta <group-call-button call="room:7" token-url="/room-token?id=7" type="audio">.
app.get('/room-token', async (req, res) => {
const me = req.session.userId;
if (!me) return res.sendStatus(401);
const host = await isHostOf(req.query.id, me); // Twoja funkcja, z Twoich danych
res.json({
token: await realtime.groupCallToken(me, `room:${req.query.id}`, {
type: 'audio',
admin: host,
publish: host || (await maySpeak(req.query.id, me)),
}),
});
});
// Prowadzący daje komuś głos albo znów robi z niego słuchacza, w trakcie trwania pokoju.
await realtime.call('room:7').permit(34, { publish: true });Ekran rozmowy daje prowadzącemu przy każdej osobie Promote to Speaker i Demote to Viewer, a serwery mediów odrzucają dźwięk od każdego, kogo Twój token albo permit() uczynił słuchaczem. Rozmowa grupowa jest szyfrowana end-to-end, gdy jej tokeny mówią encrypt: true. W rozmowach grupowych pewna liczba osób jednocześnie na wideo nie zużywa kredytów w ramach Twojego planu, przy czym osoba na audio liczy się za pół, a każda ponad tę liczbę zużywa kredyt na minutę, na audio połowę (limity). Ile wychodzi miesiąc rozmów: jak oszacować koszt rozmów wideo.
Zajęcia, webinary i pokoje audio pokazują podnoszenie rąk i własny przycisk dający głos w Node, PHP i Pythonie, a strona o rozmowach w przewodniku dla Expressa resztę: kto może dzwonić, własny interfejs rozmowy i rozmowy w czacie.
Rozmowy głosowe dla Twojej aplikacji
WordPlus Cloud for Apps ma cenę według jednoczesnych połączeń, od 1000 wzwyż, rozliczaną miesięcznie lub rocznie, a rozmowy między dwiema osobami nie zużywają kredytów na żadnej drodze. Zobacz rozmowy wideo i rozmowy grupowe dla aplikacji albo cennik dla aplikacji. Masz pytania o swoją integrację? Napisz do nas.