Blog

WebRTC u Pythonu: što Python radi u videopozivu

· Andrij Tkachenko · 7 min čitanja

Poslužitelj označen logotipom Pythona između dva prozora preglednika, u svakome osoba na videu, spojeni isprekidanim linijama, a duž jedne putuje filmski kadar

Python u WebRTC pozivu sudjeluje na jedan od dva načina. Najčešće je poslužitelj iza poziva: prenosi ponude i mrežne adrese između dvaju preglednika i odlučuje tko smije zvati koga, dok preglednici prenose sliku i zvuk. Rjeđe je i sam sudionik poziva, uz biblioteku aiortc, pa iz Python procesa šalje i prima video i zvuk, kako bi snimio poziv, pokrenuo bota u njemu ili obradio svaku sliku.

Ovaj članak pokazuje oboje, svaki način kao kratak program isproban u Chromiumu, objašnjava kada koji odgovara, a zatim pokazuje kako aplikacija u Djangu, FastAPI-ju ili Flasku dodaje pozive između svojih korisnika bez ijednog od njih.

Dvije uloge koje Python može imati u pozivu

Uloga Tko prenosi medije Što treba Pythonu
Signalizacijski poslužitelj Dva preglednika Biblioteka za websockete
Sudionik poziva Sam Python aiortc

U prvoj ulozi Python ne vidi ni jednu sliku. Poziv ide od preglednika do preglednika, a Python im samo pomaže da pronađu jedan drugoga. Upravo to treba video chatu između korisnika web aplikacije, i jednako je u kojem god jeziku poslužitelj bio napisan (kako WebRTC spaja dva preglednika u cijelosti pokazuje stranu preglednika).

U drugoj ulozi Python je jedan kraj poziva. Odgovara na ponudu preglednika, dekodira ono što stiže i kodira ono što šalje. To je za programe kojima trebaju sami mediji.

Python kao signalizacijski poslužitelj

Prije nego što ijedna slika krene, dva preglednika moraju razmijeniti ponudu, odgovor i popis adresa na kojima bi svaki mogao biti dostupan, takozvane kandidate. WebRTC način na koji dolaze jedan do drugoga prepušta aplikaciji (to kaže i RFC 9429, koji opisuje API preglednika). Najmanji signalizacijski poslužitelj prenosi svaku poruku od jednog preglednika do drugoga. S paketom websockets (pip install websockets):

signaling.py
import asyncio
from websockets.asyncio.server import serve

clients = set()

async def relay(websocket):
    clients.add(websocket)
    try:
        async for message in websocket:
            # Proslijedi je svima ostalima koji su spojeni: ovdje drugoj osobi.
            for other in clients - {websocket}:
                await other.send(message)
    finally:
        clients.discard(websocket)

async def main():
    async with serve(relay, "localhost", 8080) as server:
        await server.serve_forever()

asyncio.run(main())

O pozivima ne zna ništa i samo prenosi tekst. Pokrenuli smo ga sa stranicom iz našeg članka o videopozivima u JavaScriptu, bez ikakvih izmjena, u dvije kartice Chromiuma s lažnim kamerama, obama redoslijedima, i svaka je kartica prikazala drugu. Ostalo radi stranica: otvara kameru, izrađuje ponudu i odgovara te razrješava koja strana popušta kad obje ponude u istom trenutku.

Ono što prava aplikacija dodaje isto je kao na bilo kojem stacku. Gornji relej prenosi bilo koju poruku bilo kome, pa pravi provjerava tko je prijavljen i smije li zvati tu osobu. Pozvana osoba mora čuti zvonjavu u svakoj kartici koju ima otvorenu, a za to svaki korisnik treba vezu koja ostaje otvorena (websocketi u Pythonu objašnjavaju zašto je Django i Flask na WSGI-ju ne mogu držati). A pozivima iza strogih vatrozida treba TURN relej (STUN i TURN poslužitelji, objašnjeni).

Python kao sudionik poziva, uz aiortc

aiortc implementira WebRTC u Pythonu na asynciju, s API-jem koji slijedi onaj u pregledniku, s korutinama umjesto promisea. Njegov README navodi zvuk u Opusu, PCMU-u i PCMA-i, video u VP8 i H.264 te podatkovne kanale, isprobane s Chromeom i Firefoxom. Verzija 1.16 traži Python 3.11 ili noviji.

Program u nastavku odgovara pregledniku i vraća mu njegov video, nakon što Python primi svaku sliku. Za jedini zahtjev koji razmjena treba koristi aiohttp (pip install aiortc aiohttp):

peer.py
import asyncio
from aiohttp import web
from aiortc import RTCPeerConnection, RTCSessionDescription, MediaStreamTrack

peers = set()

class Mirror(MediaStreamTrack):
    """Vraća svaku sliku koju primi, nakon što ju je Python vidio."""
    kind = "video"

    def __init__(self, source):
        super().__init__()
        self.source = source

    async def recv(self):
        frame = await self.source.recv()   # av.VideoFrame, dekodiran
        # frame.to_ndarray(format="bgr24") daje piksele, za NumPy ili OpenCV.
        return frame

async def offer(request):
    params = await request.json()
    pc = RTCPeerConnection()
    peers.add(pc)

    @pc.on("track")
    def on_track(track):
        if track.kind == "video":
            pc.addTrack(Mirror(track))

    @pc.on("connectionstatechange")
    async def on_state():
        if pc.connectionState in ("failed", "closed"):
            await pc.close()
            peers.discard(pc)

    await pc.setRemoteDescription(RTCSessionDescription(sdp=params["sdp"], type=params["type"]))
    await pc.setLocalDescription(await pc.createAnswer())   # najprije prikupi sve kandidate
    return web.json_response({"sdp": pc.localDescription.sdp, "type": pc.localDescription.type})

async def close_all(app):
    await asyncio.gather(*(pc.close() for pc in peers))

app = web.Application()
app.router.add_post("/offer", offer)
app.router.add_static("/", "static")
app.on_shutdown.append(close_all)
web.run_app(app, host="localhost", port=8081)

Stranica ide u static/index.html, s dva video elementa i skriptom:

HTML
<video id="me" autoplay playsinline muted></video>
<video id="back" autoplay playsinline></video>
<script type="module" src="/mirror.js"></script>
static/mirror.js
const local = await navigator.mediaDevices.getUserMedia({ video: true });
document.getElementById('me').srcObject = local;

const pc = new RTCPeerConnection();
pc.addTrack(local.getVideoTracks()[0], local);
pc.ontrack = ({ track }) => {
  document.getElementById('back').srcObject = new MediaStream([track]);
};

// Python strana prima jednu ponudu sa svim kandidatima, pa pričekaj da se svi prikupe.
await pc.setLocalDescription(await pc.createOffer());
await new Promise((resolve) => {
  if (pc.iceGatheringState === 'complete') return resolve();
  pc.addEventListener('icegatheringstatechange', () => {
    if (pc.iceGatheringState === 'complete') resolve();
  });
});

const response = await fetch('/offer', {
  method: 'POST',
  headers: { 'Content-Type': 'application/json' },
  body: JSON.stringify(pc.localDescription),
});
await pc.setRemoteDescription(await response.json());

Pokrenite python peer.py i otvorite http://localhost:8081/index.html. Preglednik traži kameru, a nekoliko sekundi kasnije drugi video prikazuje prvi, vraćen iz Pythona. Isprobali smo ga u Chromiumu s lažnom kamerom: slika se vratila široka 640 piksela i nastavila stizati.

Tri stvari u njemu razlikuju se od poziva između dvaju preglednika:

  1. Jedan zahtjev čini cijelu razmjenu. Preglednik čeka dok ne prikupi sve kandidate i šalje ih u svojoj ponudi. aiortc prikuplja svoje kandidate u setLocalDescription() i stavlja ih u odgovor, pa websocket nije potreban i dovoljan je običan POST.
  2. Trag je klasa. Svaka slika prolazi kroz recv(), koji čeka jednu od preglednika i vraća jednu za slanje. Između toga ide vaš kod: čitajte piksele, crtajte po njima, spremajte ih ili pošaljite nešto drugo.
  3. Python dekodira i kodira. Svaka slika koja prolazi dekodira se i ponovno kodira na procesoru. To je u redu za nekoliko poziva odjednom, i zato medijski poslužitelj koji prosljeđuje video mnogim ljudima uopće ga ne dekodira (kako rade grupni videopozivi).

Stranica mora biti na localhost ili na HTTPS-u da bi se kamera otvorila. Na vašem poslužitelju Python strani treba i STUN poslužitelj, a za ljude iza strogih mreža i TURN poslužitelj, navedeni u RTCConfiguration(iceServers=[...]). Ako se poziv ne spoji, zašto WebRTC veza ne uspijeva prolazi kroz ono što treba provjeriti.

Što vam treba

  • Vaši korisnici zovu jedni druge. Python je signalizacijski poslužitelj ili to prepušta usluzi. Preglednici prenose poziv, a Python odlučuje tko smije zvati koga.
  • Program se pridružuje pozivu. Snimač, bot koji sluša i odgovara, kamera na malom uređaju, test koji iz skripte uspostavlja poziv. Ovdje aiortc od Pythona čini sudionika poziva, a pokrećete ga na vlastitim poslužiteljima.

Većini web aplikacija treba prvo, a posla je manje u releju nego oko njega: zvonjava u svakoj kartici, releji, ponovno spajanje kad telefon promijeni mrežu i grupni pozivi s više od četiri osobe. To je dio koji može preuzeti usluga, a vašoj aplikaciji ostaje jedina odluka koja se uistinu tiče nje.

Pozivi u Djangu, FastAPI-ju i Flasku s WordPlus Cloudom

S paketom wordplus-realtime aplikacija u Pythonu uspostavlja pozive između svojih korisnika bez signalizacijskog poslužitelja, releja ili zaslona poziva koje biste morali napisati, i bez ičega što Python mora dekodirati. Vaša aplikacija odlučuje tko smije zvati u vlastitom viewu, koji odgovara tokenom za poziv. U Djangu:

Python
# shop/views.py, na path("call-token", views.call_token): GET /call-token?to=34&type=video
from django.http import HttpResponse, JsonResponse
from wordplus_realtime.django import realtime

def call_token(request):
    # Ovdje ide vaša vlastita provjera: tko smije zvati koga.
    if not request.user.is_authenticated:
        return HttpResponse(status=401)
    return JsonResponse({
        "token": realtime.call_token(request.user.pk, request.GET["to"], type=request.GET.get("type")),
    })

Stranica pokreće zaslon poziva i stavlja gumb ondje odakle ljudi zovu, a on pita vaš view:

JavaScript
await rt.callScreen(); // zvonjava i prozor poziva, na svakoj stranici na kojoj poziv može zazvoniti
HTML
<call-button to="34" token-url="/call-token" type="video" name="Ann">Call Ann</call-button>

Poziv zvoni u svakoj kartici i na svakom uređaju koji Ann ima otvoren. Ide izravno između dvaju preglednika kad to njihove mreže dopuštaju, preko naših releja na portovima 443 i 80 kad ne dopuštaju, a preko naših medijskih poslužitelja kad ni releji ne mogu proći, prelazeći s jednog puta na drugi bez prekidanja. Pozivi između dvije osobe šifrirani su s kraja na kraj na svakom putu, a grupni pozivi rade na istim poslužiteljima. Bez tokena iz vašeg viewa ništa ne počinje, pa to nitko ne može zaobići.

Stranice o pozivima u našoj dokumentaciji pokazuju ostalo za Django, FastAPI i Flask: tko smije zvati, grupne pozive i vlastito sučelje poziva.

Videopozivi za vašu aplikaciju u Pythonu

WordPlus Cloud for Apps ima cijenu prema istodobnim vezama, od 1.000 naviše, naplaćuje se mjesečno ili godišnje, a pozivi između dvije osobe ne troše kredite ni na jednom putu. Pogledajte videopozive i grupne pozive za aplikacije ili cijene za aplikacije. Imate pitanja o svojoj integraciji? Pišite nam.