WebRTC u Pythonu: što Python radi u videopozivu

Python u WebRTC pozivu sudjeluje na jedan od dva načina. Najčešće je poslužitelj iza poziva: prenosi ponude i mrežne adrese između dvaju preglednika i odlučuje tko smije zvati koga, dok preglednici prenose sliku i zvuk. Rjeđe je i sam sudionik poziva, uz biblioteku aiortc, pa iz Python procesa šalje i prima video i zvuk, kako bi snimio poziv, pokrenuo bota u njemu ili obradio svaku sliku.
Ovaj članak pokazuje oboje, svaki način kao kratak program isproban u Chromiumu, objašnjava kada koji odgovara, a zatim pokazuje kako aplikacija u Djangu, FastAPI-ju ili Flasku dodaje pozive između svojih korisnika bez ijednog od njih.
Dvije uloge koje Python može imati u pozivu
| Uloga | Tko prenosi medije | Što treba Pythonu |
|---|---|---|
| Signalizacijski poslužitelj | Dva preglednika | Biblioteka za websockete |
| Sudionik poziva | Sam Python | aiortc |
U prvoj ulozi Python ne vidi ni jednu sliku. Poziv ide od preglednika do preglednika, a Python im samo pomaže da pronađu jedan drugoga. Upravo to treba video chatu između korisnika web aplikacije, i jednako je u kojem god jeziku poslužitelj bio napisan (kako WebRTC spaja dva preglednika u cijelosti pokazuje stranu preglednika).
U drugoj ulozi Python je jedan kraj poziva. Odgovara na ponudu preglednika, dekodira ono što stiže i kodira ono što šalje. To je za programe kojima trebaju sami mediji.
Python kao signalizacijski poslužitelj
Prije nego što ijedna slika krene, dva preglednika moraju razmijeniti ponudu, odgovor i popis adresa na kojima bi svaki mogao biti dostupan, takozvane kandidate. WebRTC način na koji dolaze jedan do drugoga prepušta aplikaciji (to kaže i RFC 9429, koji opisuje API preglednika). Najmanji signalizacijski poslužitelj prenosi svaku poruku od jednog preglednika do drugoga. S paketom websockets (pip install websockets):
import asyncio
from websockets.asyncio.server import serve
clients = set()
async def relay(websocket):
clients.add(websocket)
try:
async for message in websocket:
# Proslijedi je svima ostalima koji su spojeni: ovdje drugoj osobi.
for other in clients - {websocket}:
await other.send(message)
finally:
clients.discard(websocket)
async def main():
async with serve(relay, "localhost", 8080) as server:
await server.serve_forever()
asyncio.run(main())O pozivima ne zna ništa i samo prenosi tekst. Pokrenuli smo ga sa stranicom iz našeg članka o videopozivima u JavaScriptu, bez ikakvih izmjena, u dvije kartice Chromiuma s lažnim kamerama, obama redoslijedima, i svaka je kartica prikazala drugu. Ostalo radi stranica: otvara kameru, izrađuje ponudu i odgovara te razrješava koja strana popušta kad obje ponude u istom trenutku.
Ono što prava aplikacija dodaje isto je kao na bilo kojem stacku. Gornji relej prenosi bilo koju poruku bilo kome, pa pravi provjerava tko je prijavljen i smije li zvati tu osobu. Pozvana osoba mora čuti zvonjavu u svakoj kartici koju ima otvorenu, a za to svaki korisnik treba vezu koja ostaje otvorena (websocketi u Pythonu objašnjavaju zašto je Django i Flask na WSGI-ju ne mogu držati). A pozivima iza strogih vatrozida treba TURN relej (STUN i TURN poslužitelji, objašnjeni).
Python kao sudionik poziva, uz aiortc
aiortc implementira WebRTC u Pythonu na asynciju, s API-jem koji slijedi onaj u pregledniku, s korutinama umjesto promisea. Njegov README navodi zvuk u Opusu, PCMU-u i PCMA-i, video u VP8 i H.264 te podatkovne kanale, isprobane s Chromeom i Firefoxom. Verzija 1.16 traži Python 3.11 ili noviji.
Program u nastavku odgovara pregledniku i vraća mu njegov video, nakon što Python primi svaku sliku. Za jedini zahtjev koji razmjena treba koristi aiohttp (pip install aiortc aiohttp):
import asyncio
from aiohttp import web
from aiortc import RTCPeerConnection, RTCSessionDescription, MediaStreamTrack
peers = set()
class Mirror(MediaStreamTrack):
"""Vraća svaku sliku koju primi, nakon što ju je Python vidio."""
kind = "video"
def __init__(self, source):
super().__init__()
self.source = source
async def recv(self):
frame = await self.source.recv() # av.VideoFrame, dekodiran
# frame.to_ndarray(format="bgr24") daje piksele, za NumPy ili OpenCV.
return frame
async def offer(request):
params = await request.json()
pc = RTCPeerConnection()
peers.add(pc)
@pc.on("track")
def on_track(track):
if track.kind == "video":
pc.addTrack(Mirror(track))
@pc.on("connectionstatechange")
async def on_state():
if pc.connectionState in ("failed", "closed"):
await pc.close()
peers.discard(pc)
await pc.setRemoteDescription(RTCSessionDescription(sdp=params["sdp"], type=params["type"]))
await pc.setLocalDescription(await pc.createAnswer()) # najprije prikupi sve kandidate
return web.json_response({"sdp": pc.localDescription.sdp, "type": pc.localDescription.type})
async def close_all(app):
await asyncio.gather(*(pc.close() for pc in peers))
app = web.Application()
app.router.add_post("/offer", offer)
app.router.add_static("/", "static")
app.on_shutdown.append(close_all)
web.run_app(app, host="localhost", port=8081)Stranica ide u static/index.html, s dva video elementa i skriptom:
<video id="me" autoplay playsinline muted></video>
<video id="back" autoplay playsinline></video>
<script type="module" src="/mirror.js"></script>const local = await navigator.mediaDevices.getUserMedia({ video: true });
document.getElementById('me').srcObject = local;
const pc = new RTCPeerConnection();
pc.addTrack(local.getVideoTracks()[0], local);
pc.ontrack = ({ track }) => {
document.getElementById('back').srcObject = new MediaStream([track]);
};
// Python strana prima jednu ponudu sa svim kandidatima, pa pričekaj da se svi prikupe.
await pc.setLocalDescription(await pc.createOffer());
await new Promise((resolve) => {
if (pc.iceGatheringState === 'complete') return resolve();
pc.addEventListener('icegatheringstatechange', () => {
if (pc.iceGatheringState === 'complete') resolve();
});
});
const response = await fetch('/offer', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify(pc.localDescription),
});
await pc.setRemoteDescription(await response.json());Pokrenite python peer.py i otvorite http://localhost:8081/index.html. Preglednik traži kameru, a nekoliko sekundi kasnije drugi video prikazuje prvi, vraćen iz Pythona. Isprobali smo ga u Chromiumu s lažnom kamerom: slika se vratila široka 640 piksela i nastavila stizati.
Tri stvari u njemu razlikuju se od poziva između dvaju preglednika:
- Jedan zahtjev čini cijelu razmjenu. Preglednik čeka dok ne prikupi sve kandidate i šalje ih u svojoj ponudi. aiortc prikuplja svoje kandidate u
setLocalDescription()i stavlja ih u odgovor, pa websocket nije potreban i dovoljan je običan POST. - Trag je klasa. Svaka slika prolazi kroz
recv(), koji čeka jednu od preglednika i vraća jednu za slanje. Između toga ide vaš kod: čitajte piksele, crtajte po njima, spremajte ih ili pošaljite nešto drugo. - Python dekodira i kodira. Svaka slika koja prolazi dekodira se i ponovno kodira na procesoru. To je u redu za nekoliko poziva odjednom, i zato medijski poslužitelj koji prosljeđuje video mnogim ljudima uopće ga ne dekodira (kako rade grupni videopozivi).
Stranica mora biti na localhost ili na HTTPS-u da bi se kamera otvorila. Na vašem poslužitelju Python strani treba i STUN poslužitelj, a za ljude iza strogih mreža i TURN poslužitelj, navedeni u RTCConfiguration(iceServers=[...]). Ako se poziv ne spoji, zašto WebRTC veza ne uspijeva prolazi kroz ono što treba provjeriti.
Što vam treba
- Vaši korisnici zovu jedni druge. Python je signalizacijski poslužitelj ili to prepušta usluzi. Preglednici prenose poziv, a Python odlučuje tko smije zvati koga.
- Program se pridružuje pozivu. Snimač, bot koji sluša i odgovara, kamera na malom uređaju, test koji iz skripte uspostavlja poziv. Ovdje aiortc od Pythona čini sudionika poziva, a pokrećete ga na vlastitim poslužiteljima.
Većini web aplikacija treba prvo, a posla je manje u releju nego oko njega: zvonjava u svakoj kartici, releji, ponovno spajanje kad telefon promijeni mrežu i grupni pozivi s više od četiri osobe. To je dio koji može preuzeti usluga, a vašoj aplikaciji ostaje jedina odluka koja se uistinu tiče nje.
Pozivi u Djangu, FastAPI-ju i Flasku s WordPlus Cloudom
S paketom wordplus-realtime aplikacija u Pythonu uspostavlja pozive između svojih korisnika bez signalizacijskog poslužitelja, releja ili zaslona poziva koje biste morali napisati, i bez ičega što Python mora dekodirati. Vaša aplikacija odlučuje tko smije zvati u vlastitom viewu, koji odgovara tokenom za poziv. U Djangu:
# shop/views.py, na path("call-token", views.call_token): GET /call-token?to=34&type=video
from django.http import HttpResponse, JsonResponse
from wordplus_realtime.django import realtime
def call_token(request):
# Ovdje ide vaša vlastita provjera: tko smije zvati koga.
if not request.user.is_authenticated:
return HttpResponse(status=401)
return JsonResponse({
"token": realtime.call_token(request.user.pk, request.GET["to"], type=request.GET.get("type")),
})Stranica pokreće zaslon poziva i stavlja gumb ondje odakle ljudi zovu, a on pita vaš view:
await rt.callScreen(); // zvonjava i prozor poziva, na svakoj stranici na kojoj poziv može zazvoniti<call-button to="34" token-url="/call-token" type="video" name="Ann">Call Ann</call-button>Poziv zvoni u svakoj kartici i na svakom uređaju koji Ann ima otvoren. Ide izravno između dvaju preglednika kad to njihove mreže dopuštaju, preko naših releja na portovima 443 i 80 kad ne dopuštaju, a preko naših medijskih poslužitelja kad ni releji ne mogu proći, prelazeći s jednog puta na drugi bez prekidanja. Pozivi između dvije osobe šifrirani su s kraja na kraj na svakom putu, a grupni pozivi rade na istim poslužiteljima. Bez tokena iz vašeg viewa ništa ne počinje, pa to nitko ne može zaobići.
Stranice o pozivima u našoj dokumentaciji pokazuju ostalo za Django, FastAPI i Flask: tko smije zvati, grupne pozive i vlastito sučelje poziva.
Videopozivi za vašu aplikaciju u Pythonu
WordPlus Cloud for Apps ima cijenu prema istodobnim vezama, od 1.000 naviše, naplaćuje se mjesečno ili godišnje, a pozivi između dvije osobe ne troše kredite ni na jednom putu. Pogledajte videopozive i grupne pozive za aplikacije ili cijene za aplikacije. Imate pitanja o svojoj integraciji? Pišite nam.