Blog

Websocketi u Node.js-u: što se mijenja s više poslužitelja

· Andrij Tkachenko · 9 min čitanja

Tri poslužitelja jedan do drugoga, spojena jednom linijom koja prolazi kroz sve njih, a ispod svakoga njegov par prozora preglednika

Node.js dobro drži websockete: u jednom procesu svaka veza ostaje otvorena na jednom jedinom event loopu, a poslužitelj koji svaku poruku prosljeđuje svima koji su spojeni ima petnaestak redaka uz biblioteku ws. Čim je procesa ili poslužitelja više od jednog, svaki od njih zna samo za svoje veze, pa svaki događaj mora proći kroz kanal koji dijele, a prijava, ponovna pokretanja i proxyji traže svaki svoj odgovor.

Ovaj članak pokazuje taj mali poslužitelj, što mijenja drugi proces, što je potrebno za rad s više poslužitelja i kako iz Node.js-a slati događaje bez ikakvog websocket poslužitelja.

Websocket poslužitelj u Node.js-u

Websocket je dvosmjerna veza između preglednika i poslužitelja koja ostaje otvorena, pa svaka strana može slati u bilo kojem trenutku. Node.js od verzije 22 ima ugrađen websocket klijent, isti WebSocket kakav ima preglednik. Poslužitelj je druga priča: Node.js vodič o websocketima kaže da je za prihvaćanje veza i dalje potrebna biblioteka. Uobičajena je ws:

Shell
npm install ws
server.mjs
import WebSocket, { WebSocketServer } from 'ws';

const wss = new WebSocketServer( { port: 8080 } );

wss.on( 'connection', ( socket ) => {
    socket.on( 'error', console.error );

    // Pass each message to everyone connected.
    socket.on( 'message', ( data, isBinary ) => {
        for ( const client of wss.clients ) {
            if ( client.readyState === WebSocket.OPEN ) {
                client.send( data, { binary: isBinary } );
            }
        }
    } );
} );

Stranica se spaja pomoću WebSocket API-ja koji ima svaki preglednik:

JavaScript
const socket = new WebSocket( 'ws://localhost:8080' );
socket.onopen = () => socket.send( 'hello' );
socket.onmessage = ( event ) => console.log( event.data );

Pokrenite ga s node server.mjs, otvorite tu stranicu u dvije kartice i svaka će ispisati ono što pošalje druga. Kad poslužitelj radi na javnoj adresi, naš WebSocket test povezuje se na njega iz preglednika i objašnjava svaki kod zatvaranja. Ako preglednik javlja samo da veza nije uspjela, naš članak o WebSocket pogrešci 1006 pokazuje kako pronaći uzrok.

Dvije stvari u tom poslužitelju određuju sve što slijedi. Svaka veza ostaje otvorena dok god je otvorena njezina stranica, često satima. A wss.clients živi u memoriji tog jednog procesa.

Zašto je jedan proces dugo dovoljan

Node.js je napravljen za veze koje čekaju. Njegov event loop obrađuje mnogo njih odjednom, a veza koja nema što reći ne zauzima ni thread ni workera. To je suprotno od PHP-a i Pythona na WSGI-ju, gdje otvorena veza zauzima cijelog workera.

Ograničenja su drugdje. Vaš JavaScript radi na jednom threadu, pa proces koristi jednu jezgru procesora, a jedan proces na jednom stroju jedna je točka koja može zakazati. Za više jezgri pokrećete više procesa, pomoću modula cluster ili upravitelja procesa. Zbog stroja koji može zakazati pokrećete drugi poslužitelj. Oboje donosi istu promjenu.

Što mijenja drugi proces

S modulom cluster primarni proces prihvaća svaku novu vezu i redom je predaje jednom od workera. Svaki worker pokreće gornji poslužitelj, svaki sa svojim wss.clients. Poruka koja stigne na worker 1 odlazi preglednicima workera 1, a preglednici workera 2 za nju nikad ne saznaju.

Na prijenosnom računalu to izgleda kao dvije kartice koje se vide tek ponekad, ovisno o tome gdje je koja završila. Dokumentacija za Node.js to kaže u jednom retku: Node.js ne pruža logiku usmjeravanja. Zatim savjetuje da se ne oslanjate na objekte u memoriji, a skup otvorenih veza upravo je to.

Rješenje je kanal koji dijele svi procesi, obično Redis. Svaki proces objavljuje ono što primi, a svojim preglednicima isporučuje ono što je objavio bilo koji proces:

JavaScript
import { createClient } from 'redis';

const publisher = createClient( { url: process.env.REDIS_URL } );
const subscriber = publisher.duplicate();
await Promise.all( [ publisher.connect(), subscriber.connect() ] );

// What any process published goes to the browsers of this one.
await subscriber.subscribe( 'events', ( message ) => {
    for ( const client of wss.clients ) {
        if ( client.readyState === WebSocket.OPEN ) client.send( message );
    }
} );

wss.on( 'connection', ( socket ) => {
    socket.on( 'message', ( data ) => publisher.publish( 'events', data.toString() ) );
} );

To je cijela ideja i vrijedi jednako za dva procesa na jednom stroju i za dvadeset poslužitelja. Imajte na umu što pritom ostaje neriješeno. Redis pub/sub isporučuje najviše jednom, pa proces koji se u tom trenutku ponovno spajao na Redis taj događaj nikad ne dobije, a ne dobije ga ni preglednik koji se ponovno spajao na vas.

Što traži više poslužitelja

Zajednički kanal prva je stavka. Ostatak popisa stiže s load balancerom:

  • Proxy podešen za nadogradnju. Websocket počinje kao HTTP zahtjev koji traži nadogradnju. Dokumentacija za nginx objašnjava da proxy zaglavlja Upgrade i Connection ne prosljeđuje sam, pa se oba postavljaju ručno, te da se veza preko proxyja kroz koju 60 sekundi nema podataka prema zadanim postavkama zatvara.
  • Heartbeat. Zato poslužitelj svakoj vezi u pravilnim razmacima šalje ping. Tako proxyji ne zatvaraju vezu koja šuti, a otkrivaju se i veze koje su nestale bez javljanja. README biblioteke ws sadrži obrazac: označite svaki socket, pošaljite mu ping i prekinite one koji do sljedećeg kruga nisu odgovorili.
  • Znati tko se spaja. WebSocket u pregledniku prima adresu i podprotokole, a zaglavlje se ne može postaviti. Zato poslužitelj čita kolačić sesije ili kratkotrajni token u adresi u događaju upgrade HTTP poslužitelja, prije nego što veza postoji. Ondje provjerava i zaglavlje Origin, jer websocket prema vašem poslužitelju može otvoriti stranica s bilo koje druge web-stranice, a standard odbijanje prepušta vama.
  • Sticky sessions, ponekad. Običan websocket jedna je veza i ostaje na poslužitelju do kojeg je stigla. Biblioteka koja se može vratiti na HTTP long polling za jednu sesiju šalje više zahtjeva i svi moraju stići do istog procesa, pa load balancer svaki preglednik mora vezati uz jedan proces.
  • Deploy. Ponovno pokretanje prekida sve veze tog procesa. WebSocket u pregledniku ne spaja se ponovno sam, pa to radi kod vaše stranice, nakon odgode koja raste i za svaki je preglednik drukčija, jer bi se inače svi vratili u istoj sekundi. Ono što je poslano dok stranica nije bila spojena izgubljeno je, osim ako ne čuvate nedavne događaje i ne ponovite ih od zadnjeg koji je stranica vidjela.
  • Spori primatelji. send() se vraća odmah, a ono što spora veza još nije preuzela čeka u memoriji vašeg procesa. bufferedAmount kaže koliko toga čeka, pa poslužitelj može preskočiti ili zatvoriti vezu koja je previše zaostala.

Ništa od toga nije neobično i mnogi timovi to dobro rade. Ipak, to je drugi sustav uz vašu aplikaciju, sa svojim Redisom, svojim pravilima na proxyju i svojim lošim danima.

Ili uopće nemojte imati websocket poslužitelj

Hostana usluga za rad u stvarnom vremenu preuzima veze od vaših poslužitelja. Preglednici se spajaju na uslugu. Vaš Node.js kod svaki događaj šalje jednim kratkim HTTPS zahtjevom, s onog procesa ili poslužitelja koji je obradio promjenu, a usluga ga isporučuje svakoj stranici koja ga treba dobiti. Nijedna veza ne živi u vašim procesima, pa više nije važno koliko ih pokrećete.

Postava Gdje žive veze Što dodajete
Jedan proces U njegovoj memoriji Ništa
Više procesa ili poslužitelja U svakom od njih Zajednički kanal, pravila na proxyju, heartbeat, ponavljanje
Hostana usluga Kod usluge Jedan zahtjev za svaki događaj

Node.js na WordPlus Cloudu

S WordPlus Cloudom jedan je paket obje polovice, poslužitelj i stranica:

Shell
npm install @wordplus/realtime

Vaš poslužitelj jednom definira svoje sobe, svaku s pravilom o tome tko joj se smije pridružiti, i uključuje jedan router. Ovo je Express, a korisnik se uzima iz sesije:

server.mjs
import express from 'express';
import session from 'express-session';
import { createRealtime } from '@wordplus/realtime/server';

const realtime = createRealtime( {
    site: process.env.WORDPLUS_SITE,
    secret: process.env.WORDPLUS_SECRET,
    localKey: process.env.WORDPLUS_LOCAL_KEY,
} );

// The room of an order, order:1042: its customer may join, and the last 20 updates are kept.
realtime.room( 'order:{id}', { history: 20 }, async ( user, { id } ) => {
    if ( user === null ) return false;
    const order = await db.orders.find( id );
    return order?.customerId === user;
} );

const app = express();
app.use( session( { secret: process.env.SESSION_SECRET, resave: false, saveUninitialized: false } ) );

// Answers the pages that ask to join a room, and serves the browser files of the SDK.
app.use( '/api/realtime', realtime.node( ( req ) => req.session.userId ?? null ) );
app.use( express.json() );

// After your own work is saved, tell everyone in the room.
app.post( '/orders/:id/status', async ( req, res ) => {
    const order = await db.orders.setStatus( req.params.id, req.body.status );
    await realtime.to( `order:${ order.id }` ).emit( 'updated', { status: order.status } );
    res.json( { ok: true } );
} );

Stranica se sobi pridružuje kroz vaš bundler, s ključem vaše aplikacije umjesto ovoga:

order.js
import { connect } from '@wordplus/realtime';

const rt = await connect( { app: 's1500000007' } );

const order = rt.join( 'order:1042' );
order.on( 'updated', ( data ) => showStatus( data.status ) );

Taj emit je jedan HTTPS zahtjev, pa radi jednako u jednom procesu, u osam cluster workera i u serverless funkciji. Osim toga:

  • Vaši poslužitelji ne moraju ništa dijeliti. Na njima se ne čuva ništa od rada u stvarnom vremenu, pa bilo koji od njih odgovara na bilo koji zahtjev i šalje u bilo koju sobu.
  • Ništa se ne gubi pri ponovnom spajanju. Soba čuva svoje zadnje događaje, pa stranica koja se vrati dobiva ono što je propustila, redom.
  • Sve stranice jednog korisnika. realtime.toUser( 42 ).emit( 'notice', { text: 'Your order shipped' } ) stiže do svake kartice i svakog uređaja koje korisnik ima otvorene. Korisnik koji nema ništa otvoreno ne dobiva ništa, pa ono što do njega mora stići pošaljite e-poštom.
  • Jedna veza za sve kartice. Kartice jednog preglednika dijele jednu vezu, pa se osoba s tri otvorene kartice broji jednom.
  • Zapečaćeno na putu. Ono što vaš poslužitelj šalje u sobu s pravilom putuje šifrirano ključevima koje drže samo vaš poslužitelj i vaši korisnici.
  • Više od događaja. Tko je na mreži, pozivi koji zvone u svakoj kartici, grupni pozivi i prijenosi uživo dolaze na istoj vezi, s gotovim zaslonom poziva, chatom i playerom iz Better Messagesa ili s vašim vlastitim sučeljem na istom API-ju.

Isti paket radi i bez Expressa, u običnom Node.js poslužitelju te uz Fastify ili Hono. Za Next.js postoji zaseban članak, websocketi na serverless hostingu.

Kad vam bolje odgovara vlastiti poslužitelj

Hostana usluga nije prikladna za svaki posao. Vaš Node.js kod ono što stranice šalju čuje preko webhooka, HTTP zahtjeva koji može stići više puta, a ne kroz živu petlju sa svakom vezom. Igra ili sustav upravljanja u kojem vaš proces na svaku poruku mora odgovoriti u roku od nekoliko milisekundi pripada na vlastiti poslužitelj. Isto vrijedi i za vaš vlastiti protokol kojim drugi programi govore preko običnog websocketa. A malom alatu s jednim procesom i nekoliko stotina ljudi možda nikad neće trebati više od petnaest redaka s početka ovog članka.

Počnite s vodičem

Vodič za Express sadrži cijelo podešavanje, a Express demo je mala trgovina izgrađena na njemu, u kojoj se narudžba, čim kliknete, u drugom prozoru označi kao poslana. Isti popis u Pythonu izgleda malo drukčije, a ondje FastAPI na njega nailazi čim ima više od jednog workera.

WordPlus Cloud for Apps ima cijenu prema istodobnim vezama, od 1.000 naviše, uz mjesečnu ili godišnju naplatu, a naš članak o cijenama usluga u stvarnom vremenu objašnjava kako funkcionira brojanje po vezi. Naša stranica o WebSocket API-ju prikazuje sobe, prisutnost i događaje u svakom stacku, a cijene za aplikacije sadrže brojke. Pitanja o vašoj integraciji? Pišite nam.