Harbor, l’AI locale su più Mac: cosa promette e quali limiti restano

Harbor, l’AI locale su più Mac: cosa promette e quali limiti restano

Harbor promette di eseguire modelli AI locali collegando più Mac, ma memoria disponibile, velocità di generazione e richieste simultanee restano problemi distinti.

Collegare più Mac per eseguire modelli di intelligenza artificiale locali, senza passare dalla riga di comando. È la promessa di Harbor, l’app attribuita ad Apple che, secondo le indiscrezioni riportate nel materiale disponibile, si trova in anteprima privata sotto il marchio Claris. Il progetto prevede collegamenti Thunderbolt 5 e parla di mettere in comune la memoria unificata dei computer. Una formula che lascia aperta la questione principale: poter caricare un modello più grande significa anche farlo rispondere più velocemente?

Le informazioni raccolte non consentono ancora di stabilire come Harbor affronti tutti i passaggi dell’inferenza distribuita. Le prove citate riguardano altri strumenti, soprattutto exo e llama.cpp: descrivono possibilità e limiti dei cluster Mac, non prestazioni già dimostrate dall’app attribuita ad Apple.

Più memoria disponibile, ma non una memoria unica

Il confronto tecnico riportato nell’analisi parte dalla distanza fra la velocità della memoria interna e quella del collegamento. Thunderbolt 5 viene indicato a 80 Gb/s, circa 10 GB/s per direzione; per la memoria unificata di M5 Ultra viene riportata una banda di 1,2 TB/s. Il divario è di circa 120 volte.

In questa configurazione, mettere insieme le risorse di più computer non equivale a trasformarle nella memoria di un solo Mac. I pesi del modello restano suddivisi fra le macchine: ogni nodo conserva la propria porzione, anziché trasferirla continuamente attraverso il cavo. Il collegamento serve agli scambi necessari al calcolo distribuito.

La distinzione conta. Un secondo computer può mettere a disposizione la memoria necessaria per ospitare un modello che non entra nel primo. L’aumento della velocità, invece, dipende da come viene ripartito il lavoro e dal tempo richiesto per coordinare le macchine.

Perché aggiungere Mac può rallentare la generazione

L’analisi distingue due modalità. Il parallelismo a pipeline divide il modello in profondità, distribuendone gli strati fra i computer, ma non accelera la generazione nella configurazione descritta. Il parallelismo tensoriale suddivide invece il calcolo in larghezza e richiede sincronizzazioni frequenti.

Per Qwen3-235B, il materiale indica 94 strati e 188 sincronizzazioni di tipo all-reduce per ogni token generato. Nei passaggi considerati, gli scambi sono di circa 8 KB: a pesare non è tanto la quantità di dati che il cavo può trasportare, quanto l’attesa necessaria per ciascuna comunicazione.

I benchmark di Jeff Geerling richiamati nell’analisi mostrano questa differenza. Con llama.cpp su TCP, aggiungere Mac ha rallentato l’esecuzione; la latenza riportata è di circa 300 microsecondi. Con exo, RDMA su macOS 26.2 e JACCL, il materiale indica latenze inferiori a 50 microsecondi e una velocità di circa 32 token al secondo su quattro M3 Ultra. Il dato riguarda quella configurazione di prova e non costituisce un risultato di Harbor.

Configurazione e cavi: la semplicità resta da dimostrare

L’interfaccia senza terminale è una parte della promessa. L’altra riguarda ciò che deve funzionare prima di avviare il modello. Per abilitare RDMA, il materiale descrive un comando da eseguire in modalità Recupero, rdma_ctl enable, oppure un interruttore nelle Impostazioni di Sistema richiamato nelle sessioni WWDC26.

C’è poi il cablaggio. La configurazione JACCL descritta richiede una rete a maglia completa, con ogni Mac collegato direttamente agli altri: sei cavi per quattro computer, dieci per cinque. L’analisi segnala l’assenza di uno switch Thunderbolt 5 che semplifichi questa disposizione.

Resta quindi da capire quanto Harbor riesca a nascondere questa complessità senza limitarsi a offrire una schermata più accessibile. Fra i punti ancora aperti, il materiale elenca la configurazione automatica delle connessioni RDMA, la stabilità con versioni diverse del sistema operativo e la crescita oltre quattro nodi.

Le conversazioni simultanee occupano altra memoria

Caricare i pesi non esaurisce il fabbisogno di memoria. L’esempio riportato per Qwen3-235B attribuisce a dieci conversazioni da 32.000 token circa 63 GB di KV cache, prima ancora di conteggiare i pesi del modello.

È un limite diverso da quello affrontato aggiungendo computer al cluster. Un sistema può riuscire a ospitare un modello molto grande e incontrare comunque difficoltà quando deve servire più richieste contemporaneamente.

Su questo fronte, l’analisi richiama PagedAttention di vLLM, RadixAttention di SGLang e il continuous batching di MLX LM Server. La gestione delle richieste e della cache diventa così un secondo criterio di confronto, distinto dalla capacità di distribuire il modello su più Mac. Il quadro degli strumenti citati comprende anche Ollama su MLX, llama.cpp RPC e vllm-metal, senza attribuire loro prestazioni equivalenti.

L’esperimento con cinque Mac Studio è un caso separato

Un altro contributo incluso nel materiale racconta l’esperimento di NetworkChuck: cinque Mac Studio, acquistati per sostituire i PC destinati al montaggio video, vengono collegati in un cluster con exo. L’obiettivo dichiarato è eseguire Llama 3.1 405B.

La descrizione fornita non riporta misurazioni della velocità ottenuta. Non permette quindi di confrontare quel tentativo con i benchmark sui quattro M3 Ultra, né di usarlo come prova delle capacità di Harbor.

Per l’app attribuita ad Apple, la verifica resta su quattro punti: configurazione RDMA senza interventi complessi, stabilità fra sistemi operativi diversi, funzionamento oltre quattro nodi e gestione delle richieste in batch. Finché questi aspetti non saranno documentati, la promessa di collegare più Mac va tenuta distinta dalla prova di ottenere risposte più rapide.

Domande frequenti

  • Collegare un secondo Mac rende automaticamente più veloce un modello AI? No. Nell’analisi fornita, il risultato dipende dal tipo di parallelismo e dalla latenza delle comunicazioni; alcune prove con llama.cpp su TCP mostrano un rallentamento aggiungendo computer.
  • I risultati di circa 32 token al secondo riguardano Harbor? No. Sono attribuiti ai benchmark citati con exo, RDMA e JACCL su quattro M3 Ultra.
  • Quanti cavi richiede la configurazione JACCL descritta? Sei per quattro Mac e dieci per cinque, perché ogni computer deve essere collegato direttamente agli altri.
  • Harbor elimina già tutti i passaggi da terminale? L’esecuzione senza riga di comando fa parte della promessa riportata. Il materiale non dimostra che l’app abbia già risolto ogni passaggio di configurazione RDMA.

Glossario

  • Inferenza: esecuzione del modello per produrre una risposta.
  • Pesi: parametri del modello, suddivisi fra i computer nella configurazione descritta.
  • Latenza: tempo di attesa associato a una comunicazione fra le macchine.
  • KV cache: memoria impiegata durante le conversazioni, da conteggiare oltre ai pesi del modello.
  • Maglia completa: disposizione nella quale ogni computer è collegato direttamente a tutti gli altri.

Materiale fornito: descrizione dell’approfondimento su Harbor, inferenza distribuita e benchmark attribuiti a Jeff Geerling;

9to5Mac, articolo sull’app Apple per eseguire modelli AI locali, 10 novembre 2026; riferimento presente nel materiale fornito.

Apple WWDC26, sessione 232 su MLX LM Server e continuous batching; riferimento presente nel materiale fornito.

NetworkChuck, descrizione dell’esperimento con cinque Mac Studio ed exo per eseguire Llama 3.1 405B;