Negozio Hardware IA
Esplora Mini PC, NAS, workstation, server e hardware per l'edge AI — ogni sistema può essere abbinato a servizio d'installazione e innovazione software da ⏻ On Intelligence.
| Foto | Prodotto | Prezzo | Capacità |
|---|
Comprendere la capacità del modello
La capacità del modello si riferisce al numero di parametri contenuti in un modello di IA (ad es. 70B = 70 miliardi di parametri). I modelli più grandi richiedono generalmente più memoria e potenza di calcolo, ma possono offrire un ragionamento e una qualità dell'output migliorati.
Precisione (FP16 / FP8 / FP4) influisce sulla quantità di memoria richiesta da una determinata capacità del modello: i formati a precisione inferiore riducono approssimativamente della metà i requisiti di memoria per ogni passo (FP16 → FP8 → FP4), a scapito della precisione dell'output.
| Dimensione del modello | Memoria tipica (FP16) | Memoria tipica (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |