Spritz Depot
llama_cpp
Inference of Meta's LLaMA model (and others) in pure C/C++
Scienza e matematicallama_cpp
Schermate
Schermate da HaikuDepotServer.
Descrizione
The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide variety of hardware - locally and in the cloud.
* Plain C/C++ implementation without any dependencies * AVX and AVX2 support for x86 architectures * 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, and 8-bit integer quantization for faster inference and reduced memory use
Since its inception, the project has improved significantly thanks to many contributions. It is the main playground for developing new features for the ggml library.
Installa
Canale stable vb4889-1
Questa app e' curata in HaikuPorts. Installala da li', e' gia' disponibile in HaikuDepot.
pkgman install llama_cpp
Attenzione: il file arriva dal server di HaikuPorts, ma installarlo a mano non è la strada consigliata. È «pkgman» a risolvere le dipendenze che un .hpkg non porta con sé: un pacchetto installato da solo potrebbe non partire. Usa il comando pkgman qui sopra, a meno che tu non sappia esattamente perché ti serve il file.