diff --git a/apps/llama/configs/config.yaml b/apps/llama/configs/config.yaml index 1ae1384..c7fde83 100644 --- a/apps/llama/configs/config.yaml +++ b/apps/llama/configs/config.yaml @@ -579,3 +579,97 @@ models: --no-warmup --port ${PORT} --chat-template-kwargs "{\"enable_thinking\": false}" + + "Qwen3.5-0.8B-GGUF:Q4_K_XL": + ttl: 0 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-0.8B-GGUF:Q4_K_XL + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + + "Qwen3.5-2B-GGUF:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-2B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + + "Qwen3.5-2B-GGUF-nothink:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-2B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + --chat-template-kwargs "{\"enable_thinking\": false}" + + "Qwen3.5-4B-GGUF:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-4B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + + "Qwen3.5-4B-GGUF-nothink:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-4B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + --chat-template-kwargs "{\"enable_thinking\": false}" + + "Qwen3.5-9B-GGUF:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + + "Qwen3.5-9B-GGUF-nothink:Q4_K_M": + ttl: 600 + cmd: | + /app/llama-server + -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M + --ctx-size 16384 + --temp 0.6 + --top-p 0.95 + --top-k 20 + --min-p 0.00 + --no-warmup + --port ${PORT} + --chat-template-kwargs "{\"enable_thinking\": false}"