Compare commits
6 Commits
ff18b21349
...
71e5d70996
| Author | SHA1 | Date | |
|---|---|---|---|
| 71e5d70996 | |||
| a3ebc531fe | |||
| 63f154293d | |||
| 42aa0a7263 | |||
| a9b8b45328 | |||
| 3dc481bc8b |
@@ -461,6 +461,7 @@ models:
|
|||||||
/app/llama-server
|
/app/llama-server
|
||||||
-hf unsloth/Qwen3-Coder-Next-GGUF:Q4_K_M
|
-hf unsloth/Qwen3-Coder-Next-GGUF:Q4_K_M
|
||||||
--ctx-size 32768
|
--ctx-size 32768
|
||||||
|
--fit-target 2048
|
||||||
--predict 8192
|
--predict 8192
|
||||||
--temp 1.0
|
--temp 1.0
|
||||||
--min-p 0.01
|
--min-p 0.01
|
||||||
@@ -475,6 +476,7 @@ models:
|
|||||||
cmd: |
|
cmd: |
|
||||||
/app/llama-server
|
/app/llama-server
|
||||||
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
||||||
|
--fit-target 2048
|
||||||
--ctx-size 16384
|
--ctx-size 16384
|
||||||
--temp 1.0
|
--temp 1.0
|
||||||
--min-p 0.00
|
--min-p 0.00
|
||||||
@@ -488,6 +490,7 @@ models:
|
|||||||
cmd: |
|
cmd: |
|
||||||
/app/llama-server
|
/app/llama-server
|
||||||
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
||||||
|
--fit-target 2048
|
||||||
--ctx-size 16384
|
--ctx-size 16384
|
||||||
--temp 1.0
|
--temp 1.0
|
||||||
--min-p 0.00
|
--min-p 0.00
|
||||||
@@ -506,6 +509,7 @@ models:
|
|||||||
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
||||||
--mmproj-url https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/mmproj-F16.gguf
|
--mmproj-url https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/mmproj-F16.gguf
|
||||||
--mmproj /root/.cache/llama.cpp/unsloth_Qwen3.5-35B-A3B-GGUF_mmproj-F16.gguf
|
--mmproj /root/.cache/llama.cpp/unsloth_Qwen3.5-35B-A3B-GGUF_mmproj-F16.gguf
|
||||||
|
--fit-target 2048
|
||||||
--ctx-size 16384
|
--ctx-size 16384
|
||||||
--temp 1.0
|
--temp 1.0
|
||||||
--min-p 0.00
|
--min-p 0.00
|
||||||
@@ -521,6 +525,7 @@ models:
|
|||||||
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
||||||
--mmproj-url https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/mmproj-F16.gguf
|
--mmproj-url https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/mmproj-F16.gguf
|
||||||
--mmproj /root/.cache/llama.cpp/unsloth_Qwen3.5-35B-A3B-GGUF_mmproj-F16.gguf
|
--mmproj /root/.cache/llama.cpp/unsloth_Qwen3.5-35B-A3B-GGUF_mmproj-F16.gguf
|
||||||
|
--fit-target 2048
|
||||||
--ctx-size 16384
|
--ctx-size 16384
|
||||||
--temp 1.0
|
--temp 1.0
|
||||||
--min-p 0.00
|
--min-p 0.00
|
||||||
@@ -561,6 +566,20 @@ models:
|
|||||||
--no-warmup
|
--no-warmup
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
|
|
||||||
|
"Qwen3.5-0.8B-GGUF:Q4_K_XL":
|
||||||
|
ttl: 0
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-0.8B-GGUF:Q4_K_XL
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": true}"
|
||||||
|
|
||||||
"Qwen3.5-0.8B-GGUF-nothink:Q4_K_XL":
|
"Qwen3.5-0.8B-GGUF-nothink:Q4_K_XL":
|
||||||
ttl: 0
|
ttl: 0
|
||||||
cmd: |
|
cmd: |
|
||||||
@@ -574,3 +593,115 @@ models:
|
|||||||
--no-warmup
|
--no-warmup
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
--chat-template-kwargs "{\"enable_thinking\": false}"
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3.5-2B-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-2B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": true}"
|
||||||
|
|
||||||
|
"Qwen3.5-2B-GGUF-nothink:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-2B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3.5-4B-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-4B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": true}"
|
||||||
|
|
||||||
|
"Qwen3.5-4B-GGUF-nothink:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-4B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3.5-9B-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": true}"
|
||||||
|
|
||||||
|
"Qwen3.5-9B-GGUF-nothink:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3.5-9B-GGUF:Q3_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-9B-GGUF:Q3_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": true}"
|
||||||
|
|
||||||
|
"Qwen3.5-9B-GGUF-nothink:Q3_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-9B-GGUF:Q3_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 0.6
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.00
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|||||||
@@ -6,6 +6,8 @@ metadata:
|
|||||||
namespace: llama
|
namespace: llama
|
||||||
spec:
|
spec:
|
||||||
replicas: 1
|
replicas: 1
|
||||||
|
strategy:
|
||||||
|
type: Recreate
|
||||||
selector:
|
selector:
|
||||||
matchLabels:
|
matchLabels:
|
||||||
app: llama-swap
|
app: llama-swap
|
||||||
|
|||||||
@@ -15,7 +15,7 @@ spec:
|
|||||||
- name: renovate
|
- name: renovate
|
||||||
# Update this to the latest available and then enable Renovate on
|
# Update this to the latest available and then enable Renovate on
|
||||||
# the manifest
|
# the manifest
|
||||||
image: renovate/renovate:43.56.1-full
|
image: renovate/renovate:43.59.2-full
|
||||||
envFrom:
|
envFrom:
|
||||||
- secretRef:
|
- secretRef:
|
||||||
name: renovate-gitea-token
|
name: renovate-gitea-token
|
||||||
|
|||||||
Reference in New Issue
Block a user