Compare commits
5 Commits
fb12a4002e
...
0f2a79e5de
| Author | SHA1 | Date | |
|---|---|---|---|
| 0f2a79e5de | |||
| 44aa0c8136 | |||
| 902004f2e7 | |||
| bf1f1c0b41 | |||
| 5915b8dd30 |
@@ -2,6 +2,19 @@
|
|||||||
healthCheckTimeout: 600
|
healthCheckTimeout: 600
|
||||||
logToStdout: "both" # proxy and upstream
|
logToStdout: "both" # proxy and upstream
|
||||||
|
|
||||||
|
hooks:
|
||||||
|
on_startup:
|
||||||
|
preload:
|
||||||
|
- "Qwen3-VL-2B-Instruct-GGUF:Q4_K_M"
|
||||||
|
|
||||||
|
groups:
|
||||||
|
qwen-vl-always:
|
||||||
|
persistent: true
|
||||||
|
exclusive: false
|
||||||
|
swap: false
|
||||||
|
members:
|
||||||
|
- "Qwen3-VL-2B-Instruct-GGUF:Q4_K_M"
|
||||||
|
|
||||||
models:
|
models:
|
||||||
"DeepSeek-R1-0528-Qwen3-8B-GGUF":
|
"DeepSeek-R1-0528-Qwen3-8B-GGUF":
|
||||||
ttl: 600
|
ttl: 600
|
||||||
@@ -456,3 +469,87 @@ models:
|
|||||||
--repeat-penalty 1.0
|
--repeat-penalty 1.0
|
||||||
--no-warmup
|
--no-warmup
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
|
|
||||||
|
"Qwen3.5-35B-A3B-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
|
||||||
|
"Qwen3.5-35B-A3B-GGUF-nothink:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
|
||||||
|
"Qwen3.5-35B-A3B-heretic-GGUF-nothink:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf mradermacher/Qwen3.5-35B-A3B-heretic-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--temp 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
--chat-template-kwargs "{\"enable_thinking\": false}"
|
||||||
|
|
||||||
|
"Qwen3-VL-2B-Instruct-GGUF:Q4_K_M":
|
||||||
|
ttl: 0
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3-VL-2B-Instruct-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--predict 4096
|
||||||
|
--temp 0.7
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--min-p 0.0
|
||||||
|
--presence-penalty 1.5
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
|
||||||
|
"gemma-3-270m-it-qat-GGUF:Q4_K_M":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/gemma-3-270m-it-qat-GGUF:Q4_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--predict 4096
|
||||||
|
--temp 1.0
|
||||||
|
--min-p 0.01
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 64
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
|||||||
@@ -15,7 +15,7 @@ spec:
|
|||||||
- name: renovate
|
- name: renovate
|
||||||
# Update this to the latest available and then enable Renovate on
|
# Update this to the latest available and then enable Renovate on
|
||||||
# the manifest
|
# the manifest
|
||||||
image: renovate/renovate:43.31.1-full
|
image: renovate/renovate:43.46.2-full
|
||||||
envFrom:
|
envFrom:
|
||||||
- secretRef:
|
- secretRef:
|
||||||
name: renovate-gitea-token
|
name: renovate-gitea-token
|
||||||
|
|||||||
Reference in New Issue
Block a user