Compare commits
2 Commits
6fec8d29a6
...
08e13bd55a
| Author | SHA1 | Date | |
|---|---|---|---|
| 08e13bd55a | |||
| 257cca891a |
@@ -67,7 +67,9 @@ spec:
|
|||||||
"DeepSeek-R1-0528-Qwen3-8B-GGUF",
|
"DeepSeek-R1-0528-Qwen3-8B-GGUF",
|
||||||
"Qwen3-8B-GGUF",
|
"Qwen3-8B-GGUF",
|
||||||
"Qwen3-8B-GGUF-no-thinking",
|
"Qwen3-8B-GGUF-no-thinking",
|
||||||
"gemma3n"
|
"gemma3n-e4b",
|
||||||
|
"gemma3-12b",
|
||||||
|
"gemma3-12b-novision"
|
||||||
]
|
]
|
||||||
titleConvo: true
|
titleConvo: true
|
||||||
titleModel: "current_model"
|
titleModel: "current_model"
|
||||||
|
|||||||
@@ -18,7 +18,7 @@ models:
|
|||||||
-ngl 37 -c 16384
|
-ngl 37 -c 16384
|
||||||
--jinja --chat-template-file /config/qwen_nothink_chat_template.jinja
|
--jinja --chat-template-file /config/qwen_nothink_chat_template.jinja
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
"gemma3n":
|
"gemma3n-e3b":
|
||||||
cmd: |
|
cmd: |
|
||||||
/app/llama-server
|
/app/llama-server
|
||||||
-hf unsloth/gemma-3n-E4B-it-GGUF:UD-Q4_K_XL
|
-hf unsloth/gemma-3n-E4B-it-GGUF:UD-Q4_K_XL
|
||||||
@@ -32,3 +32,30 @@ models:
|
|||||||
--top-k 64
|
--top-k 64
|
||||||
--top-p 0.95
|
--top-p 0.95
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
|
"gemma3-12b":
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/gemma-3-12b-it-GGUF:Q3_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--n-gpu-layers 99
|
||||||
|
--prio 2
|
||||||
|
--temp 1.0
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-k 64
|
||||||
|
--top-p 0.95
|
||||||
|
--port ${PORT}
|
||||||
|
"gemma3-12b-novision":
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/gemma-3-12b-it-GGUF:Q3_K_M
|
||||||
|
--ctx-size 16384
|
||||||
|
--n-gpu-layers 99
|
||||||
|
--prio 2
|
||||||
|
--temp 1.0
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--min-p 0.00
|
||||||
|
--top-k 64
|
||||||
|
--top-p 0.95
|
||||||
|
--no-mmproj
|
||||||
|
--port ${PORT}
|
||||||
|
|||||||
@@ -15,7 +15,7 @@ spec:
|
|||||||
- name: renovate
|
- name: renovate
|
||||||
# Update this to the latest available and then enable Renovate on
|
# Update this to the latest available and then enable Renovate on
|
||||||
# the manifest
|
# the manifest
|
||||||
image: renovate/renovate:41.43.5-full
|
image: renovate/renovate:41.43.7-full
|
||||||
envFrom:
|
envFrom:
|
||||||
- secretRef:
|
- secretRef:
|
||||||
name: renovate-gitea-token
|
name: renovate-gitea-token
|
||||||
|
|||||||
Reference in New Issue
Block a user