Compare commits
2 Commits
f4d99dcd06
...
d1b30c7e61
| Author | SHA1 | Date | |
|---|---|---|---|
| d1b30c7e61 | |||
| 708ffe203c |
@@ -18,7 +18,7 @@ spec:
|
|||||||
chart:
|
chart:
|
||||||
spec:
|
spec:
|
||||||
chart: librechat
|
chart: librechat
|
||||||
version: 1.8.10
|
version: 1.9.1
|
||||||
sourceRef:
|
sourceRef:
|
||||||
kind: HelmRepository
|
kind: HelmRepository
|
||||||
name: dynomite567-charts
|
name: dynomite567-charts
|
||||||
@@ -54,7 +54,10 @@ spec:
|
|||||||
"gemma3-4b",
|
"gemma3-4b",
|
||||||
"gemma3-4b-novision",
|
"gemma3-4b-novision",
|
||||||
"Qwen3-4B-Thinking-2507",
|
"Qwen3-4B-Thinking-2507",
|
||||||
"Qwen3-4B-Thinking-2507-long-ctx"
|
"Qwen3-4B-Thinking-2507-long-ctx",
|
||||||
|
"Qwen2.5-VL-7B-Instruct-GGUF",
|
||||||
|
"Qwen2.5-VL-32B-Instruct-GGUF-IQ1_S",
|
||||||
|
"Qwen2.5-VL-32B-Instruct-GGUF-Q2_K_L"
|
||||||
]
|
]
|
||||||
titleConvo: true
|
titleConvo: true
|
||||||
titleModel: "gemma3-4b-novision"
|
titleModel: "gemma3-4b-novision"
|
||||||
|
|||||||
@@ -175,3 +175,42 @@ models:
|
|||||||
--flash-attn
|
--flash-attn
|
||||||
--cache-type-k q8_0 --cache-type-v q8_0
|
--cache-type-k q8_0 --cache-type-v q8_0
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
|
"Qwen2.5-VL-32B-Instruct-GGUF-IQ1_S":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen2.5-VL-32B-Instruct-GGUF:IQ1_S
|
||||||
|
-ngl 99 -c 16384 --predict 8192
|
||||||
|
--temp 0.7
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
"Qwen2.5-VL-32B-Instruct-GGUF-Q2_K_L":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen2.5-VL-32B-Instruct-GGUF:Q2_K_L
|
||||||
|
-ngl 99 -c 16384 --predict 8192
|
||||||
|
--temp 0.7
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
"Qwen2.5-VL-7B-Instruct-GGUF":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen2.5-VL-7B-Instruct-GGUF:Q4_K_M
|
||||||
|
-ngl 37 -c 16384 --predict 8192
|
||||||
|
--temp 0.7
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
|||||||
Reference in New Issue
Block a user