Compare commits
4 Commits
8b92831706
...
ebd0bed741
| Author | SHA1 | Date | |
|---|---|---|---|
| ebd0bed741 | |||
| 07c32643e7 | |||
| 9c61d47fda | |||
| 83e5cada3f |
@@ -19,7 +19,7 @@ spec:
|
|||||||
chart:
|
chart:
|
||||||
spec:
|
spec:
|
||||||
chart: redis
|
chart: redis
|
||||||
version: 21.2.13
|
version: 22.0.4
|
||||||
sourceRef:
|
sourceRef:
|
||||||
kind: HelmRepository
|
kind: HelmRepository
|
||||||
name: bitnami
|
name: bitnami
|
||||||
|
|||||||
@@ -9,3 +9,4 @@ resources:
|
|||||||
- frigate
|
- frigate
|
||||||
- llama
|
- llama
|
||||||
- immich
|
- immich
|
||||||
|
- searxng
|
||||||
|
|||||||
@@ -72,12 +72,14 @@ spec:
|
|||||||
"gemma3-12b-q2",
|
"gemma3-12b-q2",
|
||||||
"gemma3-12b-novision",
|
"gemma3-12b-novision",
|
||||||
"gemma3-4b",
|
"gemma3-4b",
|
||||||
"gemma3-4b-novision"
|
"gemma3-4b-novision",
|
||||||
|
"Qwen3-4B-Thinking-2507",
|
||||||
|
"Qwen3-4B-Thinking-2507-long-ctx"
|
||||||
]
|
]
|
||||||
titleConvo: true
|
titleConvo: true
|
||||||
titleModel: "current_model"
|
titleModel: "gemma3-4b-novision"
|
||||||
summarize: false
|
summarize: false
|
||||||
summaryModel: "current_model"
|
summaryModel: "gemma3-4b-novision"
|
||||||
forcePrompt: false
|
forcePrompt: false
|
||||||
modelDisplayLabel: "Llama.cpp"
|
modelDisplayLabel: "Llama.cpp"
|
||||||
imageVolume:
|
imageVolume:
|
||||||
|
|||||||
@@ -26,7 +26,7 @@ models:
|
|||||||
--jinja --chat-template-file /config/qwen_nothink_chat_template.jinja
|
--jinja --chat-template-file /config/qwen_nothink_chat_template.jinja
|
||||||
--no-warmup
|
--no-warmup
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
"gemma3n-e3b":
|
"gemma3n-e4b":
|
||||||
ttl: 600
|
ttl: 600
|
||||||
cmd: |
|
cmd: |
|
||||||
/app/llama-server
|
/app/llama-server
|
||||||
@@ -119,3 +119,59 @@ models:
|
|||||||
--no-mmproj
|
--no-mmproj
|
||||||
--no-warmup
|
--no-warmup
|
||||||
--port ${PORT}
|
--port ${PORT}
|
||||||
|
"Qwen3-4B-Thinking-2507":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3-4B-Thinking-2507-GGUF:Q4_K_M
|
||||||
|
-ngl 99 -c 16384 --predict 8192
|
||||||
|
--temp 0.6
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
"Qwen3-4B-Thinking-2507-long-ctx":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3-4B-Thinking-2507-GGUF:Q4_K_M
|
||||||
|
-ngl 99 -c 262144 --predict 81920
|
||||||
|
--temp 0.6
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.95
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--flash-attn
|
||||||
|
--cache-type-k q8_0 --cache-type-v q8_0
|
||||||
|
--port ${PORT}
|
||||||
|
"Qwen3-4B-Instruct-2507":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M
|
||||||
|
-ngl 99 -c 16384 --predict 8192
|
||||||
|
--temp 0.7
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--port ${PORT}
|
||||||
|
"Qwen3-4B-Instruct-2507-long-ctx":
|
||||||
|
ttl: 600
|
||||||
|
cmd: |
|
||||||
|
/app/llama-server
|
||||||
|
-hf unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M
|
||||||
|
-ngl 99 -c 262144 --predict 81920
|
||||||
|
--temp 0.7
|
||||||
|
--min-p 0.00
|
||||||
|
--top-p 0.8
|
||||||
|
--top-k 20
|
||||||
|
--repeat-penalty 1.0
|
||||||
|
--no-warmup
|
||||||
|
--flash-attn
|
||||||
|
--cache-type-k q8_0 --cache-type-v q8_0
|
||||||
|
--port ${PORT}
|
||||||
|
|||||||
1
apps/searxng/configs/settings.yml
Normal file
1
apps/searxng/configs/settings.yml
Normal file
@@ -0,0 +1 @@
|
|||||||
|
use_default_settings: true
|
||||||
42
apps/searxng/deployment.yaml
Normal file
42
apps/searxng/deployment.yaml
Normal file
@@ -0,0 +1,42 @@
|
|||||||
|
---
|
||||||
|
apiVersion: apps/v1
|
||||||
|
kind: Deployment
|
||||||
|
metadata:
|
||||||
|
name: searxng
|
||||||
|
namespace: searxng
|
||||||
|
spec:
|
||||||
|
replicas: 1
|
||||||
|
selector:
|
||||||
|
matchLabels:
|
||||||
|
app: searxng
|
||||||
|
template:
|
||||||
|
metadata:
|
||||||
|
labels:
|
||||||
|
app: searxng
|
||||||
|
spec:
|
||||||
|
containers:
|
||||||
|
- name: searxng
|
||||||
|
image: searxng/searxng:2025.8.12-6b1516d
|
||||||
|
ports:
|
||||||
|
- containerPort: 8080
|
||||||
|
env:
|
||||||
|
- name: SEARXNG_SECRET
|
||||||
|
valueFrom:
|
||||||
|
secretKeyRef:
|
||||||
|
name: searxng-secret
|
||||||
|
key: SEARXNG_SECRET
|
||||||
|
optional: false
|
||||||
|
volumeMounts:
|
||||||
|
- name: config-volume
|
||||||
|
mountPath: /etc/searxng/settings.yml
|
||||||
|
subPath: settings.yml
|
||||||
|
readOnly: true
|
||||||
|
- name: searxng-persistent-data
|
||||||
|
mountPath: /var/cache/searxng
|
||||||
|
volumes:
|
||||||
|
- name: config-volume
|
||||||
|
configMap:
|
||||||
|
name: searxng-config
|
||||||
|
- name: searxng-persistent-data
|
||||||
|
persistentVolumeClaim:
|
||||||
|
claimName: searxng-persistent-data
|
||||||
25
apps/searxng/ingress.yaml
Normal file
25
apps/searxng/ingress.yaml
Normal file
@@ -0,0 +1,25 @@
|
|||||||
|
---
|
||||||
|
apiVersion: networking.k8s.io/v1
|
||||||
|
kind: Ingress
|
||||||
|
metadata:
|
||||||
|
namespace: searxng
|
||||||
|
name: searxng
|
||||||
|
annotations:
|
||||||
|
cert-manager.io/cluster-issuer: letsencrypt
|
||||||
|
spec:
|
||||||
|
ingressClassName: nginx-ingress
|
||||||
|
rules:
|
||||||
|
- host: searxng.lumpiasty.xyz
|
||||||
|
http:
|
||||||
|
paths:
|
||||||
|
- backend:
|
||||||
|
service:
|
||||||
|
name: searxng
|
||||||
|
port:
|
||||||
|
number: 8080
|
||||||
|
path: /
|
||||||
|
pathType: Prefix
|
||||||
|
tls:
|
||||||
|
- hosts:
|
||||||
|
- searxng.lumpiasty.xyz
|
||||||
|
secretName: searxng-ingress
|
||||||
13
apps/searxng/kustomization.yaml
Normal file
13
apps/searxng/kustomization.yaml
Normal file
@@ -0,0 +1,13 @@
|
|||||||
|
apiVersion: kustomize.config.k8s.io/v1beta1
|
||||||
|
kind: Kustomization
|
||||||
|
resources:
|
||||||
|
- namespace.yaml
|
||||||
|
- pvc.yaml
|
||||||
|
- deployment.yaml
|
||||||
|
- service.yaml
|
||||||
|
- ingress.yaml
|
||||||
|
configMapGenerator:
|
||||||
|
- name: searxng-config
|
||||||
|
namespace: searxng
|
||||||
|
files:
|
||||||
|
- settings.yml=configs/settings.yml
|
||||||
5
apps/searxng/namespace.yaml
Normal file
5
apps/searxng/namespace.yaml
Normal file
@@ -0,0 +1,5 @@
|
|||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: Namespace
|
||||||
|
metadata:
|
||||||
|
name: searxng
|
||||||
13
apps/searxng/pvc.yaml
Normal file
13
apps/searxng/pvc.yaml
Normal file
@@ -0,0 +1,13 @@
|
|||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: PersistentVolumeClaim
|
||||||
|
metadata:
|
||||||
|
namespace: searxng
|
||||||
|
name: searxng-persistent-data
|
||||||
|
spec:
|
||||||
|
accessModes:
|
||||||
|
- ReadWriteOnce
|
||||||
|
resources:
|
||||||
|
requests:
|
||||||
|
storage: 1Gi
|
||||||
|
storageClassName: mayastor-single-ssd
|
||||||
14
apps/searxng/service.yaml
Normal file
14
apps/searxng/service.yaml
Normal file
@@ -0,0 +1,14 @@
|
|||||||
|
---
|
||||||
|
apiVersion: v1
|
||||||
|
kind: Service
|
||||||
|
metadata:
|
||||||
|
name: searxng
|
||||||
|
namespace: searxng
|
||||||
|
spec:
|
||||||
|
selector:
|
||||||
|
app: searxng
|
||||||
|
ports:
|
||||||
|
- protocol: TCP
|
||||||
|
port: 8080
|
||||||
|
targetPort: 8080
|
||||||
|
type: ClusterIP
|
||||||
@@ -10,7 +10,7 @@ machine:
|
|||||||
gateway: 2001:470:61a3:100:ffff:ffff:ffff:ffff
|
gateway: 2001:470:61a3:100:ffff:ffff:ffff:ffff
|
||||||
- network: 0.0.0.0/0
|
- network: 0.0.0.0/0
|
||||||
gateway: 192.168.1.1
|
gateway: 192.168.1.1
|
||||||
mtu: 1500
|
mtu: 1280
|
||||||
|
|
||||||
install:
|
install:
|
||||||
diskSelector:
|
diskSelector:
|
||||||
|
|||||||
Reference in New Issue
Block a user