remove ollama
This commit is contained in:
@@ -4,7 +4,6 @@ resources:
|
|||||||
- gitea
|
- gitea
|
||||||
- registry
|
- registry
|
||||||
- renovate
|
- renovate
|
||||||
- ollama
|
|
||||||
- librechat
|
- librechat
|
||||||
- frigate
|
- frigate
|
||||||
- llama
|
- llama
|
||||||
|
|||||||
@@ -39,26 +39,6 @@ spec:
|
|||||||
|
|
||||||
endpoints:
|
endpoints:
|
||||||
custom:
|
custom:
|
||||||
- name: "Ollama"
|
|
||||||
apiKey: "ollama"
|
|
||||||
baseURL: "http://ollama.ollama.svc.cluster.local:11434/v1/chat/completions"
|
|
||||||
models:
|
|
||||||
default: [
|
|
||||||
"llama2",
|
|
||||||
"mistral",
|
|
||||||
"codellama",
|
|
||||||
"dolphin-mixtral",
|
|
||||||
"mistral-openorca"
|
|
||||||
]
|
|
||||||
# fetching list of models is supported but the `name` field must start
|
|
||||||
# with `ollama` (case-insensitive), as it does in this example.
|
|
||||||
fetch: true
|
|
||||||
titleConvo: true
|
|
||||||
titleModel: "current_model"
|
|
||||||
summarize: false
|
|
||||||
summaryModel: "current_model"
|
|
||||||
forcePrompt: false
|
|
||||||
modelDisplayLabel: "Ollama"
|
|
||||||
- name: "Llama.cpp"
|
- name: "Llama.cpp"
|
||||||
apiKey: "llama"
|
apiKey: "llama"
|
||||||
baseURL: "http://llama.llama.svc.cluster.local:11434/v1"
|
baseURL: "http://llama.llama.svc.cluster.local:11434/v1"
|
||||||
|
|||||||
@@ -1,68 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: apps/v1
|
|
||||||
kind: Deployment
|
|
||||||
metadata:
|
|
||||||
name: ollama-proxy
|
|
||||||
namespace: ollama
|
|
||||||
spec:
|
|
||||||
replicas: 1
|
|
||||||
selector:
|
|
||||||
matchLabels:
|
|
||||||
app.kubernetes.io/name: ollama-proxy
|
|
||||||
template:
|
|
||||||
metadata:
|
|
||||||
labels:
|
|
||||||
app.kubernetes.io/name: ollama-proxy
|
|
||||||
spec:
|
|
||||||
containers:
|
|
||||||
- name: caddy
|
|
||||||
image: caddy:2.10.0-alpine
|
|
||||||
imagePullPolicy: IfNotPresent
|
|
||||||
volumeMounts:
|
|
||||||
- mountPath: /etc/caddy
|
|
||||||
name: proxy-config
|
|
||||||
env:
|
|
||||||
- name: API_KEY
|
|
||||||
valueFrom:
|
|
||||||
secretKeyRef:
|
|
||||||
name: ollama-api-key
|
|
||||||
key: API_KEY
|
|
||||||
volumes:
|
|
||||||
- name: proxy-config
|
|
||||||
configMap:
|
|
||||||
name: ollama-proxy-config
|
|
||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: ConfigMap
|
|
||||||
metadata:
|
|
||||||
namespace: ollama
|
|
||||||
name: ollama-proxy-config
|
|
||||||
data:
|
|
||||||
Caddyfile: |
|
|
||||||
http://ollama.lumpiasty.xyz {
|
|
||||||
|
|
||||||
@requireAuth {
|
|
||||||
not header Authorization "Bearer {env.API_KEY}"
|
|
||||||
}
|
|
||||||
|
|
||||||
respond @requireAuth "Unauthorized" 401
|
|
||||||
|
|
||||||
reverse_proxy ollama:11434 {
|
|
||||||
flush_interval -1
|
|
||||||
}
|
|
||||||
}
|
|
||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: Service
|
|
||||||
metadata:
|
|
||||||
namespace: ollama
|
|
||||||
name: ollama-proxy
|
|
||||||
spec:
|
|
||||||
type: ClusterIP
|
|
||||||
selector:
|
|
||||||
app.kubernetes.io/name: ollama-proxy
|
|
||||||
ports:
|
|
||||||
- name: http
|
|
||||||
port: 80
|
|
||||||
targetPort: 80
|
|
||||||
protocol: TCP
|
|
||||||
@@ -1,28 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: networking.k8s.io/v1
|
|
||||||
kind: Ingress
|
|
||||||
metadata:
|
|
||||||
namespace: ollama
|
|
||||||
name: ollama
|
|
||||||
annotations:
|
|
||||||
cert-manager.io/cluster-issuer: letsencrypt
|
|
||||||
acme.cert-manager.io/http01-edit-in-place: "true"
|
|
||||||
nginx.ingress.kubernetes.io/proxy-buffering: "false"
|
|
||||||
nginx.ingress.kubernetes.io/proxy-read-timeout: 30m
|
|
||||||
spec:
|
|
||||||
ingressClassName: nginx-ingress
|
|
||||||
rules:
|
|
||||||
- host: ollama.lumpiasty.xyz
|
|
||||||
http:
|
|
||||||
paths:
|
|
||||||
- backend:
|
|
||||||
service:
|
|
||||||
name: ollama-proxy
|
|
||||||
port:
|
|
||||||
number: 80
|
|
||||||
path: /
|
|
||||||
pathType: Prefix
|
|
||||||
tls:
|
|
||||||
- hosts:
|
|
||||||
- ollama.lumpiasty.xyz
|
|
||||||
secretName: ollama-ingress
|
|
||||||
@@ -1,8 +0,0 @@
|
|||||||
apiVersion: kustomize.config.k8s.io/v1beta1
|
|
||||||
kind: Kustomization
|
|
||||||
resources:
|
|
||||||
- namespace.yaml
|
|
||||||
- release.yaml
|
|
||||||
- secret.yaml
|
|
||||||
- auth-proxy.yaml
|
|
||||||
- ingress.yaml
|
|
||||||
@@ -1,5 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: Namespace
|
|
||||||
metadata:
|
|
||||||
name: ollama
|
|
||||||
@@ -1,60 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: source.toolkit.fluxcd.io/v1
|
|
||||||
kind: HelmRepository
|
|
||||||
metadata:
|
|
||||||
name: ollama-helm
|
|
||||||
namespace: ollama
|
|
||||||
spec:
|
|
||||||
interval: 24h
|
|
||||||
url: https://otwld.github.io/ollama-helm/
|
|
||||||
---
|
|
||||||
apiVersion: helm.toolkit.fluxcd.io/v2
|
|
||||||
kind: HelmRelease
|
|
||||||
metadata:
|
|
||||||
name: ollama
|
|
||||||
namespace: ollama
|
|
||||||
spec:
|
|
||||||
interval: 30m
|
|
||||||
chart:
|
|
||||||
spec:
|
|
||||||
chart: ollama
|
|
||||||
version: 1.25.0
|
|
||||||
sourceRef:
|
|
||||||
kind: HelmRepository
|
|
||||||
name: ollama-helm
|
|
||||||
namespace: ollama
|
|
||||||
interval: 12h
|
|
||||||
values:
|
|
||||||
ollama:
|
|
||||||
gpu:
|
|
||||||
enabled: false
|
|
||||||
persistentVolume:
|
|
||||||
enabled: true
|
|
||||||
storageClass: mayastor-single-hdd
|
|
||||||
size: 200Gi
|
|
||||||
# GPU support
|
|
||||||
# Rewrite of options in
|
|
||||||
# https://hub.docker.com/r/grinco/ollama-amd-apu
|
|
||||||
image:
|
|
||||||
repository: grinco/ollama-amd-apu
|
|
||||||
tag: vulkan
|
|
||||||
securityContext:
|
|
||||||
# Not ideal
|
|
||||||
privileged: true
|
|
||||||
capabilities:
|
|
||||||
add:
|
|
||||||
- PERFMON
|
|
||||||
volumeMounts:
|
|
||||||
- name: kfd
|
|
||||||
mountPath: /dev/kfd
|
|
||||||
- name: dri
|
|
||||||
mountPath: /dev/dri
|
|
||||||
volumes:
|
|
||||||
- name: kfd
|
|
||||||
hostPath:
|
|
||||||
path: /dev/kfd
|
|
||||||
type: CharDevice
|
|
||||||
- name: dri
|
|
||||||
hostPath:
|
|
||||||
path: /dev/dri
|
|
||||||
type: Directory
|
|
||||||
@@ -1,38 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: v1
|
|
||||||
kind: ServiceAccount
|
|
||||||
metadata:
|
|
||||||
name: ollama-proxy
|
|
||||||
namespace: ollama
|
|
||||||
---
|
|
||||||
apiVersion: secrets.hashicorp.com/v1beta1
|
|
||||||
kind: VaultAuth
|
|
||||||
metadata:
|
|
||||||
name: ollama
|
|
||||||
namespace: ollama
|
|
||||||
spec:
|
|
||||||
method: kubernetes
|
|
||||||
mount: kubernetes
|
|
||||||
kubernetes:
|
|
||||||
role: ollama-proxy
|
|
||||||
serviceAccount: ollama-proxy
|
|
||||||
---
|
|
||||||
apiVersion: secrets.hashicorp.com/v1beta1
|
|
||||||
kind: VaultStaticSecret
|
|
||||||
metadata:
|
|
||||||
name: ollama-api-key
|
|
||||||
namespace: ollama
|
|
||||||
spec:
|
|
||||||
type: kv-v2
|
|
||||||
|
|
||||||
mount: secret
|
|
||||||
path: ollama
|
|
||||||
|
|
||||||
destination:
|
|
||||||
create: true
|
|
||||||
name: ollama-api-key
|
|
||||||
type: Opaque
|
|
||||||
transformation:
|
|
||||||
excludeRaw: true
|
|
||||||
|
|
||||||
vaultAuthRef: ollama
|
|
||||||
Reference in New Issue
Block a user