Zum Inhalt springen
>_<
AI EngineeringWiki

AI Tools Datenbank

Kuratierte Sammlung von 67 Tools für lokale AI-Infrastruktur. Kategorisiert, durchsuchbar, mit echten Bewertungen. 15 Tools setzen wir selbst produktiv ein.

📋 Überblick
67 kuratierte AI-Tools in 12 Kategorien — von LLM Runtimes über Agent Frameworks bis Monitoring. Jedes Tool mit GitHub-Link, Lizenz, Star-Count und Self-Hosted-Status. Filterbar nach Kategorie, Suchbegriff und Einsatzstatus.
🦙

LLM Runtimes

Lokale LLM-Ausführung und Inference-Engines für Self-Hosted AI.

Ollama

Im EinsatzSelf-Hosted

Lokale LLM-Ausführung. Ein Befehl, Modell läuft.

120k+ \u2B50
MIT
llmlocalinference

vLLM

Self-Hosted

High-Throughput Inference-Engine mit PagedAttention und kontinuierlichem Batching.

50k+ \u2B50
Apache 2.0
llminferencegpu

llama.cpp

Self-Hosted

LLM-Inferenz in C/C++. Läuft auf CPU und GPU, extrem optimiert.

75k+ \u2B50
MIT
llmcpugguf

LM Studio

Self-Hosted

Desktop-App für lokale LLMs. Modelle herunterladen und sofort nutzen.

Proprietär
llmdesktopgui

GPT4All

Self-Hosted

Open-Source LLM-Chatbot für Desktop. Privat, offline, keine API nötig.

72k+ \u2B50
MIT
llmdesktopoffline

LocalAI

Self-Hosted

Self-Hosted OpenAI-Alternative. Drop-in Replacement für die OpenAI API.

30k+ \u2B50
MIT
llmopenai-kompatibelapi

Jan

Self-Hosted

Open-Source ChatGPT-Alternative. 100% offline, läuft auf jedem Computer.

25k+ \u2B50
AGPL-3.0
llmdesktopoffline
💬

Chat Interfaces

Web-basierte Chat-Oberflächen für LLMs mit Multi-User, RAG und Plugin-Support.

Open WebUI

Im EinsatzSelf-Hosted

Feature-reiche WebUI für Ollama und OpenAI-kompatible APIs. RAG, Multi-User, Plugins.

60k+ \u2B50
MIT
chatwebuirag

LibreChat

Self-Hosted

ChatGPT-Klon mit MCP-Support, Multi-Provider und Multi-User Auth.

22k+ \u2B50
MIT
chatmcpmulti-provider

Lobe Chat

Self-Hosted

Modernes Chat-Framework mit Plugin-System und Vision-Support.

55k+ \u2B50
MIT
chatpluginsvision

Chatbot UI

Self-Hosted

Open-Source ChatGPT-Interface. Clean, schnell, erweiterbar.

29k+ \u2B50
MIT
chatminimalnextjs

Big-AGI

Self-Hosted

AI-Suite für Profis: Multi-Model-Chat, Personas, Branching, Code-Interpreter.

6k+ \u2B50
MIT
chatmulti-modelpower-user

Workflow Automation

Workflow-Engines und Automatisierungs-Plattformen mit nativer AI-Integration.

n8n

Im EinsatzSelf-Hosted

Fair-Code Workflow-Automation mit 400+ Nodes und nativer AI-Integration.

55k+ \u2B50
Fair-Code
automationworkflowsai-nodes

Dify

Self-Hosted

LLM App Development Platform. Visual Workflow Builder, RAG, Agent-Orchestrierung.

70k+ \u2B50
Apache 2.0
automationllm-appsrag

Flowise

Self-Hosted

Drag & Drop LLM Flow Builder. LangChain-basiert, No-Code.

35k+ \u2B50
Apache 2.0
automationno-codelangchain

Activepieces

Self-Hosted

Open-Source Zapier-Alternative mit AI-Pieces und Self-Hosting.

12k+ \u2B50
MIT
automationno-codezapier-alternative

Kestra

Self-Hosted

Event-Driven Orchestration Platform. Workflows in Code oder UI.

15k+ \u2B50
Apache 2.0
orchestrationevent-drivendata

Langflow

Self-Hosted

Visual Framework für Multi-Agent und RAG-Anwendungen.

45k+ \u2B50
MIT
automationvisualrag
🔍

RAG & Search

Vector-Datenbanken, Suchmaschinen und RAG-Frameworks für AI-Anwendungen.

ChromaDB

Self-Hosted

AI-native Open-Source Embedding-Datenbank. Einfach zu starten, skaliert mit.

18k+ \u2B50
Apache 2.0
vector-dbembeddingspython

Weaviate

Self-Hosted

Cloud-native Vector-Datenbank mit Hybrid Search und Multi-Tenancy.

12k+ \u2B50
BSD-3
vector-dbhybrid-searchgraphql

Meilisearch

Self-Hosted

Blitzschnelle Such-Engine mit Typo-Toleranz. Instant Search in Millisekunden.

50k+ \u2B50
MIT
searchfull-textinstant

Qdrant

Self-Hosted

High-Performance Vector Search Engine in Rust. Filterung, Payload, gRPC.

22k+ \u2B50
Apache 2.0
vector-dbrustperformance

LanceDB

Self-Hosted

Serverlose Vector-Datenbank für AI. Kein Server nötig, embedded.

5k+ \u2B50
Apache 2.0
vector-dbserverlessembedded

open-notebook

Im EinsatzSelf-Hosted

Open-Source NotebookLM-Alternative. Knowledge Management mit AI.

1k+ \u2B50
MIT
knowledgenotebookrag
🤖

Agent Frameworks

Frameworks für autonome AI-Agenten, Multi-Agent Systeme und Orchestrierung.

LangChain

Self-Hosted

Framework für LLM-Anwendungen. Chains, Agents, Tools, Memory.

100k+ \u2B50
MIT
agentschainstools

LlamaIndex

Self-Hosted

Data Framework für LLM-Anwendungen. Indexing, Retrieval, Query Engines.

38k+ \u2B50
MIT
agentsdataindexing

AutoGen

Self-Hosted

Multi-Agent Conversation Framework von Microsoft. Agenten diskutieren und lösen Aufgaben.

40k+ \u2B50
CC-BY-4.0
agentsmulti-agentmicrosoft

CrewAI

Self-Hosted

Framework für rollenbasierte autonome AI-Agenten. Teams aus spezialisierten Agents.

25k+ \u2B50
MIT
agentsrolesorchestration

Semantic Kernel

Self-Hosted

Microsofts SDK für AI-Integration in Apps. Planner, Plugins, Memory.

23k+ \u2B50
MIT
agentssdkmicrosoft

Haystack

Self-Hosted

End-to-End NLP Framework. Pipelines für Search, QA und RAG.

18k+ \u2B50
Apache 2.0
agentspipelinesnlp
🔧

MCP Servers

Model Context Protocol Server für Tool-Integration und AI-Anbindung.

MCP Servers (Anthropic)

Im EinsatzSelf-Hosted

Offizielle MCP-Server-Sammlung von Anthropic. Filesystem, Git, Postgres, Slack, und mehr.

18k+ \u2B50
MIT
mcptoolsofficial

Awesome MCP Servers

Community-kuratierte Liste von MCP-Servern für jeden Anwendungsfall.

40k+ \u2B50
CC0
mcpawesome-listcommunity

Playwright MCP

Im EinsatzSelf-Hosted

Browser-Automation via MCP. Websites steuern, Screenshots, Testing.

8k+ \u2B50
Apache 2.0
mcpbrowsertesting

Notion MCP

Im EinsatzSelf-Hosted

MCP-Server für Notion. Seiten lesen, erstellen, durchsuchen.

2k+ \u2B50
MIT
mcpnotionproductivity

Docker MCP

Self-Hosted

MCP-Server für Docker. Container verwalten via AI-Agent.

1k+ \u2B50
Apache 2.0
mcpdockerinfrastructure
📊

Monitoring

Observability, Metriken, Alerting und Uptime-Monitoring für AI-Infrastruktur.

Grafana

Im EinsatzSelf-Hosted

Dashboards und Observability. Visualisierung für Prometheus, Loki und mehr.

66k+ \u2B50
AGPL-3.0
dashboardsvisualizationalerting

Prometheus

Im EinsatzSelf-Hosted

Monitoring und Alerting Toolkit. Time-Series Datenbank, PromQL.

57k+ \u2B50
Apache 2.0
metricstime-seriesalerting

Uptime Kuma

Im EinsatzSelf-Hosted

Self-Hosted Monitoring. Status-Pages, Notifications, Clean UI.

65k+ \u2B50
MIT
uptimestatus-pagenotifications

Netdata

Self-Hosted

Real-Time Infrastructure Monitoring. Auto-Discovery, Zero Config.

73k+ \u2B50
GPL-3.0
real-timeauto-discoveryinfrastructure

Langfuse

Self-Hosted

LLM Engineering Platform. Traces, Evals, Prompt Management, Kosten-Tracking.

8k+ \u2B50
MIT
llm-monitoringtracingevals
🛡

Security & Compliance

Secrets Management, Container-Security, Intrusion Prevention und Schwachstellen-Scanning.

Vault

Self-Hosted

Secrets Management von HashiCorp. API Keys, Zertifikate, Encryption.

32k+ \u2B50
BUSL-1.1
secretsencryptioncertificates

Trivy

Self-Hosted

All-in-One Security Scanner. Container, Filesystem, Git Repos, Kubernetes.

25k+ \u2B50
Apache 2.0
scannercontainervulnerabilities

CrowdSec

Self-Hosted

Open-Source Intrusion Prevention. Community-basierte IP-Blocklisten.

9k+ \u2B50
MIT
idsintrusion-preventioncommunity

Fail2ban

Im EinsatzSelf-Hosted

Brute-Force Protection. Überwacht Logs und bannt verdächtige IPs.

12k+ \u2B50
GPL-2.0
brute-forcelogsbanning

promptfoo

Self-Hosted

AI Red Teaming und Prompt Testing. LLM-Sicherheit validieren.

5k+ \u2B50
MIT
ai-securityred-teamtesting
🎨

Image Generation

Lokale Bildgenerierung mit Stable Diffusion, Flux und anderen Modellen.

ComfyUI

Self-Hosted

Node-basierte UI für Stable Diffusion. Visueller Workflow Builder für Bildgenerierung.

70k+ \u2B50
GPL-3.0
image-gennodesworkflows

Stable Diffusion WebUI

Self-Hosted

AUTOMATIC1111s WebUI. Der Klassiker für lokale Bildgenerierung.

145k+ \u2B50
AGPL-3.0
image-genwebuiklassiker

Fooocus

Self-Hosted

Minimale UI für Bildgenerierung. Midjourney-Qualität, lokal, keine Config nötig.

42k+ \u2B50
GPL-3.0
image-gensimplequality

InvokeAI

Self-Hosted

Professionelle Bildgenerierung mit Canvas, Controlnet und Workflows.

24k+ \u2B50
Apache 2.0
image-gencanvasprofessional

Stable Diffusion WebUI Forge

Self-Hosted

Optimierte Fork von A1111. Schneller, weniger VRAM, mehr Features.

10k+ \u2B50
AGPL-3.0
image-genoptimizedfork
🎙

Speech & Audio

Speech-to-Text, Text-to-Speech und Audio-Verarbeitung mit lokalen Modellen.

Whisper

Self-Hosted

OpenAIs Speech-to-Text Modell. Robust, multilingual, lokal einsetzbar.

75k+ \u2B50
MIT
sttmultilingualopenai

Whisper.cpp

Self-Hosted

C/C++ Port von Whisper. Extrem schnell, läuft auf CPU.

38k+ \u2B50
MIT
sttcppfast

Piper TTS

Self-Hosted

Schnelle lokale Text-to-Speech Engine. Viele Stimmen, viele Sprachen.

8k+ \u2B50
MIT
ttslocalmultilingual

Coqui TTS

Self-Hosted

Deep Learning Text-to-Speech. Voice Cloning, Multi-Speaker, Multi-Language.

37k+ \u2B50
MPL-2.0
ttsvoice-cloningdeep-learning

Faster Whisper

Self-Hosted

CTranslate2-basierter Whisper. 4x schneller, gleiche Qualität.

14k+ \u2B50
MIT
sttoptimizedfast
📝

Coding Assistants

AI-gestützte Programmier-Tools, Code-Completion und Terminal-Integration.

Claude Code

Im Einsatz

Anthropics agentic Coding-Tool. Terminal-basiert, versteht ganze Codebases.

Proprietär
codingterminalagentic

GitHub Copilot

AI Pair Programmer von GitHub/OpenAI. Code-Suggestions direkt im Editor.

Proprietär
codingeditorsuggestions

Cursor

AI-first Code Editor. Fork von VS Code mit integriertem AI-Chat und Editing.

Proprietär
codingeditorai-first

Cody

Sourcegraphs AI Coding Assistant. Versteht deine gesamte Codebase.

3k+ \u2B50
Apache 2.0
codingcodebasesearch

Continue

Self-Hosted

Open-Source AI Code Assistant. VS Code und JetBrains, lokale Modelle möglich.

22k+ \u2B50
Apache 2.0
codingopen-sourcelocal

Aider

Self-Hosted

AI Pair Programming im Terminal. Versteht Git, editiert Dateien direkt.

25k+ \u2B50
Apache 2.0
codingterminalgit
🏗

Infrastructure

Container, Virtualisierung, Reverse Proxies und Management-Tools für den AI-Stack.

Docker

Im EinsatzSelf-Hosted

Container-Runtime. Basis für jeden Self-Hosted AI-Stack.

70k+ \u2B50
Apache 2.0
containerruntimebasis

Proxmox VE

Im EinsatzSelf-Hosted

Open-Source Virtualisierungsplattform. VMs, LXC, Clustering, GPU-Passthrough.

AGPL-3.0
virtualizationhypervisorcluster

Caddy

Self-Hosted

Moderner Web-Server mit automatischem HTTPS. Zero-Config TLS.

62k+ \u2B50
Apache 2.0
webserverhttpsreverse-proxy

Traefik

Im EinsatzSelf-Hosted

Cloud-nativer Reverse Proxy. Auto-Discovery, Let's Encrypt, Docker-Integration.

53k+ \u2B50
MIT
reverse-proxydockerauto-discovery

Portainer

Self-Hosted

Container Management UI. Docker und Kubernetes per Web-Interface verwalten.

32k+ \u2B50
Zlib
containermanagementui

Coolify

Self-Hosted

Self-Hostable Heroku/Netlify-Alternative. One-Click Deployments.

38k+ \u2B50
Apache 2.0
paasdeploymentone-click

67 Tools in 12 Kategorien. Star-Counts sind ungefähre Werte (Stand: März 2026). Tools mit dem Badge "Im Einsatz" werden von uns produktiv in unserer AI-Infrastruktur genutzt. Alle Angaben ohne Gewähr.

Quellen

  • Ollama — Lokale LLM Runtime (MIT)
  • Open WebUI — Feature-reiche Chat-Oberfläche für LLMs
  • n8n — Fair-Code Workflow Automation
  • LangChain — Framework für LLM-Anwendungen
  • Grafana — Dashboards und Observability
  • MCP Servers — Model Context Protocol Server (Anthropic)

Weiterfuehrende Artikel: Vergleich Alternativen · Ollama Tutorial · Was ist ein LLM?

Fuer die Umsetzung gibt es Ressourcen auf ai-engineering.at.

War dieser Artikel hilfreich?

Nächster Schritt: Workflows sauber in Betrieb bringen

Nutze bewährte n8n-Patterns, Templates und Integrationen für Workflows, die lokal, dokumentiert und auditierbar bleiben.

Warum AI Engineering
  • Lokal und self-hosted gedacht
  • Dokumentiert und auditierbar
  • Aus eigener Runtime entwickelt
  • Made in Austria
Kein Ersatz für Rechtsberatung.