Container — Genel Bakış

VisioAI AI inference işlemlerini Docker container’larında çalıştırır. Bu yaklaşım AI runtime bağımlılıklarını ana sistem bağımlılıklarından izole eder ve farklı framework’leri (PyTorch, ONNX Runtime, Ollama) aynı anda çalıştırmayı mümkün kılar.

Container Rolleri

Rol	Açıklama
Inference	Model çalıştıran ana container. Model keşfi destekler.
Service	Pipeline yardımcı servisi (ön/son işleme). Model yönetimi yok.
System	Altyapı container’ı (izleme, proxy).

Desteklenen Protokoller

Protokol	Açıklama
`VisioAI`	Edese native protokol (`/v1/*` endpoint’leri)
`HttpJson`	Basit HTTP JSON API
`OpenAI`	OpenAI uyumlu API (vLLM, LMStudio vb.)
`Ollama`	Ollama native API
`Triton`	NVIDIA Triton Inference Server
`None`	Protokol yok (system container)

Sağlık İzleme

VisioAI her container’ı 5 saniyede bir izler:

GET /v1/health — CPU, GPU, RAM, FPS telemetri
Container çalışıyor mu? (Docker daemon sorgusu)
Yanıt süresi eşiği aşılıyor mu?

Sağlık durumu Dashboard’da renkli gösterge ile görünür:

Renk	Durum
Yeşil	Çalışıyor, sağlıklı
Sarı	Çalışıyor ama yavaş yanıt veya uyarı
Kırmızı	Çalışmıyor veya yanıt vermiyor

⚠️

Sağlıksız container’a yönlendirilmiş bir inference node, pipeline döngüsünde Fail sonucu üretir. Alarm kurallarında container sağlık durumunu izleyin.

Uzak Container (Remote Inference)

Inference container aynı makinede çalışmak zorunda değildir. DetectionInference node’unda container_url parametresi ile uzak container adresi belirtilebilir:

mode: remote
container_url: http://gpu-server-01:8001/v1

Uzak container erişilemezse sistem yerel container’a otomatik geri döner (fallback).

Bu yaklaşım pahalı GPU donanımını paylaşmayı ve gerektiğinde birden fazla makineye yük dağıtmayı sağlar.

Container Listesi Sayfası

Container sayfasında şunlar görüntülenir:

Container adı ve image
Durum (çalışıyor / durdurulmuş / hata)
CPU ve GPU kullanımı (anlık)
Aktif model
Toplam inference sayısı (oturum başından)
Son sağlık kontrolü zamanı

Model Tipleri Container Ekleme