HomeBlogImpressumKontakt
© 2025 AnySite. All rights reserved.
ImpressumKontakt
Concorde — Lokales Vision-LLM für Rechnungen & PDFs | Dev-Log
2026
Back

Concorde - Vision LLM

Self-Hostingllama.cpp
Concorde PDF


Es war Freitagabend. Langer Tag, eigentlich müde. Dann die Idee: Was passiert, wenn ich Belege durch ein lokales Vision-LLM jage?

giphy-hooked-programmer


Und plötzlich saß ich da. Cursor offen, Kaffee kalt, Framework Desktop summt nebenher im Wohnzimmer.

Ich hab bis 4 Uhr nachts gecoded. Nicht weil ich musste. Weil ich hooked war. Gegen 4 Uhr hab ich den Laptop zugeklappt, der Desktop hat noch leise weitergebrummt, und ich dachte: Okay. Das war ein guter Freitagabend.

Aber warum überhaupt? Weil irgendwo zwischen Kassenbon und Excel-Tabellen ein Problem liegt, das eigentlich längst gelöst sein sollte.

Überall Papier. Kassenbons, Lieferscheine, Rechnungen. Gedruckt, abgeheftet, nochmal angeschaut, unterschrieben, kopiert. Und irgendwann: Shredder. Als ob der Baum sich gefragt hätte, wofür das alles war.

Gleichzeitig pumpen Firmen wie OpenAI und Anthropic Milliarden in KI-Rechenzentren. Strom, GPUs, Training, Forschung. Nonstop. Die Technologie, die theoretisch genau dieses Papierchaos lösen könnte, wächst exponentiell.

Und trotzdem? Irgendwo sitzt ein Praktikant und tippt Rechnungen in Excel ab.

Das ist doch widersprüchlich. Wir haben die Werkzeuge, aber im Alltag passiert… Papier. Und Abtippen. Und Ordner.

Alles digital

aber bitte ohne Mehrarbeit

Wir leben in einer Zeit, in der eigentlich alles digitalisiert werden sollte. Rechnungen, Belege, Scans. Irgendwo liegen PDFs rum, und irgendjemand tippt Zahlen ab. Oder schlimmer: niemand tippt sie ab, und sie verschwinden in einem Ordner namens Finanzen_2024_final_v3

Oder irgendein Praktikant wird beauftragt, ganze Ordner von Rechnungen abzutippen. Am besten noch in Excel.

Sollte das nicht Arbeit sparen?

Drowning in paper

Genau deshalb Concorde. Ein kleiner erster Schritt Richtung digitale Zukunft. Rechnung, Beleg oder Scan rein, strukturiertes JSON raus. Kein Copy-Paste. Kein Ratespiel. Und ja: ein LLM kann dabei helfen. Schnell. Ohne großes Setup. Ohne dass deine Belege erst mal in irgendeine US-Cloud wandern müssen.


Warum lokal?

Cloud-OCR gibt’s genug. OpenAI-kompatible APIs auch. Aber manchmal will man einfach nicht jedes Kundendokument an einen fremden Server schicken. Kein Account-Zwang. Kein „Vertrau uns“. Nur: eigene Hardware, eigenes Modell, eigene Regeln.

Mein Rechner schläft eh den ganzen Tag. Ein Framework Desktop, steht im Wohnzimmer. Summt manchmal vor sich hin, sonst ist er meistens ruhig. Verbraucht Strom, macht nicht viel, und wartet darauf, endlich mal was Sinnvolles zu tun.

AMD Ryzen AI

Der Name? Concorde. Ja, das Flugzeug. War damals so ein europäisches Gemeinschaftsprojekt. Passt irgendwie: nicht alles in die US-Cloud schicken, Daten bei sich behalten, nichts dauerhaft speichern. Und wer mag, kann das Ding komplett lokal laufen lassen.

concorde



Was Concorde macht

Concorde ist ein kleines Experiment: strukturierte Extraktion aus Dokumenten. Du lädst eine Rechnung, einen Beleg oder ein PDF hoch, definierst ein JSON-Schema, und bekommst typisierte Daten zurück. Händler, Datum, Positionen, Summe. Kein Copy-Paste. Kein Ratespiel.

Die Pipeline ist simpel:

  1. Upload: PDF oder Bild
  2. Rendering: Seiten werden fürs Modell vorbereitet
  3. Inference: lokales LLM liest und extrahiert
  4. JSON: strukturiert, schema-konform
pipeline magic



Einfach ein LLM.

Keine große Kunst. Ich wollte wenig Aufwand, gute Ergebnisse. Also: Webseite, API, und ein lokales Vision-LLM dahinter. NuExtract, quantisiert (Q8_0), läuft über llama.cpp. Fertig.

Das Ganze hängt auf einem AMD Ryzen AI 395+ im Framework Desktop im Wohnzimmer.


Probier’s aus

Wenn du neugierig bist: Schick Concorde eine Rechnung oder einen Beleg. Kein API-Key, kein Account, kein Tracking. Nur ein kostenloser Demo-Dienst zum Ausprobieren.

Lad ein Dokument hoch, spiel mit dem Schema, schau was rauskommt. Feedback willkommen, besonders wenn dein Beleg aussieht wie ein Foto aus dem Jahr 2003, das du mit der Handy-Kamera im Dunkeln geschossen hast.


Ups – ich brauche die Compute-Ressourcen gerade selbst, deshalb ist die Preview momentan offline. Danke fürs Ausprobieren! :)