WebGPU-Entwicklung in München · kleinhirn

Builder: KLEINHIRN

Kleinhirn heißt der kleine Teil des Gehirns, der die Reflexe steuert. kleinhirn führt Encoder-Modelle direkt im Browser aus, auf deiner eigenen GPU, ohne Server dazwischen: Klassifikation, Embeddings, Named Entities und Reranking, geladen direkt aus Hugging-Face-Checkpoints aus sechs Modellfamilien. Die GPU-Kernel habe ich selbst in WGSL für WebGPU geschrieben, mit WASM-Fallback für Geräte ohne WebGPU. Dein Text verlässt nie das Gerät. In jedem bisherigen Benchmark ist es bis zu dreimal schneller als ONNX Runtime Web, Microsofts Standard für diese Aufgabe, und die Engine wiegt 47 KB gzip. Gebaut in München, Open Source unter Apache 2.0.

engine: 47 KB gzip
vs ORT Web: bis zu 3x schneller
code: GitHub

Noa Katana ist Creative Strategist, Creative Director und Creative Technologist in München. Er hat GAME für Yung Palo und Sony Music inszeniert, FiggDasGeld mit seinem Partner bis zum BMG-Signing gebracht, produziert seit 2020 Musik und baut Open-Source-Tools wie argmin, kleinhirn und Socratic Workshop. Er übernimmt Projekte in ganz Bayern und Deutschland.