Lokale KI für den eigenen Rechner auswählen: Modelle lesen, Maschinen einschätzen, Zugänge vergleichen

Ein Protokoll zusammenfassen, Angaben aus einem Bericht heraussuchen: Dafür möchten Sie ein frei verfügbares Sprachmodell nutzen. Wie entscheiden Sie, ob eine lokale Nutzung eines freien Sprachmodells möglich ist? Hat Ihr Rechner genug Speicher für Modell und Texte? Welche Wege bleiben Ihnen, wenn Sie auf dem Dienstrechner nichts installieren können oder dürfen?
Im Workshop lernen Sie, Modellangaben und Lizenzen zu lesen– auch mit Blick darauf, was „frei und quelloffen“ im EU AI Act bedeutet. Sie schätzen Speicherbedarf und Wartezeiten ab und vergleichen den eigenen Rechner mit einem Server im Haus, einem wissenschaftlichen Rechenzentrum und einem europäischen Anbieter. So können Sie beurteilen, welcher Zugangsweg für Ihre Einrichtung infrage kommt und welche Fragen vorher geklärt werden müssen.

Inhalte des Workshops

• Eine Modellseite lesen: Größe und Lizenzkennung finden, fehlende Angaben zur Herkunft
  festhalten und die erlaubte Nutzung am Lizenztext prüfen. „Offene Gewichte“ allein
  beantworten die Lizenzfrage noch nicht
• Herkunft und Ausführungsort auseinanderhalten: Woher ein Modell stammt und wo die
  Eingabe verarbeitet wird, sind getrennte Fragen. Lokaler Betrieb klärt nicht automatisch,
  ob das Modell und das Material datenschutzgerecht eingesetzt werden dürfen
• Den Speicherbedarf abschätzen: Modelldatei, Speicher für den laufenden Text und zusät
  zliche Laufzeitpuffer. Die Dateifassung und die Bauart des Modells bestimmen mit, welche
  Textlänge auf ein Gerät passt
• Die Wartezeit einordnen: Eingaben verarbeiten und Antworten erzeugen belasten das
  Gerät unterschiedlich. Für die Antworterzeugung berechnen wir eine vereinfachte Tempo
  Obergrenze und vergleichen sie mit Messwerten; bei Modellen mit wechselnd aktiven
  Teilnetzen zählt der jeweils genutzte Anteil
• Vier Wege zum Modell vergleichen: eigener Rechner, Server im Haus, wissenschaftliches
  Rechenzentrum und europäischer Anbieter. Je Angebot und Tarif werden Zugang, Kosten,
  Betreiber, Verarbeitungsort, Trainingsnutzung und Protokollierung getrennt betrachtet
• Zugangsbedingungen lesen: Was die veröffentlichten Unterlagen beantworten, welche
  Angaben zur eigenen Einrichtung fehlen und wie eine gezielte Anfrage an den Betreiber
  aussieht

Praktische Übungen

Der Vormittag besteht überwiegend aus eigener Arbeit an vorbereiteten Modell- und Gerätesteck
briefen, Auszügen aus Nutzungsbedingungen und Fallvignetten aus Bibliotheken, Fachinforma
tionsstellen und Forschungseinrichtungen. Installiert wird nichts; die Modellseiten liegen als
datierte Abzüge vor.

• An drei Modellseiten Größe und Lizenzkennung ablesen, Herkunftsangaben oder deren Fehlen festhalten und eine Nutzungsfrage mit dem beigefügten Lizenzauszug abgleichen
• Für drei Gerätesteckbriefe den Speicherbedarf bei vorgegebenen Dateifassungen und Textlängen abschätzen
• Die Tempo-Obergrenze für zwei Geräteklassen berechnen, mit Messwerten vergleichen und
  die Wartezeit für eine vorgegebene Aufgabe einordnen
• Aus Nutzungsbedingungen ablesen, ob eine vorgegebene Einrichtungsart Zugang erhält;
  bei einer Lücke die nötige Rückfrage formulieren
• Drei Fallvignetten den vier Zugangswegen zuordnen und die Entscheidung mit den vorliegenden Angaben begründen

Ziel des Workshops

Teilnehmende lesen eine Modellseite auf Größe und Lizenzkennung und erkennen, welche Angaben zur Herkunft oder Nutzung noch fehlen. Sie schätzen den Speicherbedarf einer vorgegebenen Modellfassung samt Textlänge ab und ordnen Rechenwerte anhand gemessener Antwortgeschwindigkeiten ein. Sie vergleichen Zugangswege für einen konkreten Fall und formulieren
Rückfragen, wenn veröffentlichte Bedingungen keine Entscheidung erlauben. Eine datierte Übersicht der Modelle, Zugangswege und Bedingungen geht als Handout mit. Der Workshop vertieft „Lokale KI am eigenen Arbeitsplatz“. Die dort eingeführte Quantisierung– die Speicherpräzision der Modellgewichte– wird für die Rechenbeispiele kurz aufgegriffen; die
Gerätesteckbriefe geben die jeweilige Stufe vor. „Texte und Tabellen an lokale KI übergeben“ behandelt die Eignung für Aufgaben und die Materialübergabe. Die Installation wird in „Lokale KI über eine grafische Oberfläche einrichten“ geübt.

Referent

Peter Kocmann ist IT-Didaktiker und Spezialist für angewandte KI. Er lehrt am Weiterbildungszentrum der Freien Universität Berlin und an der Charité Fortbildungsakademie und beschäftigt sich mit der Auswahl und Bewertung von KI-Werkzeugen für die berufliche Praxis. Seine ITS-Fachzertifikate umfassen unter anderem Artificial Intelligence, Cloud Computing und Cybersecurity.

Teilnehmendenanzahl

8 bis 12 Personen

Tool / Technik

Eine Vorbereitung ist nicht nötig; es wird keine Software installiert und kein Konto angelegt.
Steckbriefe, Ordnungsauszüge und Rechenblätter werden zu Beginn ausgeteilt.
Benötigt wird ein internetfähiges Endgerät (PC oder Laptop). Die Seminare finden über Zoom
statt. Für Zoom benötigen Sie zudem eine Webcam sowie ein Headset oder ein anderes Audiosys
tem.

• Technische Ausstattung: ein Computer oder Laptop mit stabiler Internetverbindung.
• Software: keine – die Modelle und Vergleiche führt der Referent vor.
• Kenntnisse: grundlegende Computerkenntnisse und Alltagserfahrung mit einem KI-Dienst.
  Programmierkenntnisse sind nicht erforderlich.
  Das Webinar richtet sich an
  Mitarbeitende aus Bibliotheken, Informationseinrichtungen, Archiven, Wissenschaftsmanagement
  und Verwaltungen, die vor der Auswahl eines Sprachmodells stehen– und besonders diejenigen,
  die auf dem Dienstrechner nichts installieren dürfen und wissen möchten, welche Wege ihnen
  trotzdem offenstehen.

Kosten

EUR 88,00- zzgl. 7% MwSt. (DGI-Mitglieder)
EUR 104,00- zzgl. 7% MwSt. (Nicht-Mitglieder)