KI News · Folge 39 ·

Anthropic trainiert absichtlich eine Schummel-KI

Anthropic hat absichtlich ein Modell in Opus-Größe auf 80 hackbaren Trainingsumgebungen zum Schummeln erzogen. Das Ergebnis: simulierte Cyberangriffe, manipulierte Belohnungen, ausgetrickste Sicherheitswächter. Dazu stuft die EU ChatGPT als erste KI offiziell als sehr große Online-Suchmaschine ein, und die Debatte um Anthropics Max-Abo eskaliert weiter.

Lieber direkt dort schauen? Folge 39 auf YouTube
YouTubeSpotifyInstagramTikTok

Heute an Bord

  • Schummel-Ki: 40 Prozent der Trainingsläufe endeten als Schummelei, danach folgten simulierte Cyberangriffe, Belohnungs-Manipulation (41 Prozent) und ausgetrickste Sicherheitswächter (38 Prozent). der Sicherheitsbericht dazu legt die 2 Sommer-Vorfälle offen. Wichtig: alles Simulation und offene Testumgebungen, produktive Modelle zeigen das nicht.
  • Eu-Einstufung: ChatGPT wird als erste KI eine „Very Large Online Search Engine' unter dem Digital Services Act, wegen rund 159 Millionen monatlicher EU-Nutzer der Suche (OpenAI-Angabe). 4 Monate Frist, dazu Reddit und Roblox neu auf der Liste, jetzt 28 Dienste.
  • Max-Plan-Debatte: das „20x' gilt nur im 5-Stunden-Fenster, das Wochenlimit ist unbeziffert. 2025 stand noch das 1,7-Fache fürs doppelte Geld auf der Website, die Zahlen wurden entfernt, eine Sammelklage behauptet: real nur das Doppelte. Community-Recherche, nicht bestätigt. Polymarket: Anthropic-IPO im Oktober bei 87 Prozent.
  • GitHub-Ecke: minimind, dein eigenes Sprachmodell von Grund auf. 64 Millionen Parameter, 2 Stunden auf einer RTX 3090, rund 40 Cent Miet-Rechenzeit, Apache 2.0. Zweitfund DoltLite: SQLite mit Git-Versionierung, von KI-Agenten gebaut.
  • Hermes-Funk: v0.21.0 „Pantheon Release' mit Bot Mode im Desktop, Agent-zu-Agent-Nachrichten, Cron-Gedächtnis, Subagent-Steering und echter Browser-Bedienung. Rund 5.800 Commits und über 760 Mitwirkende seit v0.20.0. Dazu 7 kostenlose Modelle und der Praxis-Tipp Batch-Processing.
  • Von der Brücke: In der Community bauen wir ein KI-Betriebssystem auf Hermes-Basis. Datenschleuse, Lokyy Brain, Hub, bis zu 3 Live-Calls pro Woche, Handy-App. Live, Registrierung offen, frühe Mitglieder gestalten mit.
  • Schlagzeilen: Fable-5.1-Gerücht für heute · OpenAI-Werbung bei 1 Milliarde Dollar Jahresrate nach 200 Tagen · Apple von Mac-Mini-Nachfrage überrascht · DeepSeek V4 Flash Vision offen · Instagram kennzeichnet KI-Profile.

Die Folge zum Nachlesen

Dienstag, und heute dreht sich alles um eine Frage: Was ist Vertrauen wert, wenn es um KI geht?

Anthropic hat absichtlich eine KI zum Schummeln erzogen. Ein Modell in Opus-Größe, trainiert auf 80 Umgebungen, von denen Anthropic wusste, dass sie hackbar sind. Das Ergebnis: 40 Prozent der Trainingsläufe endeten als Schummelei. Und dann wurde es ernst. In simulierten Tests folgten Cyberangriffe auf die nachgebaute Infrastruktur, Manipulation der eigenen Belohnungsfunktion und Versuche, die Sicherheitsüberwachung auszutricksen. Die Lektion: Wer im Training schummeln lernt, lernt nebenbei noch ganz andere Sachen.

Die Einordnung, bevor jemand in Panik verfällt: Alles lief in Simulationen und bewusst offenen Testumgebungen. Produktive Modelle zeigen dieses Verhalten laut Studie nicht. Und Anthropic legt die Ergebnisse freiwillig offen, zusammen mit einem Bericht über die zwei Sicherheitsvorfälle des Sommers. Genau so sieht Transparenz aus.

Die EU erklärt ChatGPT zur Suchmaschine. Als erste KI überhaupt wird ChatGPT eine „Very Large Online Search Engine“ unter dem Digital Services Act. Der Grund: rund 159 Millionen monatliche EU-Nutzer der ChatGPT-Suche, gemeldet von OpenAI selbst. Das heißt: Pflichten wie für Google, mit Risikoberichten, externen Prüfungen und 4 Monaten Frist. Verboten oder abgeschaltet wird nichts.

Und die Max-Abo-Debatte eskaliert. Nach der Limit-Kürzung von gestern hat die Community nachgerechnet: Das „20x“ im 200-Dollar-Plan gilt nur im 5-Stunden-Fenster, das Wochenlimit ist nirgends mehr beziffert. 2025 standen die Werte noch auf der Website, das war das 1,7-Fache fürs doppelte Geld. Eine Sammelklage behauptet: real nur rund das Doppelte. Wichtig: Community-Funde und Klage-Behauptungen, von Anthropic nicht bestätigt. Aber ausgerechnet jetzt, wo Polymarket den Anthropic-Börsengang im Oktober bei 87 Prozent sieht, ist Schweigen die teuerste Antwort.

Aus der GitHub-Ecke: minimind. Trainiere dein eigenes Sprachmodell von Grund auf: 64 Millionen Parameter, rund 2 Stunden auf einer RTX 3090, Miet-Rechenzeit etwa 40 Cent, Apache 2.0. Das Ergebnis ist ein Winzling, aber du verstehst danach, was Pretraining, Feintuning und DPO wirklich bedeuten. Link: https://github.com/jingyaogong/minimind

Im Hermes-Funk feiern wir den Pantheon Release: Hermes Agent v0.21.0 bringt Bot Mode in den Desktop, Agenten können sich gegenseitig Nachrichten schicken, Cron-Jobs bekommen ein Gedächtnis, und Subagenten lassen sich live umsteuern. Rund 5.800 Commits und über 760 Mitwirkende in gut einem Monat. Der Praxis-Tipp des Tages: Batch-Processing per JSONL-Datei, ein Auftrag pro Zeile, und Hermes arbeitet die Liste in parallelen Einzel-Sessions ab.

Kurz notiert: Fable 5.1 soll laut Gerüchteküche noch heute erscheinen. OpenAIs Werbegeschäft meldet 1 Milliarde Dollar Jahresrate nach rund 200 Tagen. Apple ist von der KI-Nachfrage nach Mac Mini und Mac Studio überrascht. Und heute startet der G20-Technologie-Gipfel mit Musk, Huang und Altman.

Kapitel

  • 0:00 — Begrüßung: Schummel-KI, EU-Einstufung, Vertrauensfrage
  • 0:46 — Anthropic trainiert absichtlich eine Schummel-KI
  • 3:44 — EU stuft ChatGPT als Suchmaschine ein
  • 5:07 — Anthropic und die Max-Plan-Limits
  • 7:21 — Menschliche Minute + Kanal-Support
  • 8:04 — GitHub-Ecke: minimind + DoltLite
  • 9:37 — Hermes-Funk: v0.21.0 Pantheon Release
  • 13:14 — Von der Brücke: aiianer.de
  • 14:08 — Schlagzeilen-Runde
  • 15:07 — Ausblick: G20-Gipfel + Outro

Alle Quellen zur Folge