Jetzt ist Google am Zug: Gemini 4 durchgesickert, TPUs auf dem Vormarsch, Ingenieur kündigt wegen "zu schnellem Tempo"

Gemini 4GoogleWeltraum-RechenzentrumAI-RechenleistungTPU
vor 1 StundeQuelle: blockweeks.com
Jetzt ist Google am Zug: Gemini 4 durchgesickert, TPUs auf dem Vormarsch, Ingenieur kündigt wegen "zu schnellem Tempo"

Gemini 4 hat in den letzten zwei Tagen wirklich wie ein Sieb in den sozialen Medien geleakt.

Neue Checkpoints, neue Arbeiten, neue Vergleichsbilder, die eines nach dem anderen auftauchen.

Gerade eben hat Lumina eine weitere Reihe recht unterhaltsamer Tests veröffentlicht:

Derselbe "Pelikan, der Fahrrad fährt", mit zwei Checkpoints vor und nach Gemini 4 Pro, ergab direkt zwei völlig unterschiedliche Stile.

DeepMind

Checkpoint 1 wählte einen lebendigen Cartoon-Stil; Checkpoint 2 war merklich zurückhaltender, wie eine mechanische Strukturskizze.

Setzt man die beiden Checkpoints zusammen, sind die Spuren des Post-Trainings bereits deutlich sichtbar: Linien, Struktur und Detailbehandlung verändern sich alle. Die Fähigkeiten des Modells sind sichtbar um eine Stufe nach vorne gesprungen.

Und dies, ist bereits unzählig als der x-te vermutete neue Checkpoint von Gemini 4 Pro, der in der Arena auftaucht.

Während die Community noch fieberhaft Details ausgräbt, versteckt Google selbst es nicht mehr.

Diese Woche bestätigte der neue Leiter von Google DeepMind, Koray Kavukcuoglu, zum ersten Mal gegenüber den Medien: Gemini 4 hat bereits das frühe Post-Training erreicht.

DeepMind

△

Und sein Ziel ist es, es so schnell wie möglich zu veröffentlichen.

Wir haben die Ergebnisse gesehen, wir sind sehr begeistert, und wir werden die Arbeit in einem schnellen Iterationsmodus weiter vorantreiben.

Na also. Die Checkpoints, die Runde um Runde auftauchen, wärmen also vorab die Bühne für Gemini 4 auf?

Wie auch immer, aus Korays Tonfall geht die Hauptsache hervor: Wenn es früh veröffentlicht werden kann, wird es definitiv nicht spät veröffentlicht.

Und dieses Mal wird nicht nur das Modell beschleunigt. Google bereitet sich auch darauf vor, TPU-Chips ins All zu schicken.

Das neue Projekt steht kurz vor dem Start von Prototypentests, und sogar die KI-Computing-Infrastruktur beginnt, sich über die Erde hinaus auszudehnen.

Gemini 4, Eintritt in die Sprintphase

Es ist nicht überraschend, dass alle Gemini 4 so genau beobachten.

Schließlich hat Google vom vorherigen Flaggschiffmodell Gemini 3 bis jetzt einiges durchgemacht.

Ursprünglich sollte dieser Juni zuerst Gemini 3.5 Pro bringen. Google-CEO Sundar Pichai hat es sogar vorab auf der I/O-Entwicklerkonferenz im Mai angekündigt.

Am Ende wurde es nicht veröffentlicht.

DeepMind

Obwohl in der Zwischenzeit nacheinander Gemini 3.1 und mehrere Flash-Modelle aktualisiert wurden, trat 3.5 Pro nie offiziell auf.

Koray erklärte diesmal auch, dass das Team sich entschied, mittendrin "ein wenig zu pausieren", und zuerst Energie in die Flash-Serie steckte.

Und jetzt hat sich der Rhythmus wieder deutlich verändert.

Koray machte deutlich, dass sie die maximale Lern Geschwindigkeit in der kürzest möglichen Zeit erreichen wollen.

Hören Sie auf den Ton. Das macht fast Googles aktuellen Ansatz klar.

Obwohl nicht explizit gesagt wurde, ob Google das Gemini 3.5 Pro-Projekt offiziell abgebrochen hat, ist sicher, dass das Team seine gesamte Aufmerksamkeit auf Gemini 4 verlagert hat.

Gemini 3.5 Pro kann vorerst beiseite gelegt werden, aber Gemini 4s Training, Tests, Feedback und erneute Iteration müssen so schnell wie möglich Runde um Runde laufen.

DeepMind

Zu diesem Zweck hat Google bereits begonnen, gleichzeitig die internen Sicherheitsgarantien und Testprozesse von Gemini 4 aufzubauen. Derzeit läuft dieser Mechanismus bereits zuerst auf internen KI-Codierungstools.

An diesem Punkt wird es noch interessanter, die verdächtigen Gemini 4-Checkpoints, die kürzlich in der Arena aufgetaucht sind, erneut zu betrachten.

Mit Luminas neuester Veröffentlichung „Pelikan fährt Fahrrad“ hat sich das Zentrum der Diskussion von „Welcher Checkpoint ist besser“ zu „Wie weit hat Gemini 4 tatsächlich aufgeholt?“ verschoben.

DeepMind

Einige riefen direkt: Gemini ist zurück im Spiel, und glauben, dass Google, wenn diese Checkpoints echt sind, schnell die Lücke zu OpenAI /Anthropic schließt.

DeepMind

Andere sind der Meinung, dass es derzeit nicht gegen GPT-6 SOL bestehen kann und im Vergleich zur Mythos-Serie, die Anthropic diesen Frühling eingeführt und kürzlich aktualisiert hat, keinen überwältigenden Vorteil hat.

DeepMind

Angesichts der Zweifel ist Koray ziemlich zuversichtlich.

Ich bin voller Vertrauen in dieses Team. Wir werden definitiv immer an der Spitze sein.

Im August dieses Jahres, nachdem Hassabis sich aus dem Tagesgeschäft von Google DeepMind zurückgezogen hatte, übernahm Koray offiziell dieses Geschäft und dient weiterhin als Chief AI Architect von Google.

Wie Gemini als Nächstes läuft und wie schnell es läuft, ist Koray jetzt einer der kritischsten Entscheidungsträger.

Wie auch immer, seine Worte sind bereits draußen, und als Nächstes hängt es davon ab, ob Gemini 4 selbst sie einholen kann.

Herausforderung an Nvidia, TPU geht zum ersten Mal ins All

Wenn Sie nur Gemini 4 betrachten, könnte man leicht denken, dass Googles Modellteam in dieser Runde gerade erst wieder beschleunigt.

Tatsächlich ist es noch übertriebener, dass sogar die Rechenleistung begonnen hat, synchron aufs Gaspedal zu treten.

Koray erwähnte kürzlich deutlich, dass die Forschung und Entwicklung von DeepMinds Frontier-Modellen nun auch direkt auf Googles eigenes Hardware-Geschäft „zurückwirkt“.

Früher war TPU hauptsächlich hinter Google Cloud verborgen, und Kunden kauften Cloud-Dienste. Aber jetzt hat Google begonnen, TPU-Chips direkt zu verkaufen!

Das Ziel ist ziemlich klar: Nvidia herausfordern.

DeepMind

Außerdem werden das Modellteam und das Chip-Team immer enger aneinander gebunden.

Neue Anforderungen, die bei der Entwicklung von DeepMinds Modellen der nächsten Generation entstehen, werden vorab an die Hardware-Ingenieure weitergegeben, damit sie die nächsten zwei bis drei Generationen von TPU planen können.

Modell: Bruder, ich bereite mich darauf vor, in der nächsten Runde wieder ✕✕ Rechenleistung zu verbrauchen. Chip: Verstanden, ich fange jetzt an zu bauen.

Google arbeitet mit dem amerikanischen kommerziellen Satellitenunternehmen Planet zusammen und plant, Prototypen-Satelliten über SpaceX Falcon 9 zu starten, die 4 TPUs tragen werden, um ihre Fähigkeit zu testen, im Orbit zu operieren.

Das Projekt heißt „Project Suncatcher“.

Die Idee ist auch sehr Google: Da bodengestützte KI-Rechenzentren Strom verbrauchen, Land beanspruchen und große Mengen an Wasserkühlung benötigen, warum nicht einfach einen Teil der maschinellen Lerninfrastruktur in den Orbit verlegen, wo Solarenergie reichlicher vorhanden ist?

Derzeit ist es jedoch nur der erste Schritt.

Im Weltraum gibt es keine Möglichkeit, Wärme durch Luftkonvektion wie in bodengestützten Rechenzentren abzuleiten, und Chips, die kontinuierlich unter hoher Last laufen, werden schnell auf Probleme mit der Wärmeregulierung stoßen.

Laut Plan können die Chips etwa 15 Minuten im Weltraum betrieben werden, danach müssen sie abgeschaltet werden, um abzukühlen.

Diesmal geht es also eher darum, eines zu verifizieren: ob TPU zunächst im Orbit überleben und laufen kann.

Was die tatsächliche Verbindung Dutzender Satelliten zu einem Netzwerk mit Lasern und die Umwandlung in ein „Weltraum-KI-Rechenzentrum“ betrifft, ist das noch eine spätere Angelegenheit.

DeepMind

Andere kämpfen noch um Rechenzentrumsräume, während Google bereits begonnen hat, über Land im Himmel nachzudenken.

Doch gerade als alle bei Google nach Beschleunigung riefen, kündigte jemand im Team.

Der ehemalige Mozilla-Ingenieur Robert O'Callahan, der später zu DeepMind kam, kündigte gestern seinen Rücktritt an.

DeepMind

Der Grund war offenbar nicht, dass er Googles KI-Entwicklung als zu langsam verachtete, sondern eher „zu schnell“?

Robert trainierte nicht direkt Modelle, sondern war für Hardware-Chip-Design-Tools verantwortlich.

Doch während er daran arbeitete, entdeckte er, dass diese Tools das Design der nächsten Generation von KI-Chips beschleunigen und dadurch die Kosten und Latenz von KI weiter senken würden.

Seiner Ansicht nach bedeutete dies, dass künstliche Intelligenz billiger, effizienter und somit weiter verbreitet und leistungsfähiger werden würde.

Robert sprach mit DeepMind-Kollegen über KI-Risiken, und fast alle waren zutiefst besorgt darüber, aber viele äußerten es nicht öffentlich.

Darüber hinaus hatte Koray nicht die Absicht, aufzuhören, und fand sogar, dass „es noch schneller gehen muss.“

Zunächst dachte Robert nicht daran, direkt zu gehen, schließlich war die Bezahlung recht großzügig. Er wollte nur auf eine Ingenieursposition wechseln, die KI überhaupt nicht beschleunigte.

Aber begrenzt durch seine Region und seine Joboptionen, führte dieser Weg letztendlich zu nichts.

Noch eine Sache

Checkpoints, die wild auftauchen, TPUs, die in die Höhe schießen, Ingenieure, die kündigen. Wenn man diese Dinge in dieser Woche betrachtet, hat das etwas von schwarzem Humor.

Damals hatte die Leistung von Gemini 3 OpenAI einmal in „roten Alarm“ versetzt, aber Google selbst fiel dann bei seiner Flaggschiff-Kadenz um einen halben Schritt zurück.

Jetzt, mit Koray an der Spitze des Teams, entscheidet es sich, wieder zu beschleunigen und die Lerngeschwindigkeit auf das Maximum zu treiben. Und es ist nicht nur eine Produktlinie, die schneller wird; Modelle, Chips und organisatorische Kadenz beginnen alle, voranzudrängen.

Google: Es kann es sich wirklich nicht länger leisten zu warten.

Dieser Artikel stammt vom WeChat-öffentlichen Account „Quantum Bit“, Autor: Fokus auf Frontier-Technologie