Das Training für Anthropics neuestes KI-Flaggschiff war möglicherweise nicht unglaublich teuer

Das Training von Anthropics neuestem KI-Flaggschiff, Claude 3.7 Sonnet, kostete „einige zehn Millionen Dollar“ und erforderte weniger als 10^26 FLOPs Rechenleistung.

Das ist die Meinung des Wharton-Professors Ethan Mollick, der in einem X-Post am Montag eine Klarstellung weitergab, die er von Anthropics PR erhalten hatte. „Anthropic kontaktierte mich und sagte mir, dass Sonnet 3.7 kein 10^26-FLOP-Modell sein und mehrere zehn Millionen Dollar kosten würde“, schrieb er , „obwohl zukünftige Modelle viel größer sein werden.“

TechCrunch hat Anthropic um Bestätigung gebeten, zum Zeitpunkt der Veröffentlichung jedoch noch keine Antwort erhalten.

Angenommen, die Schulung für Claude 3.7 Sonnet kostete tatsächlich nur „einige zehn Millionen Dollar“, ohne Berücksichtigung der damit verbundenen Kosten, dann ist das ein Zeichen dafür, wie relativ günstig die Veröffentlichung hochmoderner Modelle geworden ist. Die Schulung für den Vorgänger von Claude 3.5 Sonnet, der im Herbst 2024 auf den Markt kam, kostete ebenfalls einige zehn Millionen Dollar , wie Anthropic-CEO Dario Amodei in einem kürzlich erschienenen Essay verriet.

Diese Summen sind im Vergleich zu den Trainingspreisen der Topmodelle von 2023 recht günstig. Laut OpenAI-CEO Sam Altman hat OpenAI mehr als 100 Millionen Dollar ausgegeben, um sein GPT-4-Modell zu entwickeln. Unterdessen hat Google fast 200 Millionen Dollar ausgegeben, um sein Gemini Ultra-Modell zu trainieren, schätzt eine Stanford-Studie.

Allerdings rechnet Amodei damit, dass zukünftige KI-Modelle Milliarden von Dollar kosten werden . Natürlich decken die Trainingskosten nicht die Arbeit ab, die für Sicherheitstests und Grundlagenforschung aufgewendet wird. Da die KI-Industrie zudem „logisch denkende“ Modelle einführt, die über längere Zeit an Problemen arbeiten, werden die Rechenkosten für die Ausführung der Modelle wahrscheinlich weiter steigen.