Techtopia

Techtopia 380: Hvor meget strøm kræver en prompt?

Informações:

Synopsis

Ved du egentlig, hvor meget strøm, du bruger, hver gang du skriver en prompt i en AI app?Hvor meget strøm kræves der egentlig for at lave en prompt? Det har vi diskuteret i et stykke tid uden, at vi egentlig har fået et svar. Jeg har hørt flere folk læne sig op ad en påstand om, at en prompt svarer til 40 mobilopladninger, hvilket står i stærk konstrast til, at jeg på min smartphone har en lokal app, der kan køre fleres forskellige sprogmodeller lokalt - uden at det dræner mit batteri nævneværdigt. Og nu hævder Google, at en prompt på deres AI tjeneste Gemini svarer til at se tv i 9 sekunder.Her i Techtopia har jeg også talt med kloge folk, som har redegjort for forskellige estimater, men problemet har hidtil været, at AI virksomhederne har holdt deres tal for sig selv - det har simpelthen knebet med transparens.Men på det seneste er der kommet tal fra både franske Mistral og amerikanske OpenAI. Og for et par uger siden udgav Google det hidtil mest omfattendes whitepaper om energiforbruget på firmaets AI-tjen