Provoz ChatGPT údajně stojí 700.000 USD denně

ChatGPT sice můžeme využívat zadarmo, je zde ale i předplatné ChatGPT Plus, které pomáhá trochu zaplatit obrovské finanční náklady na jeho provoz. Jak přesně vysoké jsou, to nevíme, společnost SemiAnalysis se je ale pokusila spočítat. Začala nicméně tím, že se pokusila odhadnout, kolik stojí jeden vyhledávací dotaz. Vzala čísla jako 320 tisíc vyhledávání na Googlu za sekundu, roční příjmy 162,5 mld. USD a vyšla jí částka 1,61 centu, pokud jde o příjmy z dotazu. Při provozní marži 34,15 % by tak náklady na jeden dotaz měly dle ní vyjít na 1,06 centu. To také ukazuje, pod co se musí dostat dotaz v chatbotech v nákladech, aby byl výnosnější za předpokladu, že budou stejné příjmy z dotazu.

 

 

Náklady na provoz ChatGPT je těžké odhadovat, protože např. neznáme přesnou cenu elektřiny, nicméně SemiAnalysis hovoří o tom, že OpenAI využívá okolo 3617 serverů HGX A100 s celkem 28936 GPU. V tomto případě se odhaduje cena na dotaz ve výši 0,36 centu, cena provozu jednoho GPU na zhruba 1 USD za hodinu a celkově se mluví o tom, že denní náklady by se měly pohybovat těsně pod hranicí 700 tisíc USD.

 

Zajímavý odhad je i v tom, kolik strojů by bylo potřeba na náhradu celého Googlu chatbotem ChatGPT (připomeňme, že ten slouží jako vyhledávač v Bingu, ale jeho primární účel je spíše tvořit nový obsah na základě starého, než jen papouškovat ten starý, což mu zas až tak dobře nejde). Společnost zde odhaduje, že by byla potřeba téměř 513 tisíc serverů HGX A100 s více než 4,1 milionu GPU. Cena serverů a sítí by mohla překročit 100 mld. USD, přičemž většina z toho by šla do kapsy Nvidie.

 

Zdroj: techspot.com, semianalysis.com