SmartyTalent

Czy własne AI musi kosztować miliony? Sprawdziłem to. Kosztowało mnie 15 dolarów. 🍕🤖

Jeszcze kilka lat temu model GPT-2 od OpenAI był szczytem techniki. Dziś, dzięki instrukcjom Andreja Karpathy’ego, odtworzyłem go we własnym domu (a właściwie w chmurze) za równowartość dużej pizzy.

To doświadczenie otworzyło mi oczy na trzy rzeczy: 1️⃣ Technologia tanieje błyskawicznie. To, co kiedyś wymagało superkomputerów, dziś jest w zasięgu ręki pasjonata. 2️⃣ Dane to nowe złoto. Mój model uczył się szybciej niż oryginał z 2019 roku, bo użyłem lepszej jakości "podręczników" (dataset FineWeb). 3️⃣ Przepaść jest ogromna. Mimo sukcesu, zrozumiałem, dlaczego GPT-4 to inna liga. Mechanika jest ta sama, ale skala infrastruktury potrzebnej do użytecznego biznesowo modelu to koszty idące w miliony.

W nowym wpisie na blogu opisuję krok po kroku, jak to zrobiłem i czego nauczyła mnie ta lekcja "rozbierania silnika" AI na części pierwsze.

👇 Link do artykułu zostawiam w pierwszym komentarzu.