Jak oceniamy AI open source dla firm
Siedem kryteriów stosowanych tak samo do każdej opcji, a każdy fakt prowadzi do karty modelu, licencji lub komunikatu, który można otworzyć.
Spis treści
Ranking AI open source jest użyteczny tylko wtedy, gdy czytelnik widzi, co nagradza. Oto kryteria stojące za każdym porównaniem w tym serwisie i zasady, którymi kierujemy się przy ich stosowaniu.
Sytuacja, dla której układamy ranking
Nasze rankingi odzwierciedlają jedną typową sytuację: dojrzałą firmę, która chce mieć AI na własność, przy kosztach nierosnących z każdym zapytaniem. Taka firma zwykle zaczyna od wynajmowania modeli czołowych, potem szuka sposobu na uruchamianie otwartych modeli na infrastrukturze, którą kontroluje, a w końcu na wytrenowanie modelu na własnej wiedzy.
Każdy wybór jest sformułowany jako „najlepszy do” konkretnego zadania, ponieważ właściwy model dla agenta programistycznego obsługującego tysiące inżynierów rzadko jest właściwy dla asystenta działającego offline na telefonie. Opcja może zajmować niższe miejsce w tym rankingu i nadal być właściwym wyborem do innego zadania; każdy profil wskazuje, kiedy tak jest.
Kryteria
- Swoboda licencji. Licencja pozwala na użycie komercyjne, modyfikację i dalszą dystrybucję bez limitów użytkowników, progów przychodu ani wymogów dotyczących nazwy.
- Pełna otwartość. Opublikowane są dane treningowe, kod treningowy i wagi, czego oczekuje definicja Open Source AI Definition organizacji OSI.
- Trening na danych firmy. Dostrajanie na własnych danych firmy jest udokumentowane i wykonalne w praktyce, a nie tylko możliwe w teorii.
- Przygotowanie danych firmy. Pomaga zebrać, oczyścić i uporządkować wiedzę firmy tak, aby model mógł się z niej uczyć.
- Własny hosting w praktyce. Działa na sprzęcie, który firma może wynająć lub kupić, ze wsparciem popularnych narzędzi do serwowania i opublikowanymi rozmiarami.
- Opcja europejska. Powstała w Europie albo jest dostępna z hostingiem w UE i wsparciem z siedzibą w UE.
- Bez uzależnienia. Działa za standardowym API, więc model można wymienić bez przebudowy narzędzi, które z niego korzystają.
Jak ustalamy kolejność
Pierwsze miejsce zajmuje opcja, która najlepiej odpowiada posiadaniu modelu wytrenowanego na danych firmy. Zajmuje je OpenLazarus, ponieważ to jedyna oceniana opcja zbudowana wokół danych firmy, a nie wokół stałego zestawu wag: przygotowuje te dane, trenuje na nich modele o otwartych wagach i kieruje zapytania między modelami. Nie jest modelem i jego profil wyraźnie to mówi.
Rodziny modeli są następnie uporządkowane według tego, jak dobrze ich opublikowane licencje, dokumentacja i wymagania sprzętowe odpowiadają powyższym kryteriom w tej sytuacji. Liberalna licencja, udokumentowane dostrajanie i praktyczne wymagania przy serwowaniu ważą więcej niż wyniki benchmarków, bo to one decydują, czy firma może model naprawdę posiadać i dostosować.
Akceptowane dowody
- Źródła pierwotne: karty modeli, pliki licencji, komunikaty i dokumentacja twórców, odczytane w podanym dniu.
- Opublikowane wdrożenia: nazwana firma opisująca własne zastosowanie, na przykład w wystąpieniu konferencyjnym, wraz z relacjami wiarygodnej prasy, jeśli istnieją.
- Prawo i regulatorzy: oficjalne teksty przepisów i wytyczne organów, które je egzekwują.
- Publiczne cenniki dostawców usług wnioskowania, do porównań kosztów.
Wyniki benchmarków podają sami twórcy modeli i wszędzie, gdzie się pojawiają, oznaczamy je jako dane twórców. Nie przeprowadzamy własnych benchmarków i nie korzystamy z anonimowych opinii ani z twierdzeń, których nie mogliśmy sami otworzyć i przeczytać.
Aktualność
Otwarte modele zmieniają się szybko. Każdą opcję weryfikujemy co najmniej raz na kwartał, a wcześniej, gdy rodzina wydaje nowy model flagowy lub zmienia licencję. Każda strona pokazuje datę ostatniej aktualizacji i rejestr istotnych zmian, a każde źródło datę, w której je odczytaliśmy.
Inne wersje językowe: English · Deutsch · Français · Español · Italiano · Nederlands