Jak uruchomić Meta's Llama 3 na swoim komputerze

Meta, firma znana wcześniej jako Facebook, zaprezentowała niedawno Llamę 3, najnowszą wersję swojego dużego modelu językowego. Ten zaawansowany model jest dostępny w dwóch wersjach: wersji z ośmioma miliardami (8B) parametrów i wersji z 70 miliardami (70B) parametrów. W tym artykule zbadamy, jak uruchomić lokalnie wersję Llama 3 z parametrami 8B, co jest bardziej wykonalną opcją w przypadku standardowych komputerów stacjonarnych lub laptopów, które mogą mieć problemy z uruchomieniem większej wersji 70B.

Przegląd wydajności Lamy 3

Lama 3 to imponujący model dużego języka. Wersja z parametrami 8B, wytrenowana przy użyciu 1,3 miliona godzin czasu procesora graficznego, pod kilkoma względami przewyższa swoją poprzedniczkę, Llamę 2. Na przykład jest o 34% lepsza niż wersja Llama 2 z 7 miliardami parametrów i 14% lepsza niż wersja z 13 miliardami parametrów. Co ciekawe, wersja Lamy 3 z parametrami 8B przewyższa nawet wydajność wersji Lamy 2 z parametrami 13 miliardów. W porównaniu z wersją Lamy 2 z parametrami 70B jest ona gorsza tylko o 8%, co czyni ją imponującym modelem ze względu na swoje rozmiary.

Data graniczna wersji Lamy 3 z parametrami 8B przypada na marzec 2023 r., natomiast wersja 70B obowiązuje do grudnia 2023 r. W rezultacie wystąpią rozbieżności w informacjach w świecie rzeczywistym między nimi.

Aby uruchomić Llamę 3 w systemie Windows, użyjemy LM Studio.

1. Aby rozpocząć, odwiedź lmstudio.ai i pobierz odpowiednią wersję LM Studio dla swojego systemu.
2. Po pobraniu zainstaluj LM Studio.
3. Otwórz LM Studio.
4. Po wejściu do LM Studio upewnij się, że pobrano model Lamy 3. Jeśli jest już zainstalowany, powinien wyświetlić się na stronie głównej. Jeśli tak nie jest, użyj paska wyszukiwania lub ikony wyszukiwania na pionowym pasku po lewej stronie, aby go znaleźć, a następnie pobierz.
5. Po zainstalowaniu Llama 3 kliknij przycisk Czat AI ikona na lewym pionowym pasku w LM Studio. Otworzy się interfejs czatu podobny do ChatGPT.
6. Kliknij Wybierz model do załadowania na górze strony. Wybierz właśnie pobraną aplikację Llama 3 LLM. LM Studio załaduje model, co może zająć kilka sekund.
7. Możesz teraz rozmawiać z Lamą 3 na swoim urządzeniu.

Warto zauważyć, że jeśli nie używasz komputera z systemem Windows, LM Studio może być również używane przez właścicieli komputerów Mac z nowymi procesorami M (M1, M2 i M3). Dostępna jest także wersja beta dla systemu Linux.

Jak uruchomić Llamę 3 za pomocą Ollama

Alternatywnie możesz uruchomić Llamę 3 lokalnie, korzystając z projektu Ollama. Ta metoda spodoba się tym, którzy chcą uruchomić LLM na Raspberry Pi.

W przypadku komputerów Mac i Windows odwiedź stronę oolama.com i pobierz wersję zgodną z Twoim systemem operacyjnym. Jeśli używasz Linuksa (lub chcesz zainstalować Llamę 3 na swoim Raspberry Pi), po prostu skopiuj i wklej dostarczony wiersz, aby pobrać i uruchomić skrypt instalacyjny. Po zainstalowaniu możesz uruchomić Llamę 3 bezpośrednio z wybranej aplikacji terminalowej.