Textový model LLaMa-3-8B-Instruct na notebooku s Intel Core Ultra 7 258V

Obsah

Instalace textového modelu meta-llama/Meta-Llama-3-8B-Instruct do notebooku s procesorem Intel(R) Core(TM) Ultra 7 258V 2.20 GHz, RAM 32,0 GB.. 1

Úvod. 2

Firma Meta. 2

Instalace prostředí a  modelu. 2

Program pro spuštění modelu: 3

Vytvoříte zástupce na ploše. 7

Závěr 7

Model meta-llama/Meta-Llama-3-8B-Instruct představuje pokročilý textový model, který nabízí řadu výhod. Jednou z hlavních výhod je, že tento model může běžet bez připojení k internetu a jeho výkon na GPU je poměrně rychlý. To z něj činí ideální volbu pro uživatele, kteří potřebují efektivní a rychlé textové zpracování bez závislosti na externích serverech.

Meta Platforms, Inc., známá také jako Meta, je americký technologický konglomerát se sídlem v Menlo Park, Kalifornie3. Firma byla založena v roce 2004 Markem Zuckerbergem spolu s Eduardem Saverinem, Andrew McCollumem, Dustinem Moskovitzem a Chrisem Hughesem3. Původně byla známá jako Facebook, Inc., a její hlavní produkt, sociální síť Facebook, se stal jedním z nejpopulárnějších na světě3. Meta také vlastní a provozuje další produkty a služby, jako jsou Instagram, Threads a WhatsApp4. Firma je součástí tzv. „velké pětky“ technologických společností, spolu s Google, Apple, Amazon a Microsoft3. Meta se zaměřuje na inovace v oblasti sociálních médií, virtuální reality a umělé inteligence, a její produkty jsou využívány miliardami lidí po celém světě3.

nainstalujte miniconda3

# potom spuste Anacona PowerShell Promt

CD LLaMA3_3_int8

conda create –name LLaMA3_3_int8 python=3.9

conda activate LLaMA3_3_int8

pip install nltk

python -m venv openvino_venv

.\openvino_venv\Scripts\activate

python.exe -m pip install –upgrade pip

pip install -U –pre openvino-genai openvino openvino-tokenizers[transformers] –extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nigh

pip install –extra-index-url https://download.pytorch.org/whl/cpu „git+https://github.com/huggingface/optimum-intel.git“ „git+https://github.com/openvinotoolkit/nncf.git“ „onnx<=1.16.1“

pip install –upgrade matplotlib nncf optimum

# přihlášení do Hugging Face pro první použití, včetně žádosti o token popužití modelu a tokenu pro export

huggingface-cli login

optimum-cli export openvino –model meta-llama/Meta-Llama-3-8B-Instruct –task text-generation-with-past –weight-format int8 –group-size 64 –ratio 1.0 ov_llama_8b_instruct_int8

# *****************************************************************

# pomocné příkazy, když se instalace nezdaří

conda remove –name LLaMA3_3_int8 –all

conda deactivate LLaMA3_3_int8

# (openvino_venv)

deactivate

# pip install –upgrade openvino-genai

import tkinter as tk

from tkinter import scrolledtext, messagebox, simpledialog

import openvino_genai

import time

import os

import gc

import psutil

import sys # Pro ukončení programu

# Funkce pro výběr zařízení

def select_device():

device_choice = simpledialog.askstring(

„Výběr zařízení“,

„Zadejte zařízení pro běh modelu:\n1. GPU\n2. CPU“,

parent=root

)

if device_choice == "1":

return „GPU“

elif device_choice == "2":

return „CPU“

else:

messagebox.showinfo("Neplatná volba", „Používá se výchozí zařízení: CPU.“)

return „CPU“

# Inicializace GUI

root = tk.Tk()

root.withdraw() # Skryje hlavní okno během výběru zařízení

# Výběr zařízení

device = select_device()

# Zobrazení hlavního okna

root.deiconify()

root.title("LLaMA Chat")

MODEL_DIR = „C:\\Users\\karel\\LLaMA3_3_int8\\ov_llama_8b_instruct_int8“

# Kontrola existence MODEL_DIR

if not os.path.exists(MODEL_DIR):

messagebox.showerror("Chyba", f"Složka MODEL_DIR nebyla nalezena:\n{MODEL_DIR}")

sys.exit(1) # Ukončení programu s chybovým kódem

def generate_response():

prompt = text_input.get("1.0", tk.END).strip()

response_output.delete("1.0", tk.END)

start_time = time.time() # Začátek měření času

for response in pipe.generate(prompt):

response_output.insert(tk.END, response)

end_time = time.time() # Konec měření času

response_time = end_time - start_time

time_label.config(text=f"Čas odpovědi: {response_time:.2f} sekund") # Aktualizace času odpovědi

def reset_conversation():

„""Resetuje aktuální konverzaci s modelem.“""

pipe.finish_chat() # Ukončení aktuální konverzace

pipe.start_chat() # Zahájení nové konverzace

response_output.delete("1.0", tk.END) # Vymazání výstupu

time_label.config(text="Čas odpovědi: ---") # Reset času odpovědi

messagebox.showinfo("Reset", „Konverzace byla resetována.“)

# Inicializace pipeline

pipe = openvino_genai.LLMPipeline(MODEL_DIR, device)

pipe.start_chat()

# Vytvoření GUI

tk.Label(root, text="Zadejte dotaz:").pack()

# Zvýšení velikosti textového pole pro dotazy o jednu třetinu

text_input = scrolledtext.ScrolledText(root, wrap=tk.WORD, width=66, height=13) # Původní šířka: 50, výška: 10

text_input.pack()

tk.Button(root, text="Odeslat", command=generate_response).pack()

tk.Button(root, text="Reset konverzace", command=reset_conversation).pack() # Tlačítko pro reset

tk.Label(root, text="Odpověď:").pack()

# Zvýšení velikosti textového pole pro odpovědi o jednu třetinu

response_output = scrolledtext.ScrolledText(root, wrap=tk.WORD, width=66, height=13) # Původní šířka: 50, výška: 10

response_output.pack()

# Štítek pro zobrazení času odpovědi

time_label = tk.Label(root, text="Čas odpovědi: ---", fg="blue")

time_label.pack()

root.mainloop()

V adresáři LLaMA3_3_int8 vytvoříte soubor spustit_model.bat do kterého nakopírujete obsah:

@echo off

%WINDIR%\System32\WindowsPowerShell\v1.0\powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\Users\karel\miniconda3\shell\condabin\conda-hook.ps1'; conda activate 'C:\Users\karel\miniconda3\envs\LLaMA3_3_int8'; .\openvino_venv\Scripts\activate; python start_modelu_GUI.py

Nezapomeňte naradit \karel\ názvem svého počítače.

Procesor Intel(R) Core(TM) Ultra 7 258V 2.20 GHz se ukázal být výkonným nástrojem pro spuštění modelu meta-llama/Meta-Llama-3-8B-Instruct, který má 8 miliard parametrů. Díky této kombinaci je možné využít tento textový model i na notebooku kde pro běh na GPU překonává rychlostí odpovědi i PC s kartou RTX, což zdůrazňuje flexibilitu a schopnost moderních technologií přinášet výkonné řešení přímo do rukou uživatelů.

Install textile modelu hramosil.cz