Jste začátečník, sekretářka, pracujete se spoustou dokumentů, jak na vašem počítači pracovat s AI a dokumenty, abyste se mohli již dokumentů, plných GDPR citlivých informací ptát a neriskovali jste tak únik citlivých dat z organizace ven?
1. Máte LM Studio?
Pokud ne, tento návod vás s tím seznámí, naučí. Pokud ano, jděte na další bod.
2. Máte správný model v LM studio?
Pro začátek vám stačí Qwen /Qwen3.5-9b
3. LM studio vám nestahuje modely?
Pomůže tento článek, pokud se vám model stáhne, tak máte vyhráno.
4. Staženo? Load model nebo Use in new chat!
5. Jak zjistit co mám za grafiku?
Vlevo dole klikneme na ozubené kolečko, hardware, vidíme tam jednu grafickou kartu, nahoře vidíme RAMky, procesor podporující AVX2 instrukce.
Dole pak vidíme zaškrtnutá opatření proti přetížení na „relaxed“.
6. Načítáme, pozor na velikost vaší grafiky
Někdo má 8GB grafiku, někdo 16GB grafiku, někdo má integrovanou grafiku, takže mu to pojede na procesoru. Na 8GB grafice si nastavíte 32768 tokenů a budete doufat, že se vám tam dokument vleze. Pokud ne, zbývající vrstvy modelu poběží na procesoru a rychlost zpracovávání poklesne.
Pokud máte 16GB grafiku (většina grafických karet nemá přesně 16GB, ale např. 15,něco GB). Můžete nastavit třeba 65536
7. Pozor! rolujem kolečkem myši dolů a objevujeme další možnosti optimalizace!
K cache a V cache kvantizace nastavte Q8_0 a vleze se vám tam 262 144 tokenů a poklesne náročnost na paměť.
U 262 144 tokenech na Q8_0 kvantizaci se to pak pohodlně vleze na 16GB grafiku:
8. System Prompt – nehalucinovat, temperatures 0,1 save a načítáme dokumenty
Vpravo nahoře klikáme od shora dolů. Takže si rozevřeme pravý panel, klikeme si na pravé tlačítko vedle kladívka, pojmenujeme si preset třeba nehalucinovat, do system prompt vložíme to co jsem vložil níže, dole vidíme temperatures, nastavíme na 0,1. (0.1 = nevymýšlej si věci, co tam nejsou, pokud budete chtít psát básničky a halucinovat nesmysly, tak byste to nastavili na 1.0), dáte save a můžete dole u chatu kliknout na + a kliknout na Attach file a vybrat nějaký .pdf dokument, ze kterého budete chtít zesumarizovat nějaké informace.
Níže příklad system promptu:
Jsi přesný a striktní analytik dokumentů.
Tvým úkolem je odpovídat na dotazy EXKLUZIVNĚ na základě poskytnutého textu.
Pravidla:
1. Pokud odpověď v textu NENÍ přímo obsažena, odpověz: "V poskytnutém dokumentu tato informace není k dispozici."
2. Nikdy si nic nedomýšlej, neinterpoluj ani nepoužívej své všeobecné znalosti mimo přiložený dokument.
3. Pokud cituješ pravidlo nebo číslo, uveď přesnou část textu, odkud informace pochází.9. Testujeme, hrajeme si
Stáhnul jsem PDF výsledky nvidie za rok 2026. Cca 1.5MB PDF souboru:
https://s201.q4cdn.com/141608511/files/doc_financials/2026/ar/2026-Annual-Report-Web.pdf
10. Co když kecá?
Když kecá, tak to snadno zjistíte. Podíváte se vlevo dole na citace a aspoň vám to ušetřilo čas s dohledáním konkrétního odstavce.
