linda sejf

cytuje źródło albo odmawia

Jak NotebookLM, ale dokumenty nie opuszczają komputera. Notatki i skrypty, artykuły, regulaminy, umowy, akta — pytania, streszczenia, fiszki, słowniczek i wyjaśnienie prostym językiem na zwykłym laptopie, bez chmury, konta i internetu. Każde zdanie ma odwołanie do fragmentu i jest sprawdzane polskim weryfikatorem, a gdy odpowiedzi w dokumentach nie ma, Sejf mówi „nie znaleziono” zamiast zgadywać.

0plików wysłanych do chmury: model, wyszukiwarka i weryfikator działają na komputerze użytkownika
?demo: notatki z wykładu, dokumenty fikcyjnej firmy i 11 ustaw ▶film, 58 s ≡prezentacja PDF
6–9%błędnych odpowiedzi, odpowiada na 81% pytań (dwóch sędziów)
20 slaptop bez karty graficznej, ok. 20–25 s generacji
41/41naprawiony tokenizer Bielika v3

W jakim terminie gmina musi udostępnić informację publiczną na wniosek i o ile może ten termin przedłużyć?

Zapis z pierwszej wersji demo (4 vCPU, 77 s). Kliknij odwołanie, żeby zobaczyć cytowany fragment.

Udostępnianie informacji publicznej na wniosek następuje bez zbędnej zwłoki, nie później jednak niż w terminie 14 dni od dnia złożenia wniosku potwierdzone

Jeżeli informacja publiczna nie może być udostępniona w tym terminie, podmiot obowiązany do jej udostępnienia musi powiadomić o powodach opóźnienia oraz o terminie udostępnienia, który nie może być dłuższy niż 2 miesiące od dnia złożenia wniosku potwierdzone

[1] Ustawa o dostępie do informacji publicznej (Dz.U. 2022 poz. 902), art. 13

Art. 13. 1. Udostępnianie informacji publicznej na wniosek następuje bez zbędnej zwłoki, nie później jednak niż w terminie 14 dni od dnia złożenia wniosku, z zastrzeżeniem ust. 2 i art. 15 ust. 2.
2. Jeżeli informacja publiczna nie może być udostępniona w terminie określonym w ust. 1, podmiot obowiązany do jej udostępnienia powiadamia w tym terminie o powodach opóźnienia oraz o terminie, w jakim udostępni informację, nie dłuższym jednak niż 2 miesiące od dnia złożenia wniosku.

film w 58 sekund

Kadrowa dostaje dwa pytania od działu produkcji. Na pierwsze Sejf odpowiada z art. 22² Kodeksu pracy, na drugie — spoza dokumentów — uczciwie odmawia. Oba zapisy są prawdziwe, z publicznego demo. Muzyka: utwór wygenerowany lokalnie modelem ACE-Step 1.5 (MIT).

pięć kroków na komputerze użytkownika

Dokumenty nie opuszczają komputera. Uprawnienia do folderów są sprawdzane, zanim cokolwiek trafi do modelu.

  1. 1

    Wyszukiwanie

    Wyszukiwanie znaczeniowe (e5-small) i słowne (BM25) w folderze dokumentów; można zawęzić do wybranych plików.

    ok. 1 s
  2. 2

    Ocena dopasowania

    Polski reranker (124M) ocenia fragmenty i krótkie okna w nich (ustęp, punkt).

    ok. 5 s na CPU
  3. 3

    Bramka odmowy

    Najlepszy fragment z oceną poniżej 0,7: pytanie spoza dokumentów, odmowa bez uruchamiania modelu.

    odmowa w ok. 6 s
  4. 4

    Odpowiedź

    Gemma-4-E4B (albo Bielik-4.5B) pisze odpowiedź z odwołaniami [n] do fragmentów.

    20–25 s na laptopie
  5. 5

    Weryfikacja i audyt

    HerBERT sprawdza każde zdanie względem cytowanego fragmentu; wpis trafia do dziennika z łańcuchem SHA-256.

    poniżej 1 s

odpowiada na 4/5 pytań, myli się w 6–9%

124 pytania „z życia” z odpowiedzią w ustawach i 31 pułapek. Ten sam prompt, odpowiedzi anonimizowane i oceniane przez dwóch sędziów z różnych rodzin: Gemini 4 Hydrogen i Bielik-11B. Zakres to obaj sędziowie. Procent liczony od wszystkich pytań, na które ustawy znają odpowiedź; odmowa nie jest błędem.

Gemma-4-E4B, konfiguracjaodpowiadapoprawnebłędnepułapki odrzucone
bramka 0,7 (domyślnie)81%60–65%6–9%28/31
bramka 0,95 (tryb ostrożny)60%45–50%4–6%29/31
bez bramki83%60–67%7–10%28/31
pierwsza wersja (Linda Probe, bramka 0,9)52%40–44%2%30/31
Bielik-4.5B z poprawką tokenizera, bramka 0,962%35–47%15%26/31

Pytania napisał Gemini w rolach kadrowej, urzędnika i księgowej. Pierwsza wersja odmawiała na co drugie pytanie, także oczywiste: ocena rerankera mocno zależy od sformułowania („zgłosić, że jestem chory” 0,78, „zgłosić przełożonemu, że jestem chory” 0,98 — w regulaminie jest „nieobecność”). Dlatego domyślny próg 0,7 zatrzymuje tylko pytania wyraźnie spoza dokumentów, a ostrożniejszy tryb to jedno ustawienie.

Błędne odpowiedzi na pytania „z życia”

Bielik-4.5B, bez bramki27–32%
Gemma, bez bramki7–10%
Gemma, bramka 0,76–9%
Gemma, bramka 0,954–6%

Skąd biorą się błędy: wśród odpowiedzi ocenionych jako poprawne właściwy artykuł był w źródłach w 97–98% przypadków, wśród błędnych tylko w 40–51%. Dlatego najwięcej dała lepsza wyszukiwarka: właściwy artykuł w pięciu źródłach w 88% pytań zamiast 71%.

studio: 149 z 159 wierszy poprawnych, 0 błędnych

Jak w NotebookLM, na zaznaczonych dokumentach: streszczenie (krótko, standardowo albo szczegółowo; akapit albo punkty), pytania sprawdzające z zapisem fiszek do Anki, słowniczek pojęć, wyjaśnienie prostym językiem, tezy i argumenty, terminy i kwoty, notatka na temat. Każdy wiersz ma odwołanie [n] i przechodzi przez weryfikator; gdy model wskaże sąsiedni fragment, weryfikator znajduje właściwy i poprawia numer. 16 zadań (notatki z wykładu, dokumenty firmy, Kodeks pracy, ustawa w 2 częściach), 159 wierszy ocenionych przez Gemini: 149 poprawnych, 4 częściowo, 0 błędnych, 6 ze złym numerem fragmentu — wszystkie 6 oznaczył weryfikator. Na karcie graficznej 3–8 s na wynik. Skrypty i wyniki: tools/studio_eval.

0błędnych wierszy na 159
8pytań sprawdzających w ok. 6 s na karcie graficznej
14/14trafnie poprawionych numerów fragmentu
7narzędzi: od fiszek po notatkę

jak mierzyliśmy

Wszystkie liczby na tej stronie są powtarzalne: skrypty, pytania i werdykty sędziów zostały zapisane razem z wynikami.

korpus
11 polskich ustaw w tekstach jednolitych z API Sejmu (m.in. Kodeks pracy, KPA, ustawa o rachunkowości, ustawa o prawach konsumenta).
ślepa ocena
Odpowiedzi trzech modeli wymieszane i bez nazw; sędzia widzi pytanie, właściwy przepis, odpowiedź wzorcową i ocenianą odpowiedź. Oceny: poprawna, częściowo, błędna.
dwóch sędziów
Gemini 4 Hydrogen i Bielik-11B. Zgadzają się co do tego, który model jest bezpieczniejszy; różnią się głównie w ocenie odpowiedzi częściowych.
porównanie modeli
Bielik-4.5B v3, Qwen3.5-4B i Gemma-4-E4B, wszystkie w kwantyzacji Q6_K w llama.cpp (Qwen zmierzony wcześniej, bez rerankera). Gemma ma najmniej błędów, więc jest domyślna; Bielik działa jednym ustawieniem.
szybkość
Laptop Ryzen 7 5825U, 16 GB RAM, bez GPU: Gemma 119 tok/s przetwarzania kontekstu i 7,2 tok/s generacji (ok. 20–25 s na odpowiedź), Bielik ok. 33 s.
co odrzuciliśmy
Dostrajanie LoRA (uczyło formatu, nie trafności), kwantyzację Q4 (więcej błędów), drugi model jako „głos kontrolny” (Bielik zgadzał się z Gemmą w 97% i nie wyłapywał jej błędów).

naprawiliśmy tokenizer Bielika v3

Oficjalne pliki GGUF Bielika v3 zapisują tokenizer BPE jako SentencePiece bez reguł scalania. llama.cpp (a więc i programy na nim oparte, np. Ollama czy LM Studio; sprawdziliśmy bezpośrednio llama.cpp) dzieli wtedy polski tekst inaczej niż przy treningu modelu. Poprawka zmienia tylko metadane pliku, wagi zostają bez zmian.

0/41 → 41/41zdań Kodeksu pracy tokenizowanych jak w oryginale
−7%tokenów na ten sam tekst, krótsze przetwarzanie na CPU
60 → 87%poprawnych odmów na pytania spoza dokumentów (Bielik-4.5B Q8)

Problem i sposób odtworzenia zgłosiliśmy twórcom modelu: dyskusja w repozytorium Bielik-4.5B-v3.0-Instruct-GGUF. Skrypty kontroli i naprawy są na Hugging Face.

czego nie wiemy

  • Sędziowie to modele, nie ludzie. Pilotażu w organizacji jeszcze nie było.
  • Z bramką Sejf odpowiada na mniej więcej połowę pytań „z życia”. Na resztę odpowiada, że nie znaleziono przepisu.
  • Gemmie zdarza się błąd fleksyjny po polsku, choć treść się zgadza.
  • Weryfikator nie wnioskuje: zdanie „12 lat to więcej niż 10” może oznaczyć jako niepotwierdzone.
  • Jakość ocenialiśmy na tekstach ustaw; OCR skanów nie miał osobnego testu.

dla kogo

Dla każdego, kto pracuje z własnymi tekstami: studentów i uczniów (notatki, skrypty, fiszki do Anki), nauczycieli i badaczy, organizacji pozarządowych, a także kancelarii, działów kadr, biur rachunkowych, urzędów i placówek medycznych — tam, gdzie dokumentów nie wolno wkleić do ChatGPT, a Google ich nie zna. NotebookLM wymaga wysłania plików do Google, Microsoft 365 Copilot jest płatny i też działa w chmurze, a lokalne czaty do PDF nie sprawdzają zdań i nie mierzą błędów. Linda Sejf jest bezpłatna i otwarta: instalator dla Windows, 16 GB RAM, bez internetu; każda odpowiedź trafia do dziennika audytu z zamaskowanymi numerami PESEL, NIP, REGON i IBAN.

materiały