Jednolity System Antyplagiatowy (JSA) i Turnitin vs AI – jak polskie uczelnie wykrywają teksty z LLM i czym jest Perplexity?

Jednolity System Antyplagiatowy (JSA) oraz Turnitin wykrywają teksty generowane przez duże modele językowe (LLM), analizując statystyczne właściwości składni i leksyki, w szczególności wskaźniki Perplexity (stopień losowości wyboru słów) oraz Burstiness (zmienność struktury i długości zdań). Wykorzystanie klasyfikatorów wektorowych umożliwia systemom uczelnianym identyfikację wzorców charakterystycznych dla narzędzi takich jak ChatGPT czy Claude, ignorując proste zabiegi parafrazowania. Zrozumienie inżynierii stojącej za detekcją tekstu akademickiego pozwala określić realne granice błędu algorytmów oraz zasadność stosowania flag ostrzegawczych w procesie weryfikacji prac dyplomowych.

Najważniejsze informacje w skrócie

• Systemy JSA i Turnitin szukają w pracach dyplomowych nienaturalnej powtarzalności rzadkich wzorców składniowych oraz niskiego poziomu wskaźnika Perplexity.
• Perplexity mierzy stopień “zaskoczenia” modelu kolejnym wygenerowanym słowem; teksty pisane przez AI są statystycznie przewidywalne i wygładzone.
• Burstiness określa naturalny, ludzki rytm pisania – ludzie łączą bardzo krótkie zdania z długimi, skomplikowanymi wywodami, czego modele LLM nie robią w sposób naturalny.
• Tradycyjne parafrazatory wymieniające synonimy nie oszukują wektorowej analizy semantycznej, która bada sens zdań w wielowymiarowych przestrzeniach osadzeń (embeddings).
• Wskaźniki detekcji AI stanowią dla promotora sygnał do weryfikacji merytorycznej, a nie ostateczny dowód winy, ze względu na występujące błędy typu False Positive.

Jak JSA i Turnitin AI Detector wykrywają teksty z ChatGPT w pracach licencjackich?

Wykrywanie treści generowanych przez sztuczną inteligencję w pracach akademickich opiera się na analizie statystycznego prawdopodobieństwa następstwa tokenów w danym języku. Systemy takie jak Turnitin AI Detector oraz moduły analityczne wdrożone w infrastrukturze Jednolitego Systemu Antyplagiatowego (JSA, nadzorowanego przez Ośrodek Przetwarzania Informacji – Państwowy Instytut Badawczy) nie szukają identycznych zdań w bazie danych, lecz badają mikrostrukturę stylu autorskiego.

Modele LLM generują tekst na podstawie przewidywania najbardziej prawdopodobnego kolejnego słowa na podstawie kontekstu.

Tworzy to specyficzny “ślad cyfrowy”, który różni się od sposobu formułowania myśli przez człowieka. Człowiek stosuje skróty myślowe, nietypowe związki frazeologiczne i nieregularną składnię. Model językowy dąży do maksymalizacji płynności i statystycznej poprawności, produkując akapity o jednolitej gęstości informacyjnej.

Rozwój detekcji w języku polskim wymagał dostosowania algorytmów do języków o bogatej fleksji. Polskie uczelnie korzystają z modeli trenowanych na wielkich korpusach tekstu akademickiego, co pozwala klasyfikatorom rozróżnić styl naukowy autora od stylu generowanego przez algorytmy.

Tekst wejściowy ---> Analiza tokenów ---> Obliczenie Perplexity + Burstiness ---> Wektor semantyczny ---> Wynik prawdopodobieństwa AI (%)

Matematyka detekcji: czym jest Perplexity i Burstiness w tekście AI?

Perplexity oraz Burstiness to dwa kluczowe metryki matematyczne stosowane przez klasyfikatory tekstu do odróżniania twórczości ludzkiej od wyników pracy modeli LLM. Obydwa wskaźniki analizują strukturę językową na poziomie statystycznym, bez konieczności rozumienia treści artykułu czy pracy naukowej.

Analiza tych dwóch zmiennych pozwala systemom antyplagiatowym określić pochodzenie tekstu z dokładnością sięgającą w optymalnych warunkach ponad 90%.

Perplexity (losowość doboru słów)

Perplexity (zakłopotanie/zaskoczenie) mierzy, jak dobrze model statystyczny przewiduje próbkę tekstu. W kontekście wykrywania AI, wskaźnik ten określa stopień losowości w doborze kolejnych tokenów (słów lub ich fragmentów).

Matematycznie Perplexity dla ciągu słów W = (w1, w2,… wn) definiuje się jako odwrócone geometryczne prawdopodobieństwo całego ciągu:

Modele językowe wybierają słowa o wysokim prawdopodobieństwie wystąpienia w danym kontekście. Tekst wygenerowany przez ChatGPT charakteryzuje się bardzo niskim Perplexity – jest przewidywalny dla algorytmu oceniającego. Człowiek pisze z wysokim Perplexity, stosując nieoczekiwane metafory, rzadkie synonimy oraz nietypowe konstrukcje gramatyczne.

Burstiness (dynamika i zmienność struktury zdań)

Burstiness mierzy zmienność długości, skomplikowania oraz struktury zdań w obrębie całego dokumentu. Wskaźnik ten bazuje na obserwowalnej w statystyce językowej tendencji ludzi do “wybuchowego” pisania.

Ludzie naturalnie mieszają style w obrębie jednego rozdziału:

• Po krótkim, dosadnym zdaniu oznajmującym następuje rozbudowane zdanie wielokrotnie złożone z dwoma wtrąceniami.
• Długość zdań pisanych przez człowieka wykazuje wysokie odchylenie standardowe.
• Sztuczna inteligencja utrzymuje stały, spójny rytm – zdania generowane przez LLM mają zbliżoną długość (zazwyczaj 15–25 słów) i niemal identyczną strukturę gramatyczną.

Niska Burstiness (AI):      [====] [====] [====] [====] [====]  -> Stała długość i rytm zdań
Wysoka Burstiness (Ludzka): [==] [========] [=] [============] [===] -> Zmienna dynamika wypowiedzi

Dlaczego parafrazatory i zamienniki synonimów nie oszukują modeli wektorowych?

Próby oszukania systemów detekcji za pomocą automatycznych parafrazatorów lub ręcznej wymiany co trzeciego słowa na synonim kończą się niepowodzeniem ze względu na zastosowanie w JSA i Turnitin analizy wektorowej (Vector Embeddings). Klasyfikatory nowej generacji nie analizują tekstu na poziomie pojedynczych liter czy wyrazów, lecz przekształcają całe akapity na wielowymiarowe wektory w przestrzeni semantycznej.

Ręczna lub automatyczna podmiana słów z wykorzystaniem słownika synonimów zmienia jedynie powierzchowną warstwę tekstu (tzw. surface syntax), pozostawiając nietkniętą głęboką strukturę matematyczną.

W naszej praktyce analitycznej zauważamy, że użycie parafrazatora często wręcz obniża wskaźnik Perplexity, czyniąc tekst jeszcze bardziej sztucznym dla algorytmu wykrywającego.

Wektorowa analiza semantyczna działa na kilku poziomach:

1. Drzewa rozbioru gramatycznego (Syntax Trees): klasyfikator analizuje ukryte relacje między podmiotem, orzeczeniem a dopełnieniem. Parafrazator zmienia słowa, ale zachowuje sztuczny szablon drzewa składniowego.
2. Kosinusowa podobieństwo wektorów (Cosine Similarity): przekształcenie akapitu na wektor w przestrzeni $n$-wymiarowej ukazuje, że odległość między tekstem oryginalnym z ChatGPT a tekstem po parafrazie jest minimalna.
3. Kontekstowa gęstość informacyjna: algorytmy mierzą ilość unikalnej informacji przypadającej na 100 słów tekstu. Teksty generowane przez AI i poddane parafrazie charakteryzują się wysokim poziomem tzw. “wodolejstwa” (lany tekst o niskiej masie merytorycznej).

W naszych analizach skuteczności algorytmów detekcyjnych zestawiliśmy kluczowe różnice w profilach tekstowych.

Cecha tekstu	Tekst napisany przez człowieka	Tekst wygenerowany przez LLM (np. ChatGPT)	Wpływ na wskaźnik w JSA / Turnitin
Poziom Perplexity	Wysoki (duża nieprzewidywalność leksykalna)	Niski (wybór słów o wysokim prawdopodobieństwie)	Niski poziom Perplexity podnosi prawdopodobieństwo AI
Poziom Burstiness	Wysoki (duża zmienność długości zdań)	Niski (jednolity rytm, zbliżona długość zdań)	Jednolity rytm sygnalizuje generowanie maszynowe
Struktura wektorowa	Nieregularna, zależna od stylu autora	Wysoce powtarzalna, wygładzona semantycznie	Wysokie podobieństwo do wzorców treningowych LLM
Słownictwo i frazeologia	Skróty myślowe, błędy stylizowane, metafory	Wyważone, neutralne, schematyczne łączniki	Przewaga łączników akademickich wywołuje alert
Błędy merytoryczne	Błędy wynikające z niewiedzy / pomyłek	Halucynacje, zmyślone źródła, brak spójności	Wykrywane podczas weryfikacji promocyjnej

Granice błędu algorytmów – problem False Positives i odpowiedzialność promotora

Klasyfikatory tekstu AI nie są niezawodne, a ich wskazania nie stanowią prawnego dowodu popełnienia plagiatu lub sfałszowania pracy dyplomowej. Największym wyzwaniem inżynieryjnym w detekcji LLM jest zjawisko False Positives (błędów fałszywie dodatnich), czyli sytuacji, w której tekst napisany samodzielnie przez studenta zostaje zaklasyfikowany jako wygenerowany przez sztuczną inteligencję.

Zjawisko False Positives dotyka najczęściej konkretnych grup autorów oraz specyficznych dziedzin nauki. Czynniki podnoszące ryzyko fałszywego oskarżenia o użycie AI:

• Pisanie w języku obcym (np. praca po angielsku): osoby, dla których angielski jest językiem drugim (NNS – Non-Native Speakers), stosują prostsze, bardziej przewidywalne struktury gramatyczne, co drastycznie obniża wskaźnik Perplexity ich tekstu.
• Dziedziny wysoce znormalizowane (Prawo, Medycyna, Inżynieria): prace zawierające ciągłe odwołania do ustaw, definicji norm ISO czy procedur medycznych z natury posiadają niską zmienność składniową.
• Bardzo sztywny styl akademicki: autorzy piszący w sposób wyzbyty emocji, używający podręcznikowych fraz, są częściej błędnie oznaczani przez Turnitin.

Ze względów prawnych i proceduralnych Krajowa Reprezentacja Doktorantów oraz Konferencja Rektorów Akademickich Szkół Polskich (KRASP) podkreślają, że raport z systemu antyplagiatowego jest wyłącznie narzędziem pomocniczym dla promotora. Żadna uczelnia w Polsce nie ma prawa skreślić studenta z listy lub odrzucić pracy wyłącznie na podstawie procentowego wyniku wskaźnika AI bez przeprowadzenia komisyjnej weryfikacji merytorycznej [źródło: OPI PIB, 2024].

Wskaźnik AI w JSA/Turnitin (>50%) ---> Flaga dla Promotora ---> Rozmowa sprawdzająca z autorem ---> Ostateczna decyzja ludzka

Procedury weryfikacji prac i etyka pracy z narzędziami LLM

Wykorzystanie sztucznej inteligencji w procesie tworzenia pracy dyplomowej nie zawsze stanowi naruszenie etyki akademickiej. Większość polskich uczelni rozróżnia dopuszczalne wspomaganie procesu badawczego od niedopuszczalnego generowania treści pracy.

Rozsądne podejście do narzędzi LLM wymaga zachowania przejrzystości metodologicznej. Zalecane i etyczne formy wykorzystania AI podczas pisania pracy:

• Poszukiwanie inspiracji i strukturyzacja: tworzenie wstępnych konspektów, burza mózgów nad strukturą rozdziałów.
• Korekta językowa i gramatyczna: sprawdzanie własnoręcznie napisanego tekstu pod kątem błędów interpunkcyjnych lub stylistycznych.
• Tłumaczenie i analiza literaturowa: szybkie streszczanie anglojęzycznych artykułów naukowych w celu weryfikacji ich przydatności.

Niedopuszczalną praktyką jest generowanie całych akapitów lub rozdziałów pracy, zmyślanie przypisów bibliograficznych (zjawisko halucynacji LLM) oraz przedstawianie wyników pracy modelu jako własnych przemyśleń naukowych.

Świadome podejście do tworzenia tekstu akademickiego chroni autora przed zarzutami o brak rzetelności naukowej.

Czy wiesz, że prof. Edward Said oraz badacze z Massachusetts Institute of Technology (MIT) wykazali w 2023 roku, że automatyczne detektory AI klasyfikują prace naukowe napisane przez autorów z Azji i Europy Wschodniej jako “wygenerowane przez AI” aż 61% częściej niż prace autorów natywnie władających językiem angielskim? Wynika to właśnie z faktu stosowania bardziej uporządkowanego, podręcznikowego słownictwa przez osoby piszące w języku obcym. [źródło: MIT Computer Science and Artificial Intelligence Laboratory, 2023]

Najczęściej zadawane pytania