Czy sztuczna inteligencja potrafi rozpoznać pozytywny lub negatywny wydźwięk tekstu encyklopedycznego? Czy różne modele językowe oceniają te same treści w podobny sposób? Na te pytania odpowiadają naukowcy w publikacji pt. „Evaluating Multilingual Sentiment Classifiers Using an LLM-Annotated Wikipedia Benchmark”. Autorzy pracy: dr Milena Stróżyna, dr Włodzimierz Lewoniewski, mgr Izabela Czumałowska. Artykuł został zaprezentowany podczas konferencji ACL 2026 w San Diego, która odbyła się w dniach 2-7 lipca 2026 roku.

Dlaczego analiza wydźwięku Wikipedii jest wyzwaniem?

Analiza wydźwięku (ang. sentiment analysis) to jedna z metod przetwarzania języka naturalnego, której celem jest automatyczne określanie, czy dany tekst ma charakter pozytywny, negatywny czy neutralny. Technologia ta znajduje zastosowanie m.in. w analizie opinii klientów, recenzji produktów, komentarzy internetowych oraz treści publikowanych w mediach społecznościowych.

W przypadku Wikipedii zadanie jest jednak znacznie bardziej wymagające. Artykuły encyklopedyczne powinny być redagowane zgodnie z zasadą neutralnego punktu widzenia (ang. Neutral Point of View, NPOV), która zakłada bezstronne przedstawianie informacji i unikanie nieuzasadnionych ocen. W konsekwencji pozytywne lub negatywne nacechowanie takich tekstów jest często mniej wyraźne niż w wypowiedziach zawierających bezpośrednie opinie.

Dodatkową trudność stanowi rozróżnienie między wydźwiękiem wypowiedzi a charakterem opisywanych wydarzeń. Informacja o sukcesie, konflikcie czy katastrofie nie musi przecież oznaczać, że autor tekstu wyraża pozytywne lub negatywne nastawienie. Prawidłowa interpretacja wymaga uwzględnienia kontekstu, sposobu sformułowania informacji oraz subtelnych różnic językowych.

Pięć języków i trzy duże modele językowe

W badaniu przeanalizowano teksty Wikipedii w pięciu wersjach językowych: angielskiej, niemieckiej, hiszpańskiej, polskiej i rosyjskiej. Materiał badawczy przygotowano na podstawie wybranych artykułów encyklopedycznych reprezentujących różne obszary wiedzy, m.in. naukę, historię, geografię i biografie. W analizie uwzględniono wstępne sekcje artykułów, które w zwięzłej formie przedstawiają najważniejsze informacje o danym zagadnieniu.

Łącznie zgromadzono ponad 75 tysięcy zdań, które poddano automatycznej analizie wydźwięku. W tym celu wykorzystano trzy zaawansowane duże modele językowe (LLM): GPT-5.2 (firmy OpenAI), Gemini 3.1 Pro (firmy Google) oraz Claude Opus 4.6 (firmy Anthropic).

Każdy LLM oceniał te same zdania trzykrotnie, co dało łącznie dziewięć przebiegów analizy. Takie podejście pozwoliło sprawdzić nie tylko to, czy różne modele przypisują zdaniom podobny wydźwięk, ale również czy ten sam model udziela stabilnych odpowiedzi podczas kolejnych ocen identycznego tekstu. Jest to istotne, ponieważ nawet zaawansowane systemy sztucznej inteligencji nie zawsze interpretują tekst w taki sam sposób. Różnice mogą wynikać zarówno z właściwości poszczególnych modeli, jak i z niejednoznaczności analizowanych wypowiedzi.

Wielojęzyczny benchmark do oceny modeli

Jednym z najważniejszych rezultatów badania jest opracowanie wielojęzycznego benchmarku, czyli zbioru referencyjnego umożliwiającego systematyczne porównywanie wyników modeli analizy wydźwięku.

Do benchmarku włączono wyłącznie te zdania, dla których wszystkie trzy duże modele językowe przypisały identyczną kategorię wydźwięku we wszystkich dziewięciu przebiegach. W rezultacie powstał zbiór obejmujący ponad 55 tysięcy zdań z pięciu wersji językowych Wikipedii.

Tak rygorystyczne kryterium zgodności miało ograniczyć wpływ przypadkowych różnic w odpowiedziach modeli i zwiększyć spójność zbioru referencyjnego. Jednocześnie należy pamiętać, że zgodność modeli nie jest równoznaczna z bezwzględną poprawnością ich ocen. Opracowany benchmark stanowi zatem punkt odniesienia do dalszych badań, a nie ostateczny sposób rozstrzygania o neutralności tekstu.

Następnie autorzy wykorzystali ten zbiór do porównania dwóch wielojęzycznych klasyfikatorów wydźwięku opartych na architekturach z rodziny BERT: modBERT i mulBERT. Pozwoliło to zbadać, w jakim stopniu wyspecjalizowane modele klasyfikacyjne odtwarzają oceny uzgodnione przez duże modele językowe.

Co pokazały wyniki?

Wyniki potwierdziły, że w większości analizowanych kategorii tematycznych dominują zdania o neutralnym wydźwięku. Jest to szczególnie widoczne w artykułach dotyczących nauki, technologii i innych obszarów wiedzy, gdzie udział neutralnych ocen często przekraczał 90%.

Jednocześnie zaobserwowano istotne różnice pomiędzy tematami. Przykładowo w niektórych kategoriach biograficznych udział zdań ocenionych jako pozytywne sięgał lub przekraczał 45%. Większy udział pozytywnego wydźwięku odnotowano również w wybranych artykułach o tematyce geograficznej.

Istotne różnice ujawniły się także pomiędzy badanymi klasyfikatorami. Model modBERT częściej przypisywał zdaniom wydźwięk pozytywny lub negatywny, natomiast mulBERT wykazywał wyraźną skłonność do klasyfikowania tekstu jako neutralnego. Ta druga strategia prowadziła często do wysokiej procentowej zgodności z benchmarkiem, ale jednocześnie ograniczała zdolność modelu do rozróżniania bardziej subtelnych ocen.

Przykładowo dla zdań rosyjskojęzycznych zgodność klasyfikatora modBERT z benchmarkiem wyniosła 23%, podczas gdy w przypadku mulBERT osiągnęła 82%. Sama wysoka zgodność procentowa nie oznacza jednak, że model równie dobrze rozpoznaje wszystkie rodzaje wydźwięku. Gdy większość tekstów jest neutralna, system często wybierający tę kategorię może uzyskiwać pozornie dobre wyniki, pomimo trudności z wykrywaniem pozytywnych i negatywnych wypowiedzi.

Autorzy przeanalizowali również dwa sposoby określania wydźwięku całego artykułu na podstawie ocen poszczególnych zdań. Pierwszy polegał na zwykłym głosowaniu większościowym, w którym każde zdanie miało jednakowy wpływ na wynik. Drugi wykorzystywał głosowanie ważone, uwzględniające długość zdań. Porównanie obu metod pozwoliło zbadać, w jaki sposób łączenie ocen pojedynczych wypowiedzi wpływa na wynik dla całego tekstu.

Badanie pokazuje zatem, że wiarygodna analiza wydźwięku wymaga uwzględnienia nie tylko zastosowanego modelu i języka, ale również tematyki tekstu oraz sposobu interpretacji wyników.

Dane badawcze dostępne publicznie

Ważnym rezultatem pracy jest również publiczne udostępnienie danych badawczych na platformie Kaggle. Udostępnione zasoby obejmują wyniki analiz przeprowadzonych dla pięciu wersji językowych Wikipedii, w tym oceny pochodzące z benchmarku oraz badanych modeli. Zawierają także dane dotyczące dwóch metod agregowania ocen zdań do poziomu całych artykułów. Dzięki temu inni badacze mogą wykorzystywać zgromadzone dane do testowania kolejnych modeli analizy wydźwięku, porównywania wyników między językami i kategoriami tematycznymi, a także rozwijania metod automatycznej oceny tekstów encyklopedycznych.

Publikacja wnosi wkład w rozwój wielojęzycznego przetwarzania języka naturalnego, pokazując zarówno możliwości współczesnych systemów sztucznej inteligencji, jak i ograniczenia ich zastosowania do tekstów wymagających szczególnie precyzyjnej interpretacji. Uzyskane wyniki przypominają również, że automatyczna analiza wydźwięku nie jest tym samym co pełna ocena neutralności artykułu. Może jednak stanowić przydatne narzędzie wspomagające identyfikowanie fragmentów wymagających dokładniejszej analizy.

Pełna treść publikacji jest dostępna w otwartym dostępie w serwisie ACL Anthology. DOI: 10.18653/v1/2026.gem-main.63