{"id":1162,"date":"2026-11-16T08:40:55","date_gmt":"2026-11-16T07:40:55","guid":{"rendered":"https:\/\/lewoniewski.info\/blog\/?p=1162"},"modified":"2026-11-16T09:23:37","modified_gmt":"2026-11-16T08:23:37","slug":"emnlp-2026-duze-modele-jezykowe-w-roli-anotatorow-tekstow-wikipedii","status":"publish","type":"post","link":"https:\/\/lewoniewski.info\/blog\/2026\/emnlp-2026-duze-modele-jezykowe-w-roli-anotatorow-tekstow-wikipedii\/","title":{"rendered":"EMNLP 2026: du\u017ce modele j\u0119zykowe w roli anotator\u00f3w tekst\u00f3w Wikipedii"},"content":{"rendered":"<p>W dniach 24\u201329 pa\u017adziernika 2026 r. w Budapeszcie odby\u0142a si\u0119 konferencja EMNLP 2026 (Conference on Empirical Methods in Natural Language Processing) &#8211; jedno z najwa\u017cniejszych mi\u0119dzynarodowych wydarze\u0144 naukowych po\u015bwi\u0119conych przetwarzaniu j\u0119zyka naturalnego. Podczas konferencji zosta\u0142a zaprezentowana praca pt. \u201e<a href=\"https:\/\/aclanthology.org\/2026.findings-emnlp.1830\/\" target=\"_blank\">Multi-Model Framework for Sentiment Annotation: A Use Case of Multilingual Wikipedia]<\/a>\u201d. Artyku\u0142 przedstawia metod\u0119 automatycznego oznaczania wyd\u017awi\u0119ku tekstu, kt\u00f3ra wykorzystuje zgodno\u015b\u0107 ocen kilku modeli sztucznej inteligencji w celu zwi\u0119kszenia wiarygodno\u015bci uzyskiwanych wynik\u00f3w.<!--more--><\/p>\n<p>Tradycyjne, r\u0119czne oznaczanie danych tekstowych jest czasoch\u0142onne i kosztowne, dlatego coraz cz\u0119\u015bciej wykorzystuje si\u0119 do tego du\u017ce modele j\u0119zykowe (LLM). Ich oceny nie zawsze s\u0105 jednak stabilne &#8211; ten sam tekst mo\u017ce otrzyma\u0107 r\u00f3\u017cne etykiety w zale\u017cno\u015bci od zastosowanego modelu lub kolejnego uruchomienia analizy. Aby ograniczy\u0107 ten problem, autorzy zaproponowali rozwi\u0105zanie, w kt\u00f3rym trzy modele j\u0119zykowe (GPT-5.2, Gemini 3.1 Pro i Claude Opus 4.6) pe\u0142ni\u0105 funkcj\u0119 niezale\u017cnych anotator\u00f3w. Ka\u017cdy z nich trzykrotnie ocenia\u0142 wyd\u017awi\u0119k tych samych zda\u0144, okre\u015blaj\u0105c go jako pozytywny, neutralny lub negatywny, z mo\u017cliwo\u015bci\u0105 wskazania przypadk\u00f3w trudnych do jednoznacznej klasyfikacji. Za szczeg\u00f3lnie wiarygodne uznawano etykiety, w przypadku kt\u00f3rych wszystkie dziewi\u0119\u0107 ocen by\u0142o zgodnych. Metod\u0119 przetestowano na zdaniach pochodz\u0105cych ze wst\u0119pnych cz\u0119\u015bci artyku\u0142\u00f3w Wikipedii w pi\u0119ciu j\u0119zykach: angielskim, niemieckim, hiszpa\u0144skim, polskim i rosyjskim. Wyb\u00f3r Wikipedii nie by\u0142 przypadkowy &#8211; jej artyku\u0142y powinny zachowywa\u0107 neutralny punkt widzenia, co sprawia, \u017ce rozpoznawanie subtelnych r\u00f3\u017cnic w wyd\u017awi\u0119ku tekstu stanowi interesuj\u0105ce wyzwanie badawcze.<\/p>\n<p>Wyniki pokaza\u0142y, \u017ce pe\u0142n\u0105 zgodno\u015b\u0107 wszystkich dziewi\u0119ciu ocen uzyskano dla oko\u0142o 71-76% analizowanych zda\u0144, w zale\u017cno\u015bci od j\u0119zyka. Wsp\u00f3\u0142czynnik Kappa Fleissa, mierz\u0105cy stopie\u0144 zgodno\u015bci mi\u0119dzy anotatorami z uwzgl\u0119dnieniem zgodno\u015bci przypadkowej, wyni\u00f3s\u0142 od 0,72 do 0,76, co wskazuje na wysoki poziom zgodno\u015bci ocen. Dodatkowo wyniki modeli por\u00f3wnano z ocenami ludzi na wybranych pr\u00f3bach zda\u0144 w j\u0119zyku polskim i angielskim. W przypadkach spe\u0142niaj\u0105cych rygorystyczne kryterium jednomy\u015blno\u015bci uzyskano pe\u0142n\u0105 zgodno\u015b\u0107 z ocenami ludzkimi. Wynik ten potwierdza potencja\u0142 zaproponowanej metody, cho\u0107 nie oznacza, \u017ce modele s\u0105 bezb\u0142\u0119dne we wszystkich sytuacjach. Badanie ujawni\u0142o r\u00f3wnie\u017c istotne ograniczenie \u2013 pojedyncze modele wyra\u017anie gorzej radzi\u0142y sobie z rozpoznawaniem wyd\u017awi\u0119ku negatywnego, zw\u0142aszcza w tekstach o przewa\u017cnie neutralnym charakterze.<\/p>\n<p>Wa\u017cnym rezultatem bada\u0144 jest tak\u017ce wieloj\u0119zyczny zbi\u00f3r ponad 75 tys. zda\u0144 z przypisanymi etykietami wyd\u017awi\u0119ku oraz informacj\u0105 o stopniu zgodno\u015bci ocen modeli. Zbi\u00f3r zosta\u0142 publicznie udost\u0119pniony w serwisie <a href=\"https:\/\/huggingface.co\/datasets\/lewoniewski\/wikipedia-sentences-sentiment\" target=\"_blank\">Hugging Face<\/a> i mo\u017ce by\u0107 wykorzystywany w dalszych badaniach nad automatyczn\u0105 analiz\u0105 tekstu. Zaproponowane podej\u015bcie pokazuje, w jaki spos\u00f3b wsp\u00f3\u0142praca kilku modeli j\u0119zykowych mo\u017ce wspiera\u0107 tworzenie du\u017cych zbior\u00f3w danych, zwi\u0119kszaj\u0105c powtarzalno\u015b\u0107 i wiarygodno\u015b\u0107 procesu adnotacji.<\/p>\n<p><a href=\"https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026.jpg\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026-768x1024.jpg\" alt=\"\" width=\"768\" height=\"1024\" class=\"aligncenter size-large wp-image-1164\" srcset=\"https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026-768x1024.jpg 768w, https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026-225x300.jpg 225w, https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026-1152x1536.jpg 1152w, https:\/\/lewoniewski.info\/blog\/pliki\/2026\/11\/emnlp2026.jpg 1435w\" sizes=\"auto, (max-width: 768px) 100vw, 768px\" \/><\/a><\/p>\n<p>Autorami publikacji s\u0105 <a href=\"https:\/\/kie.ue.poznan.pl\/pl\/wlodzimierz-lewoniewski\/\" target=\"_blank\">dr W\u0142odzimierz Lewoniewski<\/a>, <a href=\"https:\/\/kie.ue.poznan.pl\/pl\/milena-strozyna\/\" target=\"_blank\">dr Milena Str\u00f3\u017cyna<\/a> oraz <a href=\"https:\/\/kie.ue.poznan.pl\/pl\/izabela-czumalowska\/\" target=\"_blank\">mgr Izabela Czuma\u0142owska<\/a>. Artyku\u0142 ukaza\u0142 si\u0119 w tomie &#8222;Findings of the Association for Computational Linguistics: EMNLP 2026&#8221;. Jego pe\u0142ny tekst jest dost\u0119pny w bibliotece naukowej ACL Anthology. DOI: <a href=\"https:\/\/doi.org\/10.18653\/2026.findings-emnlp.1830\" target=\"_blank\">10.18653\/2026.findings-emnlp.1830<\/a><\/p>\n<p>EMNLP to coroczna konferencja organizowana przez SIGDAT, grup\u0119 tematyczn\u0105 dzia\u0142aj\u0105c\u0105 w ramach Association for Computational Linguistics (ACL). Nale\u017cy do najbardziej presti\u017cowych wydarze\u0144 naukowych w dziedzinie przetwarzania j\u0119zyka naturalnego i posiada najwy\u017csz\u0105 kategori\u0119 A* w rankingu CORE. Edycja 2026 odby\u0142a si\u0119 w centrum kongresowo-wystawienniczym HUNGEXPO w Budapeszcie. <\/p>\n<div class=\"lewinfo-sources\"><p class=\"lewinfo-sources__label\"><span class=\"lewinfo-sources__icon\"><svg viewBox=\"0 0 24 24\" fill=\"none\" stroke=\"currentColor\" stroke-width=\"1.8\" stroke-linecap=\"round\" stroke-linejoin=\"round\" aria-hidden=\"true\" focusable=\"false\"><path d=\"M2 5.5A1.5 1.5 0 013.5 4H9a3 3 0 013 3v13a2.5 2.5 0 00-2.5-2.5h-6A1.5 1.5 0 012 16z\"><\/path><path d=\"M22 5.5A1.5 1.5 0 0020.5 4H15a3 3 0 00-3 3v13a2.5 2.5 0 012.5-2.5h6a1.5 1.5 0 001.5-1.5z\"><\/path><\/svg><\/span>\u0179r\u00f3d\u0142a <span class=\"lewinfo-sources__count\">2<\/span><\/p><ol class=\"lewinfo-sources__list\"><li class=\"lewinfo-sources__item\"><a href=\"https:\/\/kie.ue.poznan.pl\/pl\/wiadomosci\/czy-duze-modele-jezykowe-moga-zastapic-ludzkich-anotatorow-praca-naszych-naukowcow-na-konferencji-emnlp-2026\/\" rel=\"noopener\" target=\"_blank\" class=\"lewinfo-sources__link\"><span class=\"lewinfo-sources__num\" aria-hidden=\"true\">01<\/span><span class=\"lewinfo-sources__text\"><span class=\"lewinfo-sources__domain\">kie.ue.poznan.pl<\/span><span class=\"lewinfo-sources__path\">\/pl\/wiadomosci\/czy-duze-modele-jezykowe-moga-zastapic-ludzkich-anotatorow-praca-naszych-naukowcow-na-konferencji-emnlp-2026<\/span><\/span><span class=\"lewinfo-sources__ext\"><svg viewBox=\"0 0 24 24\" fill=\"none\" stroke=\"currentColor\" stroke-width=\"2.2\" stroke-linecap=\"round\" stroke-linejoin=\"round\" aria-hidden=\"true\" focusable=\"false\"><path d=\"M7 17L17 7\"><\/path><path d=\"M8 7h9v9\"><\/path><\/svg><\/span><\/a><\/li><li class=\"lewinfo-sources__item\"><a href=\"https:\/\/ue.poznan.pl\/aktualnosci\/czy-duze-modele-jezykowe-moga-zastapic-ludzkich-anotatorow-praca-naszych-naukowcow-na-konferencji-emnlp-2026\/\" rel=\"noopener\" target=\"_blank\" class=\"lewinfo-sources__link\"><span class=\"lewinfo-sources__num\" aria-hidden=\"true\">02<\/span><span class=\"lewinfo-sources__text\"><span class=\"lewinfo-sources__domain\">ue.poznan.pl<\/span><span class=\"lewinfo-sources__path\">\/aktualnosci\/czy-duze-modele-jezykowe-moga-zastapic-ludzkich-anotatorow-praca-naszych-naukowcow-na-konferencji-emnlp-2026<\/span><\/span><span class=\"lewinfo-sources__ext\"><svg viewBox=\"0 0 24 24\" fill=\"none\" stroke=\"currentColor\" stroke-width=\"2.2\" stroke-linecap=\"round\" stroke-linejoin=\"round\" aria-hidden=\"true\" focusable=\"false\"><path d=\"M7 17L17 7\"><\/path><path d=\"M8 7h9v9\"><\/path><\/svg><\/span><\/a><\/li><\/ol><\/div>\n","protected":false},"excerpt":{"rendered":"<p>W dniach 24\u201329 pa\u017adziernika 2026 r. w Budapeszcie odby\u0142a si\u0119 konferencja EMNLP 2026 (Conference on Empirical Methods in Natural Language Processing) &#8211; jedno z najwa\u017cniejszych mi\u0119dzynarodowych wydarze\u0144 naukowych po\u015bwi\u0119conych przetwarzaniu j\u0119zyka naturalnego. Podczas konferencji zosta\u0142a zaprezentowana praca pt. \u201eMulti-Model Framework for Sentiment Annotation: A Use Case of Multilingual Wikipedia]\u201d. Artyku\u0142 przedstawia metod\u0119 automatycznego oznaczania wyd\u017awi\u0119ku [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":1163,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[181,227,232,233,226,174,176,25,196,159,188,130,235,45],"class_list":["post-1162","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-wiadomosci","tag-analiza-wydzwieku","tag-claude-opus","tag-emnlp","tag-google-gemini","tag-gpt","tag-hugging-face","tag-izabela-czumalowska","tag-konferencja","tag-llm","tag-milena-strozyna","tag-nlp","tag-sztuczna-inteligencja","tag-wegry","tag-wikipedia"],"_links":{"self":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/1162","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/comments?post=1162"}],"version-history":[{"count":0,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/1162\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media\/1163"}],"wp:attachment":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media?parent=1162"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/categories?post=1162"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/tags?post=1162"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}