{"id":883,"date":"2024-09-21T21:14:57","date_gmt":"2024-09-21T19:14:57","guid":{"rendered":"https:\/\/lewoniewski.info\/blog\/?p=883"},"modified":"2024-10-01T17:24:10","modified_gmt":"2024-10-01T15:24:10","slug":"laczenie-roznych-metod-atakow-w-celu-skutecznego-generowania-tekstu-kontradyktoryjnego","status":"publish","type":"post","link":"https:\/\/lewoniewski.info\/blog\/2024\/laczenie-roznych-metod-atakow-w-celu-skutecznego-generowania-tekstu-kontradyktoryjnego\/","title":{"rendered":"\u0141\u0105czenie r\u00f3\u017cnych metod atak\u00f3w w celu skutecznego generowania tekstu kontradyktoryjnego"},"content":{"rendered":"

Artyku\u0142 pt. \u201eOpenFact at CheckThat! 2024: Combining Multiple Attack Methods for Effective Adversarial Text Generation<\/a>\u201d zosta\u0142 opublikowany w otwartym dost\u0119pie. W ramach pracy zosta\u0142o opisane podej\u015bcie, kt\u00f3re zaj\u0119\u0142o pierwsze miejsce w mi\u0119dzynarodowym konkursie w obszarze wiarygodno\u015bci informacji. Autorzy publikacji: dr W\u0142odzimierz Lewoniewski<\/a>, dr Piotr Stolarski<\/a>, dr Milena Str\u00f3\u017cyna<\/a>, dr El\u017cbieta Lewa\u0144ska<\/a>, mgr in\u017c. Aleksandra Wojewoda<\/a>, mgr Ewelina Ksi\u0119\u017cniak<\/a>, mgr Marcin Sawi\u0144ski<\/a>.<\/p>\n

Konkurs by\u0142 organizowany w ramach mi\u0119dzynarodowej konferencji CLEF 2024 (Conference and Labs of the Evaluation Forum). Celem konkursu by\u0142a weryfikacja odporno\u015bci popularnych podej\u015b\u0107 do klasyfikacji tekstu stosowanych do problem\u00f3w oceny wiarygodno\u015bci. Zadaniem uczestnik\u00f3w konkursu by\u0142o stworzenie przyk\u0142ad\u00f3w kontradyktoryjnych (antagonistycznych lub zainfekowanych, z ang. \u201eadversarial examples<\/em>\u201d) \u2013 czyli zmodyfikowanie tekst\u00f3w w taki spos\u00f3b, aby algorytmy klasyfikacyjne zmieni\u0142y swoj\u0105 decyzj\u0119 na przeciwn\u0105, ale bez zmiany znaczenia tekstu. Wyzwanie polega\u0142o na tym, \u017ce teksty musia\u0142y by\u0107 zmodyfikowane w taki spos\u00f3b, \u017ceby nie tylko zmieni\u0107 decyzj\u0119 ka\u017cdego z trzech r\u00f3\u017cnych klasyfikator\u00f3w (opartych na modelach BERT, BiLSTM i RoBERTa) na ka\u017cdym z ponad 2000 przyk\u0142ad\u00f3w tekstowych, ale r\u00f3wnie\u017c zadba\u0107 o minimaln\u0105 liczb\u0119 zmian symboli (s\u0142\u00f3w) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym, zadanie obejmowa\u0142o teksty z 5 r\u00f3\u017cnych obszar\u00f3w problematycznych: ocena stronniczo\u015bci wiadomo\u015bci, wykrywanie propagandy, sprawdzanie fakt\u00f3w, wykrywanie plotek oraz dezinformacji zwi\u0105zanej z COVID-19.<\/p>\n

Spo\u015br\u00f3d wszystkich zespo\u0142\u00f3w, kt\u00f3re zg\u0142osi\u0142y swoje wyniki, rozwi\u0105zanie opracowane przez zesp\u00f3\u0142 OpenFact uzyska\u0142o najwy\u017cszy wynik wg. specjalnej metryki BODEGA, kt\u00f3ra uwzgl\u0119dnia miary zwi\u0105zane z poziomem skuteczno\u015bci zmian w tekstach, semantycznego podobie\u0144stwa oraz odleg\u0142o\u015bci edycyjnej Levenshteina. Najwi\u0119ksza liczba punkt\u00f3w pozwoli\u0142a zaj\u0105\u0107 pierwsze miejsce w rankingu, wyprzedaj\u0105c metody opracowane m.in. przez Uniwersytet w Zurychu (UZH). Opisane w artykule podej\u015bcie mo\u017ce pom\u00f3c w doskonaleniu algorytm\u00f3w uczenia maszynowego, kt\u00f3re s\u0105 u\u017cywane w ramach r\u00f3\u017cnych serwis\u00f3w internetowych (np. media spo\u0142eczno\u015bciowe) do filtrowania tre\u015bci, w szczeg\u00f3lno\u015bci w celu wykrywania tekst\u00f3w wprowadzaj\u0105cych w b\u0142\u0105d, szkodliwych lub po prostu nielegalnych.<\/p>\n

W ramach pracy by\u0142y przetestowane r\u00f3\u017cne dost\u0119pne metody oraz zaproponowane modyfikacje, kt\u00f3re pozwoli\u0142y na polepszenie wynik\u00f3w. Na przyk\u0142ad, na jednym z pierwszych etap\u00f3w eksperyment\u00f3w zosta\u0142o zaproponowano nowe podej\u015bcie do wyboru istotnych s\u0142\u00f3w w tek\u015bcie do modyfikacji w ramach popularnej metody BERT-Attack. Poni\u017cszy rysunek przedstawia r\u00f3\u017cnice pomi\u0119dzy pozycj\u0105 s\u0142\u00f3w w rankingach w wersji podstawowej (DIR) oraz w wersji zmodyfikowanej (NIR) w ramach jednego z tekst\u00f3w. Nowy ranking s\u0142\u00f3w zosta\u0142 wygenerowany w oparciu o potencja\u0142 do zmiany decyzji docelowego klasyfikatora, kt\u00f3ry mo\u017cna osi\u0105gn\u0105\u0107 na podstawie konkretnych kandydat\u00f3w do zast\u0105pienia. <\/p>\n

\"\"<\/a><\/p>\n

Katedra Informatyki Ekonomicznej realizuje obecnie projekt badawczy OpenFact<\/a>, kierowany przez prof. dra hab. Witolda Abramowicza<\/a>. W ramach tego projektu opracowywane s\u0105 narz\u0119dzia do automatycznego wykrywania fake news w j\u0119zyku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rz\u0119du zosta\u0142y ocenione przez NCBiR jako najlepsze w Polsce<\/a>. Zwyci\u0119stwo w presti\u017cowych konkursach potwierdza, \u017ce dokonania naszego zespo\u0142u s\u0105 istotne w skali \u015bwiatowej oraz \u017ce metody opracowane przez zesp\u00f3\u0142 OpenFact osi\u0105gaj\u0105 r\u00f3wnie wysok\u0105 skuteczno\u015b\u0107 w innych j\u0119zykach.<\/p>\n

Projekt OpenFact jest finansowany przez Narodowe Centrum Bada\u0144 i Rozwoju w ramach programu INFOSTRATEG I \u201eZaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne\u201d.<\/p>\n

\u0179r\u00f3d\u0142a: kie.ue.poznan.pl<\/a>, ue.poznan.pl<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Artyku\u0142 pt. \u201eOpenFact at CheckThat! 2024: Combining Multiple Attack Methods for Effective Adversarial Text Generation\u201d zosta\u0142 opublikowany w otwartym dost\u0119pie. W ramach pracy zosta\u0142o opisane podej\u015bcie, kt\u00f3re zaj\u0119\u0142o pierwsze miejsce w mi\u0119dzynarodowym konkursie w obszarze wiarygodno\u015bci informacji.<\/p>\n","protected":false},"author":1,"featured_media":884,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[12],"tags":[160,157,158,155,156,159,129,154,107,161],"class_list":["post-883","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artykuly","tag-aleksandra-wojewoda","tag-clef","tag-elzbieta-lewanska","tag-ewelina-ksiezniak","tag-marcin-sawinski","tag-milena-strozyna","tag-modele-jezykowe","tag-piotr-stolarski","tag-wiarygodnosc","tag-witold-abramowicz"],"_links":{"self":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/883","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/comments?post=883"}],"version-history":[{"count":0,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/883\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media\/884"}],"wp:attachment":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media?parent=883"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/categories?post=883"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/tags?post=883"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}