Artykuł pt. „OpenFact at CheckThat! 2024: Combining Multiple Attack Methods for Effective Adversarial Text Generation” został opublikowany w otwartym dostępie. W ramach pracy zostało opisane podejście, które zajęło pierwsze miejsce w międzynarodowym konkursie w obszarze wiarygodności informacji. Autorzy publikacji: dr Włodzimierz Lewoniewski, dr Piotr Stolarski, dr Milena Stróżyna, dr Elżbieta Lewańska, mgr inż. Aleksandra Wojewoda, mgr Ewelina Księżniak, mgr Marcin Sawiński.
Konkurs był organizowany w ramach międzynarodowej konferencji CLEF 2024 (Conference and Labs of the Evaluation Forum). Celem konkursu była weryfikacja odporności popularnych podejść do klasyfikacji tekstu stosowanych do problemów oceny wiarygodności. Zadaniem uczestników konkursu było stworzenie przykładów kontradyktoryjnych (antagonistycznych lub zainfekowanych, z ang. „adversarial examples”) – czyli zmodyfikowanie tekstów w taki sposób, aby algorytmy klasyfikacyjne zmieniły swoją decyzję na przeciwną, ale bez zmiany znaczenia tekstu. Wyzwanie polegało na tym, że teksty musiały być zmodyfikowane w taki sposób, żeby nie tylko zmienić decyzję każdego z trzech różnych klasyfikatorów (opartych na modelach BERT, BiLSTM i RoBERTa) na każdym z ponad 2000 przykładów tekstowych, ale również zadbać o minimalną liczbę zmian symboli (słów) w tekstach oraz maksymalne zachowanie ich znaczenia semantycznego. Poza tym, zadanie obejmowało teksty z 5 różnych obszarów problematycznych: ocena stronniczości wiadomości, wykrywanie propagandy, sprawdzanie faktów, wykrywanie plotek oraz dezinformacji związanej z COVID-19.
Spośród wszystkich zespołów, które zgłosiły swoje wyniki, rozwiązanie opracowane przez zespół OpenFact uzyskało najwyższy wynik wg. specjalnej metryki BODEGA, która uwzględnia miary związane z poziomem skuteczności zmian w tekstach, semantycznego podobieństwa oraz odległości edycyjnej Levenshteina. Największa liczba punktów pozwoliła zająć pierwsze miejsce w rankingu, wyprzedając metody opracowane m.in. przez Uniwersytet w Zurychu (UZH). Opisane w artykule podejście może pomóc w doskonaleniu algorytmów uczenia maszynowego, które są używane w ramach różnych serwisów internetowych (np. media społecznościowe) do filtrowania treści, w szczególności w celu wykrywania tekstów wprowadzających w błąd, szkodliwych lub po prostu nielegalnych.
W ramach pracy były przetestowane różne dostępne metody oraz zaproponowane modyfikacje, które pozwoliły na polepszenie wyników. Na przykład, na jednym z pierwszych etapów eksperymentów zostało zaproponowano nowe podejście do wyboru istotnych słów w tekście do modyfikacji w ramach popularnej metody BERT-Attack. Poniższy rysunek przedstawia różnice pomiędzy pozycją słów w rankingach w wersji podstawowej (DIR) oraz w wersji zmodyfikowanej (NIR) w ramach jednego z tekstów. Nowy ranking słów został wygenerowany w oparciu o potencjał do zmiany decyzji docelowego klasyfikatora, który można osiągnąć na podstawie konkretnych kandydatów do zastąpienia.
Katedra Informatyki Ekonomicznej realizuje obecnie projekt badawczy OpenFact, kierowany przez prof. dra hab. Witolda Abramowicza. W ramach tego projektu opracowywane są narzędzia do automatycznego wykrywania fake news w języku polskim. W lipcu 2024 roku wyniki projektu OpenFact drugi rok z rzędu zostały ocenione przez NCBiR jako najlepsze w Polsce. Zwycięstwo w prestiżowych konkursach potwierdza, że dokonania naszego zespołu są istotne w skali światowej oraz że metody opracowane przez zespół OpenFact osiągają równie wysoką skuteczność w innych językach.
Projekt OpenFact jest finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu INFOSTRATEG I „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne”.
Źródła: kie.ue.poznan.pl, ue.poznan.pl