{"id":792,"date":"2023-07-27T17:00:11","date_gmt":"2023-07-27T15:00:11","guid":{"rendered":"https:\/\/lewoniewski.info\/blog\/?p=792"},"modified":"2023-08-17T20:06:00","modified_gmt":"2023-08-17T18:06:00","slug":"pierwsze-miejsce-w-miedzynarodowym-konkursie-checkthat","status":"publish","type":"post","link":"https:\/\/lewoniewski.info\/blog\/2023\/pierwsze-miejsce-w-miedzynarodowym-konkursie-checkthat\/","title":{"rendered":"Pierwsze miejsce w mi\u0119dzynarodowym konkursie CheckThat!"},"content":{"rendered":"

Zesp\u00f3\u0142 projektu OpenFact<\/a> wzi\u0105\u0142 udzia\u0142 w konkursie CheckThat!<\/a> organizowanym w ramach mi\u0119dzynarodowej konferencji CLEF 2023 (Conference and Labs of the Evaluation Forum). Zaproponowana przez naszych naukowc\u00f3w metoda zaj\u0119\u0142a pierwsze miejsce. Ta metoda pozwala wykrywa\u0107 zdania w j\u0119zyku angielskim, kt\u00f3re wymagaj\u0105 sprawdzenia ze wzgl\u0119du na mo\u017cliwo\u015b\u0107 wprowadzania w b\u0142\u0105d.<\/p>\n

G\u0142\u00f3wna metoda zespo\u0142u OpenFact uzyska\u0142a najwy\u017cszy wynik F1 (\u015bredni\u0105 harmoniczn\u0105 precyzji i pe\u0142no\u015bci odpowiedzi), daj\u0105c pierwsze miejsce w rankingu, przed metodami opracowanymi przez 10 innych zespo\u0142\u00f3w, w tym przez Instytut Fraunhofera i firm\u0119 Accenture. Lepsza od konkurencji okaza\u0142a si\u0119 r\u00f3wnie\u017c druga metoda naszych naukowc\u00f3w (mimo \u017ce do oceny mo\u017cna by\u0142o zg\u0142osi\u0107 wi\u0119cej modeli, to oficjalnie w klasyfikacji mo\u017cna wskaza\u0107 tylko jeden). Zwyci\u0119ska metoda polega\u0142a na wykorzystaniu du\u017cego modelu j\u0119zykowego GPT o wielko\u015bci 13 miliard\u00f3w parametr\u00f3w wst\u0119pnie wytrenowanym na og\u00f3lnym korpusie tekstu o wielko\u015bci 800GB a nast\u0119pnie dotrenowaniu go do zadania klasyfikacji na specjalnie dobranym zestawie ucz\u0105cym. Drugie najlepsze rozwi\u0105zanie polega\u0142o na dotrenowaniu lokalnego modelu DeBERTa. Szczeg\u00f3\u0142ow\u0105 informacje na temat implementacji zwyci\u0119skiej metody mo\u017cna znale\u017a\u0107 w pracy pt. \u201eHead-to-Head GPT vs. BERT \u2013 A Comparative Study of Transformers Language Models for the Detection of Check-worthy Claims<\/em>\u201d (w trakcie publikacji).<\/p>\n

Wykrywanie zda\u0144, kt\u00f3re wymagaj\u0105 sprawdzenia, jest niezwykle istotne w procesie fact-checkingu, poniewa\u017c pozwala filtrowa\u0107 strumie\u0144 wiadomo\u015bci i kierowa\u0107 uwag\u0119 profesjonalnego fact-checkera lub algorytmu automatycznej weryfikacji. CLEF CheckThat! Lab jest organizowany od 2018 roku, a jego celem jest rozw\u00f3j metod automatycznej identyfikacji i weryfikacji stwierdze\u0144 pojawiaj\u0105cych si\u0119 w wypowiedziach polityk\u00f3w. Mi\u0119dzynarodowa konferencja odbywa\u0142a si\u0119 w Bolonii, Bukareszcie, Lugano, Avignon a wyniki tegorocznej edycji zostan\u0105 zaprezentowane we wrze\u015bniu na konferencji w Salonikach w Grecji. CLEF CheckThat! Lab oraz FEVER to najwa\u017cniejsze \u015bwiatowe wydarzenia po\u015bwi\u0119cone wy\u0142\u0105cznie zagadnienia automatycznej weryfikacji fake news.<\/p>\n

Warto wspomnie\u0107, \u017ce w marcu 2023 roku wyniki zespo\u0142u OpenFact dotycz\u0105ce wykrywania fa\u0142szywych informacji z u\u017cyciem sztucznej inteligencji dla j\u0119zyka polskiego zosta\u0142y ocenione przez NCBiR jako najlepsze w Polsce<\/a>. Zwyci\u0119stwo w tym presti\u017cowym konkursie potwierdza, \u017ce dokonania zespo\u0142u projektu OpenFact s\u0105 istotne w skali \u015bwiatowej oraz \u017ce metody opracowane przez zesp\u00f3\u0142 OpenFact osi\u0105gaj\u0105 r\u00f3wnie wysok\u0105 skuteczno\u015b\u0107 w innych j\u0119zykach.<\/p>\n

Sk\u0142ad zespo\u0142u projektu OpenFact: prof. Witold Abramowicz<\/a>, dr hab. Krzysztof W\u0119cel, prof. UEP<\/a>, dr W\u0142odzimierz Lewoniewski<\/a>, dr Piotr Stolarski<\/a>, dr Milena Str\u00f3\u017cyna<\/a>, mgr Ewelina Ksi\u0119\u017cniak<\/a>, mgr Marcin Sawi\u0144ski<\/a>.<\/p>\n

Projekt OpenFact jest finansowany przez Narodowe Centrum Bada\u0144 i Rozwoju w ramach programu INFOSTRATEG I \u201eZaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne\u201d.<\/p>\n

\u0179r\u00f3d\u0142o: kie.ue.poznan.pl<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Zesp\u00f3\u0142 projektu OpenFact wzi\u0105\u0142 udzia\u0142 w konkursie CheckThat! organizowanym w ramach mi\u0119dzynarodowej konferencji CLEF 2023 (Conference and Labs of the Evaluation Forum). Zaproponowana przez naszych naukowc\u00f3w metoda zaj\u0119\u0142a pierwsze miejsce. Ta metoda pozwala wykrywa\u0107 zdania w j\u0119zyku angielskim, kt\u00f3re wymagaj\u0105 sprawdzenia ze wzgl\u0119du na mo\u017cliwo\u015b\u0107 wprowadzania w b\u0142\u0105d.<\/p>\n","protected":false},"author":1,"featured_media":795,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[120,129,131,130],"class_list":["post-792","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-wiadomosci","tag-fake-news","tag-modele-jezykowe","tag-openfact","tag-sztuczna-inteligencja"],"_links":{"self":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/792","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/comments?post=792"}],"version-history":[{"count":0,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/792\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media\/795"}],"wp:attachment":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media?parent=792"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/categories?post=792"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/tags?post=792"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}