{"id":921,"date":"2025-03-05T19:45:17","date_gmt":"2025-03-05T18:45:17","guid":{"rendered":"https:\/\/lewoniewski.info\/blog\/?p=921"},"modified":"2025-03-05T20:22:19","modified_gmt":"2025-03-05T19:22:19","slug":"zbior-danych-z-ocena-jakosci-47-mln-artykulow-wikipedii","status":"publish","type":"post","link":"https:\/\/lewoniewski.info\/blog\/2025\/zbior-danych-z-ocena-jakosci-47-mln-artykulow-wikipedii\/","title":{"rendered":"Zbi\u00f3r danych z ocen\u0105 jako\u015bci 47 mln artyku\u0142\u00f3w Wikipedii"},"content":{"rendered":"

Na platformie Hugging Face opublikowano obszerny zbi\u00f3r danych zawieraj\u0105cy wyniki automatycznej oceny jako\u015bci dla 47 milion\u00f3w artyku\u0142\u00f3w Wikipedii w 55 wersjach j\u0119zykowych\u200b. Oceny tych artyku\u0142\u00f3w zosta\u0142y przeprowadzone wed\u0142ug algorytm\u00f3w stosowanych w serwisie WikiRank.net<\/a> \u2013 narz\u0119dziu, kt\u00f3re por\u00f3wnuje jako\u015b\u0107 hase\u0142 Wikipedii w r\u00f3\u017cnych j\u0119zykach.<\/p>\n

Serwis WikiRank przypisuje ka\u017cdemu artyku\u0142owi syntetyczn\u0105 ocen\u0119 w skali 0\u2013100 na podstawie r\u00f3\u017cnych miar, m.in. d\u0142ugo\u015bci tekstu, liczby \u017ar\u00f3de\u0142 (referencji), sekcji i ilustracji\u200b. W efekcie ka\u017cdy artyku\u0142 otrzymuje jednolity wynik jako\u015bci, co upraszcza por\u00f3wnania mi\u0119dzy wersjami j\u0119zykowymi maj\u0105cymi odmienne kryteria ocen\u200b.<\/p>\n

Publikacja tego zbioru wynik\u00f3w oceny jako\u015bci niesie ze sob\u0105 wiele potencjalnych zastosowa\u0144 i korzy\u015bci.<\/p>\n

Por\u00f3wnanie jako\u015bci tre\u015bci w r\u00f3\u017cnych j\u0119zykach<\/h2>\n

Ujednolicona skala ocen 0\u2013100 umo\u017cliwia bezpo\u015brednie por\u00f3wnanie jako\u015bci artyku\u0142\u00f3w mi\u0119dzy r\u00f3\u017cnymi wersjami j\u0119zykowymi\u200b. Dzi\u0119ki temu mo\u017cna identyfikowa\u0107 j\u0119zyki, w kt\u00f3rych dane has\u0142o jest najlepiej opracowane, oraz te, gdzie artyku\u0142 wymaga jeszcze dopracowania. To pierwsza tak szeroka mo\u017cliwo\u015b\u0107 analizy jako\u015bci Wikipedii w uj\u0119ciu wieloj\u0119zycznym.<\/p>\n

Badania nad jako\u015bci\u0105 informacji i NLP<\/h2>\n

Zbi\u00f3r stanowi cenne \u017ar\u00f3d\u0142o danych dla badaczy informacji i specjalist\u00f3w od przetwarzania j\u0119zyka naturalnego. Pozwala on analizowa\u0107 trendy jako\u015bciowe w olbrzymiej skali oraz trenowa\u0107 modele sztucznej inteligencji do przewidywania jako\u015bci tekstu. Ju\u017c wcze\u015bniejsze prace naukowe wykorzystywa\u0142y podobne dane WikiRank do badania, kt\u00f3re tematy s\u0105 najlepiej przedstawione w r\u00f3\u017cnych j\u0119zykach Wikipedii\u200b, co dowodzi przydatno\u015bci takich ocen w analizach por\u00f3wnawczych. Teraz te badania b\u0119d\u0105 \u0142atwiejsze dzi\u0119ki publicznie dost\u0119pnemu zbiorowi danych.<\/p>\n

Wsparcie dla edytor\u00f3w Wikipedii<\/h2>\n

Automatyczne oceny mog\u0105 pom\u00f3c redaktorom Wikipedii w identyfikacji artyku\u0142\u00f3w wymagaj\u0105cych poprawy. Wi\u0119kszo\u015b\u0107 hase\u0142 we wszystkich j\u0119zykach nie posiada \u017cadnej oceny jako\u015bci nadanej przez spo\u0142eczno\u015b\u0107 (w niekt\u00f3rych wersjach nawet ponad 99% artyku\u0142\u00f3w pozostaje nieocenionych przez ludzi). Dzi\u0119ki danym WikiRank edytorzy mog\u0105 \u0142atwo wy\u0142oni\u0107 s\u0142absze jako\u015bciowo has\u0142a \u2013 np. te z ma\u0142\u0105 liczb\u0105 \u017ar\u00f3de\u0142 lub kr\u00f3tkie \u2013 i skoncentrowa\u0107 wysi\u0142ki na ich ulepszeniu. To narz\u0119dzie mo\u017ce wskaza\u0107 luki i priorytety edycyjne w ka\u017cdej wersji j\u0119zykowej.<\/p>\n

Rozw\u00f3j algorytm\u00f3w AI do analizy jako\u015bci tre\u015bci<\/h2>\n

Udost\u0119pnienie tak du\u017cego i zr\u00f3\u017cnicowanego zbioru u\u0142atwi tworzenie algorytm\u00f3w sztucznej inteligencji do oceny jako\u015bci tekst\u00f3w w Internecie. Modelom AI mo\u017cna dostarczy\u0107 miliony przyk\u0142ad\u00f3w artyku\u0142\u00f3w wraz z ich ocenami, co pozwoli im uczy\u0107 si\u0119 odr\u00f3\u017cnia\u0107 tre\u015bci rzetelne od s\u0142abych merytorycznie. Takie systemy automatycznej oceny mog\u0105 znale\u017a\u0107 zastosowanie nie tylko w Wikipedii, ale i przy filtrowaniu informacji w sieci \u2013 od wykrywania nierzetelnych artyku\u0142\u00f3w po ulepszanie wynik\u00f3w wyszukiwarek pod k\u0105tem jako\u015bci informacji.<\/p>\n

Pe\u0142ny zbi\u00f3r danych jest dost\u0119pny do pobrania na platformie Hugging Face\u200b<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

Na platformie Hugging Face opublikowano obszerny zbi\u00f3r danych zawieraj\u0105cy wyniki automatycznej oceny jako\u015bci dla 47 milion\u00f3w artyku\u0142\u00f3w Wikipedii w 55 wersjach j\u0119zykowych\u200b. Oceny tych artyku\u0142\u00f3w zosta\u0142y przeprowadzone wed\u0142ug algorytm\u00f3w stosowanych w serwisie WikiRank.net \u2013 narz\u0119dziu, kt\u00f3re por\u00f3wnuje jako\u015b\u0107 hase\u0142 Wikipedii w r\u00f3\u017cnych j\u0119zykach.<\/p>\n","protected":false},"author":1,"featured_media":922,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[174,58,45,173,175],"class_list":["post-921","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-wiadomosci","tag-hugging-face","tag-jakosc-wikipedii","tag-wikipedia","tag-wikirank","tag-zbior-danych"],"_links":{"self":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/921","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/comments?post=921"}],"version-history":[{"count":0,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/posts\/921\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media\/922"}],"wp:attachment":[{"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/media?parent=921"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/categories?post=921"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lewoniewski.info\/blog\/wp-json\/wp\/v2\/tags?post=921"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}