Моніторинги тем російської дезінформації
Як користуватись?
Методологія
Збір та обробка даних
Ми збирали матеріали з вибірки (1) українських сайтів-клікбейтів, (2) російських сайтів, орієнтованих на українську тематику, (3) великих російських сайтів та (4) провідних українських медіа. З перших двох типів сайтів до моніторингу потрапляють тільки маніпулятивні матеріали, а з великих українських та російських сайтів — всі матеріали, їх не перевіряли на маніпулятивність. Теми і матеріали на українських сайтах наведені для порівняння, більшість з них не є маніпулятивними.
Дані завантажували з RSS стрічок сайтів. Для кожної новини завантажили дату публікації, лінк, заголовок та повний текст. Далі визначили мову для кожного тексту та відібрали лише ті, які написані російською. Вибір мови обумовлений тим, що більшість дезінформації російськомовна. Кожен текст підготовано до аналізу: токенізовано (розділено на одиниці мови — слова й розділові знаки), лематизовано для виявлення тем (приведено слова до нормальної, інфінітивної, форми), та складено словник слів у масиві даних новин.
З усіх новин класифіковано і відкинуто ті, що не стосуються суспільно-політичного життя в Україні: спорт, погода, поп-зірки, ДТП, іноземні новини. Таких матеріалів близько половини від усіх, що ми завантажуємо.
Виявлення маніпулятивних новин
Кожнем матеріал оцінювала покращена версія класифікатора маніпулятивних новин: алгоритм додатково тренували на нових даних задля підвищення точності (попередня версія класифікатора). Він передбачає ймовірність того, що новина містить емоційні маніпуляції та/або хибну аргументацію. На новинах зі «зливних бачків», сайтів з окупованих територій та видань з антиукраїнською позицією класифікатор знаходить 62% матеріалів, які містять хоча б один вид маніпуляції, при цьому хибно маркує як маніпулятивні 6% матеріалів. Тобто алгоритм радше пропускає маніпуляцію, ніж знаходить її там, де маніпуляцій немає.
Категорію маніпулятивних сайтів формували з тих сайтів, де класифікатор виявив понад 10% маніпулятивних новин від загальної кількості матеріалів про суспільно-політичне життя в Україні. З цих сайтів-клікбейтів і російських сайтів, спрямованих на українську тематику, до моніторингу надходять лише маніпулятивні матеріали. Теми для матеріалів з провідних українських сайтів показано для всіх новин, не тільки для маніпулятивних.
Сайти моніторингу
- 72 російські сайти, орієнтовані на українську тематику (лише маніпулятивні матеріали): 3652.ru, 3654.ru, 8692.ru, anna-news.info, antifashist.com, antimaydan.info, c-inform.info, comitet.su, crisis.in.ua, delovoydonbass.ru, dnr-lnr.info, dnr-pravda.ru, dnr24.com, dnr24.su, donbasstoday.ru, doneck-news.com, dontimes.news, dontimes.ru, dosie.su, e-gorlovka.com.ua, e-news.su, evening-crimea.com, free-news.su, fresh.org.ua, fromdonetsk.net, front-novorossii.ru, gorlovka.today, jankoy.org.ua, kafanews.com, komtv.org, kv-journal.su, lgt.su, luga1news.ru, lugansk1.info, meridian.in.ua, metayogg.com, miaistok.su, mir-lug.info, mnyug.com, mozaika.dn.ua, nahnews.org, naspravdi.info, nefakt.info, newc.info, news-front.info, newsland.com, nk.org.ua, novorosinform.org, novorossiy.info, novosti.icu, odnarodyna.org, on-line.lg.ua, patriot-donetsk.ru, pohnews.org, politnavigator.net, politobzor.net, pravdanews.info, ruinformer.com, rusdnepr.ru, rusnext.ru, russian-vesna.ru, rusvesna.su, sevastopol.su, sevnews.info, sobytiya.info, svodki24.ru, time-news.net, ukraina.ru, voenkor.info, voskhodinfo.su, vsednr.ru, xvesti.ru
- 104 українські онлайн-видання, де виявлено понад 10% маніпулятивних новин від усіх новин про Україну (лише маніпулятивні матеріали): 0432.in, 112.ua, agrimpasa.com, aif.ua, akcenty.com.ua, antikor.com.ua, argumentua.com, baza-pravda.in.ua, bbcccnn.com.ua, begemot.media, bessarabiainform.com, censoru.net, dialog.ua, donetskie.com, elise.com.ua, expres.life, figurant.com.ua, finoboz.net, for-ua.life, fraza.ua, from-ua.com, glavcom.life, glavk.info, glavred.info, glavred.life, golos.ua, hpib.life, hyser.com.ua, inforesist.org, inform-ua.info, informator.news, intell.in.ua, ivasi.news, jizn.info, job-sbu.org, k-stenke.com, khersonline.net, kompromat1.info, kompromat1.news, kordon.org.ua, korr.com.ua, kyiv.press, lifedon.com.ua, mignews.com.ua, monitor-ua.com, newnews.in.ua, news247.com.ua, news24ua.com, newser.com.ua, newsmir.info, newsua.one, nezalezhna.com, onpress.info, ord-02.com, ostrovok.lg.ua, p-zona.com, podrobnosti.ua, politdengi.com.ua, politeka.net, politica.com.ua, pravda.rv.ua, prioritet.org, proua.com.ua, provokators.top, prportal.com.ua, replyua.net, rezzonans.in.ua, rnbee.com.ua, rupor.info, rupor.od.ua, rusjev.net, sharij.net, skelet-info.org, spektrnews.in.ua, spichka.news, spzh.news, startko.co.ua, strana.ua, t.ks.ua, tema.in.ua, timer-odessa.net, tp0432.in.ua, tribunanaroda.info, ua-reporter.com, ua-vestnik.com, ua24ua.net, ukr.life, ukraine-zmi.info, ukrainianwall.com, ukranews.com, ukranews.life, ukrpost.biz, ukrrudprom.ua, vesti-ukr.com, vesti.ua, vkulake.com, vlasti.net, vremya.com.ua, vybor.ua, vz.ua, xn--j1aidcn.org, zhitomir-online.com, zik.ua, znaj.ua
- 17 великих українських онлайн-видань (всі матеріали): 24tv.ua, bykvu.com, censor.net.ua, fakty.com.ua, fakty.ua, gordonua.com, interfax.com.ua, lb.ua, liga.net, nv.ua, pravda.com.ua, rbc.ua, segodnya.ua, tsn.ua, ukrinform.ru, unian.net, zn.ua
- 16 великих російських видань (всі матеріали): aif.ru, dni.ru, kommersant.ru, kp.ru, lenta.ru, lentainform.com, life.ru, newsru.com, pravda.ru, regnum.ru, riafan.ru, russian.rt.com, slovodel.com, svpressa.ru, tass.ru, vz.ru
- 175 українських локальних видань (всі матеріали): 0432.ua, 048.ua, 04849.com.ua, 04868.com.ua, 0512.com.ua, 056.ua, 0564.ua, 057.ua, 061.ua, 06153.com.ua, 0619.com.ua, 06239.com.ua, 06274.com.ua, 06277.com.ua, 0629.com.ua, 0642.ua, 1kr.ua, 1news.zp.ua, 44.ua, 5632.com.ua, 5692.com.ua, 62.ua, 6264.com.ua, 7kanal.com.ua, actual.today, allkharkov.ua, atn.kharkov.ua, barometr.info, beg.dp.ua, bessarabiainform.com, city.sumy.ua, cxid.info, dancor.sumy.ua, dani-info.com, dnepr.com, dneprcity.net, dneprnews.com.ua, dneprnews.info, dnews.dn.ua, dnl.com.ua, dnl.dn.ua, dnpr.com.ua, donbass.ua, donetskie.com, dontimes.news, dozor.kharkov.ua, dp.vgorode.ua, dpchas.com.ua, dumskaya.net, dv-gazeta.info, dzerghinsk.org, ecity.cn.ua, gloss.ua, golos.zp.ua, gorod-online.net, gorod.cn.ua, gorod.dp.ua, gx.net.ua, inform.zp.ua, informator.dp.ua, inshe.tv, insidernews.info, irtafax.com.ua, iz.com.ua, izbirkom.org.ua, izmailvechernii.com.ua, izmnews.info, izvestia.kharkov.ua, kg.ua, kh.vgorode.ua, kharkov.dozor.ua, khersonline.net, khustinfo.com/video, kiev.informator.ua, kiev.vgorode.ua, kievpravda.com, kn.ks.ua, kolokol.od.ua, korabelov.info, kramatorsk.info, kramatorskpost.com, krlife.com.ua, krnews.ua, krug.com.ua, kstati.dp.ua, lenta.kharkiv.ua, lugradar.net, mariupol-express.com.ua, mariupol.in, mariupolnews.com.ua, mig.com.ua, misto.zp.ua, mk.mk.ua, most-dnepr.info, mrpl.city, mycity.mk.ua, mykharkov.info, nashemisto.dp.ua, nashkiev.ua, nashreporter.com, nefakt.info, news.mspravka.info, newsroom.kh.ua, nf.dp.ua, niknews.mk.ua, nikolaevnews.com.ua, nikvesti.com, novosti-n.mk.ua, novosti-n.org, novosti.dn.ua, novosti.zhitomir.ua, objectiv.tv, od-news.com, od.vgorode.ua, odessa-life.od.ua, odessa.net.ua, odessa.online, odessapost.com, on.od.ua, ostro.org, otkat.od.ua, podrobnosti.mk.ua, press-center.news, prichernomorie.com.ua, pro.berdyansk.biz, rama.com.ua#tab_3-widget_panorama_posts_feed-2, real-vin.com, reni-odessa.od.ua, reporter-ua.com, ru.korzonews.info, rupor.od.ua, ruporzt.com.ua, russkiev.info, slavdelo.dn.ua, sobytiya.dp.ua, sq.com.ua, subbota.ua, svsever.lg.ua, t.ks.ua, telegraf.in.ua, timenews.in.ua, timer-odessa.net, timeua.info, tnua.info, topnews.cn.ua, topnews.odessa.ua, topnews.zp.ua, topnews.zt.ua, topor.od.ua, treebuna.info, tribun.com.ua, tribune.com.ua, tvplus.dn.ua, ua-reporter.com, uanews.kharkiv.ua, usionline.com, verge.zp.ua, vesti.dp.ua, visti.ks.ua, vmestezp.org, vn.mk.ua, vo.od.ua, volnorez.com.ua, vseprokiev.com.ua, vv.com.ua, x1.com.ua, z-city.com.ua, zachem.com.ua, zaodessu.com.ua, zhitomir-online.com, zhzh.info, zi.dn.ua, zp.vgorode.ua, zptown.zp.ua, zv.zp.ua
Як визначали теми
Відібрані маніпулятивні новини, в середньому 3 тисячі матеріалів на тиждень, розбивали на теми тижня за допомогою автоматичного моделювання тем (NMF). Алгоритмом, яким визначали теми в маніпулятивних матеріалах, шукали теми серед матеріалів на російських великих сайтах і в українських новинах. Кластери (групи) новин, які отримали в результаті, редагували вручну: об’єднували схожі теми, відкидали нерелевантні або занадто загальні кластери, або ж теми, в яких не прослідковується російська дезінформація. Ці теми-кластери за тиждень новин ми описуємо у випусках моніторингу. Для цього дашборду теми тижня згрупували у мета-теми для узагальнення.
На основі мета-тем алгоритму кластеризації та тем, визначених аналітиками вручну, розробили класифікатор, який визначає, до якої мета-теми та її підтеми відноситься новина. Вони визначались автоматично, тому невелика частина новин може відноситись до теми помилково.
Кожну підтему ілюструє вибірка заголовків матеріалів. Для матеріалів з російських сайтів і для українських не-маніпулятивних новин це випадкова вибірка матеріалів за регулярні проміжки часу. Для матеріалів з сайтів-клікбейтів та антиукраїнських російських сайтів вибирали матеріали, яким алгорим пошуку маніпулятивних новин призначив високу ймовірність маніпулятивності.