Porovnanie štatistík korpusov

Vitajte na stránke určenej na porovnávanie vybraných slovenských korpusov.

Webová stránka je tu.

Tento nástroj slúži na skúmanie a porovnávanie štatistických vlastností slovenských textových korpusov. Umožňuje porovnať veľkosť korpusu, lexikálnu bohatosť, štýl písania, štruktúru textu, frekvencie slov a iné.

Rozhranie

Otvorte webové rozhranie a pomocou políčok v hornej časti stránky vyberte jeden alebo viac korpusov. K dispozícii sú napríklad podkorpusy Slovenského národného korpusu, webové korpusy Aranea, ručne anotovaná korpus, korpus súdnych rozhodnutí korpusy, atď.. Príslušné štatistické výsledky sa zobrazia pod panelom výberu.

Každá sekcia (p)opisuje určitú vlastnosť vybraného korpusu. Ak je dostupné, kliknutím na help zobrazíte podrobnejšie vysvetlenie. Mnohé výsledky sú vyjadrené ako pomery alebo percentá, vďaka čomu sú vhodnejšie na porovnávanie korpusov rôznej veľkosti.

Najdlhšie slová

Top 10 longest words zobrazuje desať najdlhších slov v korpuse podľa počtu znakov.

Veľkosť a štruktúra korpusu

lines je počet riadkov v korpusových dátach vrátane štruktúrnych anotácií. Ide o jeden z ukazovateľov veľkosti korpusu.

tokens je celkový počet textových jednotiek (tokenov), napríklad slov, čísel a interpunkčných znamienok. Je to hlavný ukazovateľ veľkosti korpusu.

types vyjadruje počet rôznych tokenov bez ohľadu na počet ich opakovaní. Ak sa napríklad slovo „dom“ vyskytne tisíckrát, započíta sa ako jeden odlišný typ tokenu. Tento údaj poskytuje základnú predstavu o rozmanitosti slovnej zásoby.

docs je počet samostatných dokumentov v korpuse. Podľa konkrétneho korpusu môžu dokumenty predstavovať články, knihy alebo iné texty.

paragraphs udáva počet odsekov v korpuse. Spolu s počtom dokumentov a viet opisuje štruktúrne členenie textového materiálu.

sentences je počet viet identifikovaných v korpuse. Porovnaním počtu viet a tokenov možno približne odhadnúť priemernú dĺžku vety.

Štylometria

Štylometria skúma merateľné vlastnosti štýlu textu. Tieto ukazovatele pomáhajú charakterizovať rozdiely v slovnej zásobe, gramatických preferenciách a relatívnej zložitosti či opisnosti textov.

TTR (Type-Token Ratio) meria lexikálnu rozmanitosť ako pomer počtu rôznych tokenov k celkovému počtu tokenov. Vyššie hodnoty naznačujú väčšiu rozmanitosť a menej opakovaní. Keďže TTR výrazne závisí od veľkosti korpusu, najzmysluplnejšie je porovnávať korpusy podobnej veľkosti.

hapax legomena udáva počet slov, ktoré sa v korpuse vyskytujú práve raz (bez rozlišovania veľkých a malých písmen).

HTR (Hapax-Token Ratio) vyjadruje pomer počtu slov hapax legomena k celkovému počtu tokenov.

character entropy (Shannonova entropia) meria nepredvídateľnosť nasledujúceho znaku na základe frekvenčného rozdelenia znakov. Vyššia entropia znamená rovnomernejšie rozloženie frekvencií znakov, zatiaľ čo nižšia entropia naznačuje prevahu relatívne malého počtu znakov.

token entropy meria nepredvídateľnosť tokenov na základe ich frekvenčného rozdelenia. Vyššie hodnoty naznačujú rozmanitejšiu alebo rovnomernejšie rozloženú slovnú zásobu, kým nižšie hodnoty znamenajú, že veľkú časť textu tvorí menšia množina tokenov.

activity meria relatívne zastúpenie slovies v porovnaní s prídavnými menami a príčastiami. Vypočíta sa ako počet slovies / (počet slovies + počet prídavných mien + počet príčastí). Vyššie hodnoty naznačujú štýl viac orientovaný na dej, zatiaľ čo nižšie hodnoty poukazujú na väčší dôraz na opis.

descriptivity je doplnkom ukazovateľa activity a vypočíta sa ako 1 - activity. Vyššie hodnoty znamenajú, že prídavné mená a príčastia sú relatívne výraznejšie zastúpené než slovesá, čo naznačuje opisnejší štýl.

attributivity meria tendenciu textu opisovať entity prostredníctvom ich vlastností. Vyššie hodnoty naznačujú bohatšie alebo podrobnejšie opisy vecí, namiesto ich jednoduchého pomenúvania či informovania o udalostiach.

subjectivity meria gramaticko-štylistickú tendenciu explicitne vyjadrovať podmety viet. Vyššie hodnoty sa spájajú s formálnejším štýlom, v ktorom sa podmety skôr vyjadrujú, než vynechávajú. Nižšie hodnoty sú typickejšie pre neformálne texty alebo texty blízke hovorenému jazyku. Napriek svojmu názvu tento ukazovateľ nesúvisí s osobnými názormi ani emocionálnym postojom.

Štatistiky dĺžok

Táto sekcia uvádza rozdelenie dĺžok dokumentov, odsekov a viet. Dĺžky sa merajú v tokenoch. V každej tabuľke sa používajú rovnaké štatistické ukazovatele.

minimum je dĺžka najkratšej jednotky. Napríklad pri štatistike viet označuje najkratšiu vetu nájdenú v korpuse.

median je prostredná hodnota dĺžky po zoradení všetkých jednotiek od najkratšej po najdlhšiu. Polovica jednotiek má menšiu a polovica väčšiu dĺžku. Na rozdiel od priemeru medián výraznejšie neovplyvňuje niekoľko mimoriadne dlhých textov.

maximum je dĺžka najdlhšej jednotky. Pomáha identifikovať nezvyčajne dlhé dokumenty, odseky alebo vety.

mean je aritmetický priemer dĺžok. Pri vetách poskytuje odhad priemerného počtu tokenov vo vete. Aj malý počet veľmi dlhých jednotiek môže túto hodnotu výrazne zvýšiť.

stdev (Standard Deviation) vyjadruje mieru rozptýlenia dĺžok okolo ich priemeru. Nízka hodnota znamená pomerne vyrovnané dĺžky, zatiaľ čo vysoká hodnota naznačuje, že korpus obsahuje zmes krátkych a dlhých jednotiek.

total je počet jednotiek zahrnutých do výpočtu, napríklad počet dokumentov, odsekov alebo viet. Nejde o súčet ich dĺžok.

Štatistiky interpunkcie

Tieto merania opisujú vzdialenosti medzi interpunkčnými znamienkami v korpuse. Poskytujú ďalšie informácie o štruktúre a členení textu.

Distances between punctuation marks meria počet tokenov od jedného interpunkčného znamienka k nasledujúcemu. Dve susediace interpunkčné znamienka majú vzdialenosť 1, zatiaľ čo znamienka oddelené jedným slovom majú vzdialenosť 2. Kratšie vzdialenosti spravidla naznačujú častejší výskyt interpunkcie.

Distances between dots or commas používa rovnaké meranie, ale iba pre bodky a čiarky. Poskytuje užší pohľad na rozmiestnenie interpunkcie, ktorý môže pomôcť charakterizovať štruktúru viet a súvetí.

Obe tabuľky uvádzajú minimum, medián, maximum, priemer, smerodajnú odchýlku a celkový počet nameraných vzdialeností podľa vyššie uvedených definícií.

Kľúčové slová

Sekcia kľúčových slov identifikuje slová, ktoré sa vo vybranom korpuse vyskytujú nezvyčajne často v porovnaní s referenčným korpusom. Používa sa metóda Simple Maths, pričom referenčným korpusom je spojený webový korpus Araneum + HPLT + FineWeb2.

lemma je slovo v základnom tvare.

score vyjadruje mieru asociácie lemy s vybraným korpusom v porovnaní s referenčným korpusom. Vyššie hodnoty označujú charakteristickejšiu slovnú zásobu.

cnt_foc je počet výskytov lemy vo vybranom (cieľovom) korpuse. Udáva skutočnú frekvenciu pred zohľadnením veľkosti korpusu.

cnt_ref je počet výskytov tej istej lemy v referenčnom korpuse. Porovnaním s počtom výskytov v cieľovom korpuse možno zistiť, či je slovo vo vybranom materiáli nezvyčajne časté.

ppm_foc je frekvencia lemy na milión tokenov v cieľovom korpuse. Normalizácia uľahčuje porovnávanie frekvencií medzi korpusmi rôznej veľkosti.

ppm_ref je zodpovedajúca frekvencia na milión tokenov v referenčnom korpuse. Výrazne vyššia frekvencia v cieľovom korpuse naznačuje, že daná lema je preň relatívne charakteristická.

smoothing N=1 pomerne výrazne zvýrazňuje zriedkavé a veľmi charakteristické slová. Je vhodné na identifikáciu odbornej slovnej zásoby a nezvyčajných výrazov, môže však zvýrazniť aj vlastné mená alebo náhodné výskyty.

smoothing N=10 pripisuje o niečo väčšiu váhu slovám s ustálenejším výskytom. Predstavuje kompromis medzi identifikáciou zriedkavých charakteristických slov a zvýraznením slov s výraznejšou frekvenciou.

smoothing N=1000 výrazne obmedzuje vplyv zriedkavých slov a do popredia posúva bežnú slovnú zásobu. Je užitočné pri hľadaní všeobecnejších rozdielov v používaní jazyka vrátane preferencií častých slovies, zámen a ďalších bežných slov.

Kliknutím na Show more... rozšírite tabuľku kľúčových slov nad rámec jej úvodných položiek.

Distribúcia slovných druhov

POS (Part of Speech) opisuje zloženie korpusu z hľadiska slovných druhov, napríklad podstatných mien, slovies, prídavných mien, zámen či predložiek. Stĺpec tag obsahuje anotačnú značku, count udáva počet výskytov a [%] percentuálny podiel zo všetkých tokenov. Umožňuje to porovnávať gramatické preferencie, napríklad relatívne zastúpenie podstatných mien v odborných textoch alebo slovies v naratívnych textoch.

Rytmické pravidlo a vlastnosti slov

Táto sekcia opisuje ukazovatele súvisiace so slovenským pravidlom o rytmickom krátení. Toto pravidlo vo všeobecnosti obmedzuje výskyt dvoch po sebe nasledujúcich dlhých slabík v slovenských slovách, hoci existuje mnoho výnimiek.

Štatistiky sú vyjadrené v percentách vzhľadom na počet slov slovenského typu, definovaných ako slová obsahujúce iba znaky slovenskej abecedy. Menovateľom teda nie je celkový počet tokenov v korpuse.

Non-words meria relatívny počet prvkov, ktoré nie sú bežnými slovami, napríklad interpunkčných znamienok a číslic. Vyššie hodnoty znamenajú väčší podiel nelexikálneho materiálu vzhľadom na slová slovenského typu.

Foreign words meria relatívny počet slov obsahujúcich znaky mimo slovenskej abecedy. Poskytuje približnú predstavu o prítomnosti cudzojazyčných prvkov.

CIA words meria relatívny počet slov zakončených na -cia, ktorým predchádza dlhá samohláska, vrátane ich ohýbaných tvarov.

Violations meria relatívny počet slov porušujúcich slovenské pravidlo o rytmickom krátení. Vyššie hodnoty znamenajú, že sa takéto tvary vyskytujú častejšie vzhľadom na počet slov slovenského typu.

Táto práca bola podporená projektom APVV-22-0370 Jazykovokomunikačné aspekty dezinformácií.