Automatizace generování stopslov

Transkript

1 Automatzace generování stopslov Bc. Jří Krupní, Ústav nformaty, Provozně eonomcá faulta, Mendelova unverzta v Brně, jr.rupn@mendelu.cz Abstrat Příspěve se zabývá metodou předzpracování textových doumentů, a to automatzací generování stopslov. Je zde popsáno něol metod pro vytváření doménově nezávslých seznamů těchto slov. Následně jsou prezentovány a dsutovány výsledy mplementace metod, terých bylo dosaženo př testování na olec rozsáhlých doumentů napsaných v různých přrozených jazycích. Klíčová slova Stopslovo, feature selecton, text mnng, textové doumenty, třída doumentu Abstract Ths paper deals wth a method of pre-processng of textual documents, namely wth automaton of stopwords lst generaton. Several methods for creatng a doman specfc lst of stopwords are descrbed. Then the mplementaton of the methods s presented and dscussed. The paper also contans the results that were obtaned by applcaton of the methods to a large collecton of real-world documents wrtten n dfferent natural languages. Key Words Stopword, feature selecton, text mnng, text documents, document class Úvod Různé typy subjetů mají pro své rozhodování dspozc obrovsé objemy nestruturovaných textových dat. Tato data mohou potencálně obsahovat užtečné znalost, teré lze zísat metodam z oblast nazývané text mnng. Typcé problémy, teré lze v rámc dolování znalostí z textových dat řešt, zahrnují lasfac doumentů, predc, shluování, vyhledávání, sumarzac, extrac č analýzu mínění (Wess et al., 2010). Aby bylo možné zpracování tohoto typu dat realzovat, je třeba je převést do reprezentace vhodné pro zvolený algortmus a případně určtým způsobem předzpracovat. Jednou z nejjednodušších a nejčastěj používaných reprezentací znalostí, jež zároveň umožňuje snadno provádět algebracé operace, jsou vetory. Každý doument je pa reprezentován jedním příznaovým vetorem (feature vector), de jednotlvé příznay často odpovídají slovům v doumentu obsaženým. Jedním ze způsobů předzpracování textu je extrace stopslov. Jedná se o slova nemající nformační význam, nědy bývají označována jao běžná slova nebo negatvní slovní.

2 Taová slova mohou způsobt potíže př úlohách text mnng nžší rychlost zpracování, vlv na predc výsledů. Bezvýznamová slova tvoří velou část textových dat, což je vša problém v rámc úolů zpracování textu, de je rozměrnost dat zásadní (Kamel a Marech, 2008). V češtně mohou být zařazena mez stopslova např. spojy (a, aby, ale, an), předložy (na, pro, u), zájmena (její, my, on), málo významová slovesa (být, mít). V jných jazycích mez ně patří taé určté a neurčté členy. Dále to bývají slova specfcá pro onrétní ontext (Kadlec, 2006). Rozlšujeme dvě ategore stopslov: obecné a doménově orentované. První ategore obsahuje veřejně dostupná, standartní bezvýznamová slova. Druhá ategore zahrnuje doménově specfcá (orentovaná) slova, jež nemají nformační hodnotu v rámc dané domény nebo ontextu. Taováto slova se lší doména od domény, napřílad pojem učení může být stopslovo v oblast vzdělávání, ale naopa líčové slovo v nformatce. Výsledem odstranění těchto slov (termů) je vylepšení efetvnost úloh text mnng. Zásadní důvody vznu a rozšíření automatcy vytvářených seznamů stopslov jsou: zastarání statcé seznamy je nutno udržovat stále atuální; vlv webových technologí výrazy používané v eletroncé omunac se stávají součástí běžného jazya; dostupnost stále exstují přrozené jazyy bez standartního seznamu; ontextově specfcá slova úlohy text mnng vždy potřebují doménově specfcý seznam; (Kamel a Marech, 2008). Uvedené důvody lze označt za hlavní motvac e vznu této práce. Dosáhnout automatzovaného generování stopslov lze pomocí algortmů feature selecton. Myšlena je taová, že defnujeme nformační významnost aždého slova za použtí metr a uchováváme pouze nformačně hodnotnější slova, odstraňujeme bezvýznamná slova. Rozhodujeme o důležtost č nedůležtost aždého termu (Dave, 2011). Obsahem tohoto příspěvu je zaprvé pops vybraných metod pro odhalení doménově orentovaných stopslov. Za druhé, prezentace výsledů expermentů na textových olecích velého rozsahu, jež bylo dosaženo prostřednctvím mplementace těchto metod. Práce vzná v rámc výzumného projetu Analýza vlvu předzpracování textových doumentů na výsledy úloh text mnng, terý je řešen Ústavem nformaty PEF MENDELU. Výzum je zaměřen na analýzu vlvu předzpracování textových doumentů na výsledy lasface a shluování textových dat a extrace stopslov z textových souborů patří právě mez úlohy předzpracování textu.

3 Cíle a metoda Práce s lade za cíl přspět rozvoj oblast analýzy a dolování znalostí z textových dat vytvořených v přrozeném jazyce prostřednctvím mplementace metod automatcého generování stopslov, provedení expermentů a vyhodnocení výsledů. Extrace stopslov je založená na algortmech feature selecton, čl ohodnocení aždého termu (slova). Většna je založena na následujícím prncpu: Výpočet hodnoty OHODNOCENÍ(t, c ) pro aždý term t z ategore c vycházejí z použté metody. Seřazení termů dle hodnoty v sestupném pořadí. Aplování prahové funce nebo jné podmíny na seřazený seznam termů. Exstuje něol metod pro určení hodnoty termu, vybrané z nch jsou založeny na operacích s těmto hodnotam (L, 2009): A počet doumentů v ategor c obsahující term t. B počet doumentů, teré nejsou v ategor c a obsahují term t. C počet doumentů v ategor c neobsahující term t. D počet doumentů, teré nejsou v ategor c a neobsahují term t. N celový počet doumentů. Výpočty metod (defnování hodnot termů) vychází z prací autorů: Yang a Pedersen (1997), Uchygt a Clar (2008); mplementac jsou vybrány následující: Odds Rato (ODDR): Rozsah hodnot metody se nachází mez nulou a neonečnem. Hodnota 1 je neutrální výslede slovo se nelší od ostatních v daných ategorích. Blíže nule nebo neonečnu nduje odlšnost slova. ODDR upřednostňuje slova orelující s ategorí. V důsledu toho, slova vysytující se něolrát v dané ategor a ndy se nevysytující v jných ategorích mají vysoé ohodnocení. Proto mnoho slov, terá se vzácně objeví pouze v jedné ategor, označuje za stopslova. Uáza výpočtu: Informaton Gan (IG): ODDR slovo, ategore, _ N 3, 7582 ODDR SHOWER AD BC IG měří počet btů nformace, terá se zísá pro predc ategore tím, že rozpoznáme přítomnost nebo nepřítomnost slova v doumentu. Jedná se o metodu posytující rozporuplné

4 výsledy. Důvodem by mohly být rozdílné zoumané oblast (domény) a různé lasfační algortmy, teré byly použty př expermentech. IG t, c F-measure Feature Ranng (FFR): A B A log B log ( A C)( A B) ( B D)( A B) C D C log D log ( A C)( C D) ( B D)( C D) FFR t, c 2A 2 A B C The Chí Statstc (CHI): Chí vadrát měří absenc nezávslost mez termem a ategorí. Přrozenou hodnotou je nula, nastává v případě, že slovo a třída jsou nezávslé. CHI t, c 2 ( AD BC) ( A B)( C D)( A C)( B D) Mutual Informaton (MI): Výzumy provedené s MI mají protchůdné výsledy. Něteré práce uvádějí, že použtím této metody dosahují nejlepších výsledů, jné opa. Příčna může být v tom, že slova vysytující se v textu vzácně jsou vysoce ohodnocena a tudíž jsou často označena za stopslova. MI t, c A N log ( A C)( A B) Koefcent Ng-Goh-Low (NGL): NGL oefcent byl navržen jao orelační oefcent varanta Chí vadrátu, mocnna ve jmenovatel obsahuje hodnotu Chí. Kladné ohodnocení slova značí, že slovo oreluje s ostatním v ategor. Zatímco záporné ohodnocení značí, že slovo oreluje se slovy jných ategorí. Na rozdíl od Chí se vybírají slova, terá orelují s danou ategorí (jsou poztvní) a nevybírá slova, terá orelují se s jným ategorem. NGL t, c N ( AD BC) ( A C)( B D)( A B)( C D) Koefcent Galavott-Sebastan-Sm (GSS): Koefcent GSS byl navržen jao zjednodušení Chí vadrátu (odstraněním tří fatorů ze jmenovatele a čtatele). Obdobně, ja tomu je u oefcentu NGL, ladné hodnoty odpovídají func orelace s danou ategorí, zatímco záporné hodnoty odpovídají func orelace s jným ategorem. GSS t, c AD CB

5 Metoda řešení Výzum, v rámc něhož tato práce vzná, se zaměřuje prmárně na doménu hotelových recenzí. Pro expermenty byly použty zdrojové soubory různých jazyů, aždý obsahující více než 10 tsíc recenzí (řádů). Účelem mplementace je dosáhnutí převodu dat do taové vntřní formy, že s nm lze provádět operace. Vstupem je soubor v ódování UTF8, jehož jednotlvé řády mají struturu: C\tTEXT\n de C je třída doumentu (něol znaů), \t je tabelátor, TEXT je posloupnost znaů, \n je zna once řádů. Z aždého textu jsou odebrány tagy, entnty a znay, teré nejsou písmena. Text je převeden na tzv. bag-of-words reprezentac, nebol posloupnost slov, de pořadí není důležté (Nová a Dařena, 2012). Přílad vstupního souboru: _N SHOWER WATER NOT HOT ONLY JUST WARM. _P GREAT LOCATION, GOOD BREAKFAST BUFFET. Prvním roem je tedy uložení očštěných vstupních souborů do vetorové reprezentace. U aždého termu se poračuje s výpočtem hodnot proměnných A, B, C, D (vz výše). Po tomto výpočtu lze aplovat vybranou metodu, protože jsou jž známy vešeré proměnné, teré se vysytují v uvedených vzorcích (ODDR, FFR, ). Výslede představuje hodnota defnující aždý term. Strutura termů je vntřně reprezentována polem, s těmto prvy: I: Reprezentace slovo ategore A B C D hodnota Uáza SHOWER _N ,7582 Termy jsou dále seřazeny dle jejch ohodnocení. Posledním roem je vytvoření výstupu seznamu. Seznam se vygeneruje na záladě parametru (n), terý určuje, ol slov má obsahovat. Za stopslova označíme prvních n slov. Výsledy Vybrané metody, s jejchž pomocí jsou generovány seznamy stopslov, jsou mplementovány programovacím jazyem Perl. Výsledem je tedy program, jehož vstupem jsou ohodnocené textové doumenty v daném formátu a výstupem požadovaný seznam stopslov. Uvedené přílady vygenerovaných seznamů stopslov jsou z oblast hotelových recenzí. Tabuly II, III a IV zobrazují výsledy, terých bylo dosaženo.

6 II: Stopslova - anglčtna CHI MI NGL GSS FFR ODDR IG VERY OPPOSIT LOCATION STAFF AND THIN ROOM LOCATION REMVI STAFF LOCATION THE PEACEFUL LOCATION STAFF ARTWORK GOOD NOT STAFF SMELL STAFF GOOD UNSUAL NOT GOOD VERY CHARMING FRIENDLY NOT WALLABIES FRIENDLY AND A SHABBY GOOD FRIENDLY PROFFECIONAL HELPFUL FRIENDLY WAS FABULOUS NOT HELPFUL ANTEROOM EXCELLENT VERY NOT CLEAR HELPFUL EXCELLENT REUNION CLEAN CLEAN LOCATION NOBODY EXCELLENT CLEAN SPEEK NO HELPFUL IN STRANGE CLEAN NO WELOME COMFORTABLE NO TO OUTSTANDING NO III: Stopslova - španělštna CHI MI NGL GSS FFR ODDR IG NO GUIAN NO NO Y AMPLITUD NO PERSONAL SACARTELO PERSONAL Y LA CERCANIA TODO UBICACIÓN CONSCIENTES UBICACIÓN MUY NO INCÓMODO PERSONAL POCO SÉPTICA POCO PERSONAL DE CORTINAS UBICACIÓN MUY PERSONEN MUY QUE MUY INMEJORABLE POCO Y VERTIDO Y UBICACIÓN EL EXCELENTES EXCELENTE BUENA DOLÍAN BUENA POCO QUE DEBERIAN MUY EXCELENTE ESTRICTAS EXCELENTE UN EN INCOMODO Y TRATO DEBÍAS TRATO BUENA UN POBRE BUENA SE DESACONSEJA QUE SE DEL PRECIOSA TRATO IV: Stopslova - češtna CHI MI NGL GSS FFR ODDR IG PERSONÁL OBTĚŽOVÁNÍ PERSONÁL PERSONÁL A KLIDNÉ PERSONÁL POLOHA OHLÁŠENÍ POLOHA A V PŘÍJEMNÝ PŘÍJEMNÝ PŘÍJEMNÝ VNIKÁNÍ PŘÍJEMNÝ POLOHA NA VÝBORNÁ POLOHA BY NEZDVOŘILÉ BY HOTEL PERSONÁL ZÁPACH DOBRÁ DOBRÁ PRIVITAL DOBRÁ PŘÍJEMNÝ HOTEL NEFUNKČNÍ OCHOTNÝ OCHOTNÝ RANNICH OCHOTNÝ VELMI HOTELU ŠPATNÉ PROSTŘEDÍ PROSTŘEDÍ ZRUŠENÍ PROSTŘEDÍ DOBRÁ VELMI ABSENCE CENTRA CENTRA ODEČTENA CENTRA CENTRA SE ATMOSFÉRA BY HLUK PŘEDLOŽENA HLUK OCHOTNÝ SNÍDANĚ KLIDNÁ VÝBORNÁ POKOJI ÚČTENKA POKOJI PROSTŘEDÍ JE PLÍSEŇ KLIDNÉ Dsuze Výstupy posytované programem budou použty dalšímu zpracování v rámc výzumného projetu. Předně je nutno ověřt vlv extrace stopslov na výsledy onrétních úloh text

7 mnng poročlejší automatcé analýzy z hledsa odhalování mínění autorů vztažených pouze jednomu tématu, a to ja aplací lasfačních techn, ta metod objevování shluů podobných doumentů (clusterng). Uvedené výsledy (Tabuly II IV) lustrují, ja jsou jednotlvé metody navrženy. Seznamy pro něteré metody jsou dost podobné (např. CHI a NGL), jná obsahují dost odlšná slova (např. MI a FFR). Algortmy pro výpočet NGL a GSS vycházejí z metody CHI, proto dosahují podobných výsledů. Nutno podotnout, že seznamy nejsou dentcé a použtí těchto zdánlvě podobných metod může mít vlv na výsledy úloh (text mnng), proto je potřeba ještě provést expermenty. Metoda MI, ja bylo uvedeno, má tendenc zahrnovat mez stopslova vzácné výsyty slov. Tento fat se odráží v uvedených výsledcích. ODDR zahrnuje do seznamu slova, terá se objevují pouze v jedné ategor, zatímco v druhé se téměř nevysytují (např. výraz PLÍSEŇ má 40 výsytů ve třídě _N a pouze jeden výsyt ve třídě _P). FFR lade větší důraz př svém výpočtu na proměnou A (tzn. počet recenzí ve třídě obsahující slovo), proto jsou ve výstupu hojně zastoupeny slova s vyšší četností výsytu (spojy, předložy, aj. a slova typcá pro danou doménu HOTEL, PERSONÁL, ). IG zařazuje do seznamu slova, terá nesou nejmenší hodnotu nformace o dané třídě. Závěr Prmárním cílem práce byla mplementace vybraných metod pro automatzac generování stopslov. Podařlo se vytvořt program obsahující prncpy algortmů feature selecton, terý je obecně vhodný pro nasazení do oblast úloh text mnng. Tzn. výstupy jsou uplatntelné v ontextově rozdílných úlohách, což je zásadní rozdíl od obecných a veřejně dostupných seznamů. Použtelnost programu byla ověřena na rozsáhlých textových datech. Tento článe vznl v rámc řešení projetu IGA 4/2013 Analýza vlvu předzpracování textových doumentů na výsledy úloh text mnng. Zdroje DAVE, K., 2011: Study of feature selecton algorthms for text-categorzaton. Las Vegas: Unversty of Nevada. KADLEC, P., 2006: Stopslovo. In: Wpeda: the free encyclopeda [onlne]. San Francsco (CA): Wmeda Foundaton, [ct ]. Cted from:

8 LI, S., et al., 2009: A framewor of feature selecton methods for text categorzaton. In: Proceedngs of the Jont Conference of the 47th Annual Meetng of the ACL and the 4th Internatonal Jont Conference on Natural Language Processng of the AFNLP: Volume 2- Volume 2. Assocaton for Computatonal Lngustcs. pp MAKREHCHI, M., KAMEL, M. S., 2008: Automatc extracton of doman-specfc stopwords from labeled documents. In: Advances n nformaton retreval. Sprnger Berln Hedelberg, pp NOVÁK, Z., DAŘENA, F., 2012: Aplace pro přípravu textových dat. [CD-ROM]. In: PEFnet ISBN UCHYIGIT, G., CLARK, K., 2008: Personalzaton technques and recommender systems. Sngapore: World Scentfc. ISBN WEISS, S. M., et al., 2010: Fundamentals of predctve text mnng. New Yor: Sprnger- Verlag, x, 226 p. Texts n computer scence. ISBN YANG, Y., PEDERSEN, J. O., 1997: A comparatve study on feature selecton n text categorzaton. In: ICML. pp