Fulltextové vyhledávání dokumentů

Ve fulltextovém systému lze vyhledávat dokumenty obsahující slova, fráze a jejich kombinace vytvořené pomocí operátorů AND, OR, NOT a NEAR, případně i s použitím kulatých závorek. Pro kombinování vyhledávaných slov platí tato pravidla:

Slova spojená binárním operátorem AND se musejí v dokumentu vyskytnout obě, na jejich pořadí nebo vzdálenosti v textu však nezáleží;
Ze slov spojených binárním operátorem OR se musí v dokumentu vyskytnout alespoň jedno, nezáleží na tom, které to bude;
Slovo, před nimž je unární operátor NOT se v dokumentu nesmí vyskytnout;
Slova spojená binárním operátorem NEAR se musejí v dokumentu vyskytnout obě a navíc musejí být blízko sebe - mezi nimi smí být nejvýše 5 jiných slov;
Slova uzavřená do uvozovek tvoří frázi a v dokumentu se musejí vyskytnout všechna, ve stejném pořadí a bezprostředně za sebou;
Pokud se před hledaným slovem použije rovnítko, hledají se pouze dokumenty, v nichž je toto slovo zapsáno stejně velkými písmeny v rámci tří rozlišovaných způsobů zápisu.

Slova oddělená pouze mezerou a neuzavřená do uvozovek se chápou jako slova spojená spojkou NEAR.

Příklady vyhledávání

elektrárna - hledají se dokumenty obsahující slovo "elektrárna";

uhlí AND elektrárna - hledají se dokumenty obsahující slova "uhlí" a zároveň "elektrárna";

teplárna OR elektrárna - hledají se dokumenty obsahující slova "teplárna" nebo "elektrárna";

elektrárna AND NOT vodní - hledají se dokumenty obsahující slovo "elektrárna", ale neobsahující slovo "vodní";

elektrárna NEAR znečištění - hledají se slova obsahující slovo "elektrárna" vyskytující se poblíž slova "znečištění";

"atomová elektrárna" - hledají se dokumenty obsahující bezprostředně za sebou stojící slova "atomová" a "elektrárna".

Operátor NOT se dá použít pouze na jednotlivá slova. Operátor AND má vyšší prioritu než OR, takže například při vyhledávání

aaa OR bbb AND ccc

se vrátí také dokument obsahující pouze slovo aaa.

Integrace fulltextového vyhledávání do SQL dotazů

K vyhledání slouží predikát:

Fulltext(označení_ft_systému, sloupec_ID_dokumentu, hledaná_slova)

kde

označení_ft_systému je řetězec ve tvaru jméno_aplikace.jméno_objektu_typu_fulltext
sloupec_ID_dokumentu je název sloupce (z tabulky ve FROM) tvořícího unikátní identifikaci záznamu
hledaná_slova je slovo nebo fráze, které se má nalézt

Tento predikát má hodnotu TRUE, pokud dokument uvedeného čísla obsahuje hledaná slova, nebo FALSE, pokud je neobsahuje. Predikát se dá použít ve vyhledávacích podmínkách na tabulkách dokumentů.

Příklad:

SELECT * FROM Txtab 
WHERE Fulltext('Spisovna.Korespondence', cislo_doc, '(Linux OR ''Windows NT'') AND NOT MS-DOS')

vybere z tabulky Txtab ty záznamy, které obsahují ve svých zaindexovaných sloupcích slovo Linux nebo Windows NT a zároveň neobsahují výraz MS-DOS.

V lemmatizovaných fulltextových systémech (obvykle čeština, slovenština) se hledaná slova automaticky převedou na základní tvar, aby se nalezly všechny výskyty. Proto

...WHERE Fulltext('Spisovna.Korespondence', cislo_doc, 'atomová elektrárna')
...WHERE Fulltext('Spisovna.Korespondence', cislo_doc, 'atomový elektrárna')
...WHERE Fulltext('Spisovna.Korespondence', cislo_doc, 'atomové elektrárny')

vrátí stejný výsledek.

Rozlišování velikosti písmen při vyhledávání dokumentů

Fulltextové nástroje ve 602SQL nesledují velikost všech písmen ve slově. Dovolují však rozlišit tři případy:

slovo je napsáno pouze velkými písmeny;
slovo má první písmeno velké, ale ostatní písmena nejsou všechna velká;
slovo má první písmeno malé.

Při normálním vyhledávání slova se k velikosti písmen nepřihlíží. Pokud se velikost písmen má respektovat (v rámci uvedených tří kategorií), pak je třeba v posledním parametru predikátu Fulltext uvést bezprostředně před příslušným slovem znak = (rovnítko).

Příklad:

most nebo MOST - hledají se dokumenty obsahující slovo "most","Most","MOST" bez ohledu na velikost písmen;

=most - hledají se dokumenty obsahující slovo "most", s malým prvním písmenem (obecné slovo, ne na začátku věty);

=Most - hledají se dokumenty obsahující slovo "Most", s prvním písmenem velkým, avšak nikoli se všemi velkými písmeny (název města, obecné slovo na začátku věty);

=MOST - hledají se dokumenty obsahující slovo "MOST", napsané pouze velkými písmeny (název nevládní organizace).

Příklad:

Fulltext('Spisovna.Korespondence', cislo_doc, 'Německo OR =BRD')

Dotaz v této formě zabrání nalezení dokumentu, který obsahuje slovo "Brd" (genitiv od "Brdy").

Vyhledání kontextu výskytu

Fulltextový systém umožňuje vyhledávat k dané frázi také její kontext (slova před a za frází v původním dokumentu). K vyhledání kontextu slouží funkce Fulltext_get_context s využitím systémové proměnné @@FULLTEXT_POSITION (typu INT).

SELECT Fulltext_get_context('Literary.Correspondence',doc,'TXT',0,@@FULLTEXT_POSITION,1,5,'>>%<<')
FROM Doctab
WHERE Fulltext('Literary.Correspondence', id, '...')

Setřídění dokumentů podle počtu a váhy výskytů

Fulltextový systém dokáže sledovat počty výskytů hledaného slova nebo fráze v dokumentech. Tyto počty se nejčastěji používají k setřídění nalezených dokumentů. Setříděnou odpověď vytvoří dotaz využívající systémovou proměnnou @@FULLTEXT_WEIGHT v tomto tvaru:

SELECT ...., @@FULLTEXT_WEIGHT FROM ...  
WHERE Fulltext(...) 
ORDER BY @@FULLTEXT_WEIGHT

Pokud při vytvoření fulltextového systému bylo umožněno sledování vah jednotlivých výskytů slova v dokumentu, pak se jeden výskyt slova může počítat s násobnou váhou. Rozlišení váhy výskytů však závisí na formátu dokumentu a na schopnosti konverzní knihovny přiřadit slovům v různých částech dokumentu různé váhy.

V současné verzi se rozlišení váhami nepoužívá.

Negativistické dotazy

Není dovoleno vyhledávat dokumenty pouze na základě toho, že neobsahují určité slovo či frázi. Nelze například vyhledávat dokumenty neobsahující slovo Windows pomocí predikátu:

Fulltext('Spisovna.Korespondence', cislo_doc, 'NOT Windows')

Klauzule NOT musí být vždy spojena operátorem AND s pozitivním vyhledáváním nějakého slova nebo fráze, např. lze psát:

Fulltext('Spisovna.Korespondence', cislo_doc, '''Operační systém'' AND NOT Windows')

Na negativistický dotaz fulltextový systém vrátí prázdnou odpověď. Klauzule NOT spojená pomocí OR s jinou klauzulí se ignoruje.

Integrace fulltextového vyhledávání do Vývojového prostředí

Do klientského Vývojového prostředí je zabudován jednoduchý frontend fulltextového systému. Kdykoliv lze jednoduše zadat frázi a vrátí se informace o tom, zda-li je fráze ve fulltextu obsažena, v jaké zdrojové tabulce a v jakém kontextu.

Okno fulltextového frontendu se vyvolá poklepáním (nebo příkazem Spustit z nabídky) na objekt typu Fulltext na Řídicím panelu. Otevře se okno se třemi částmi:

Do prvního pole se zadá slovo nebo fráze a stiskne se tlačítko Vyhledat;
Ve druhém poli lze případně vybrat zdroj dokumentů, implicitně jsou vybrány všechny z definice fulltextu (zdrojem dokumentu se myslí každý indexovaný sloupec z každé tabulky dokumentů, počet těchto zdrojů se tedy rovná počtu vyplněných řádků v gridu (ftx triggerů) v návrháři fulltextu). Předpokládá se, že každý sloupec má své vlastní unikátní ID, proto se výsledný dotaz může sestavit jako UNION zdrojů dokumentů. V případě nejasností lze zapnout trasování SQL příkazů a prohlédnout si kladený dotaz.
V dolní části se do gridu vypíše výsledek: každý řádek odpovídá jednomu výskytu; je uvedeno unikátní ID dokumentu, jeho kontext a jméno zdrojové tabulky.

V případě, že definice fulltextu obsahuje jen hlavičku bez ftx triggerů (odložené manuální indexování), musí se ve střední části dialogu nejprve vybrat tabulka dokumentů, sloupec s ID pro vyhledání a sloupec s textem dokumentu, formát a mód pro zobrazení kontextu.

Fulltextové systémy - indexování

Fulltext v 602SQL

Seznam slov, která se neindexují