Algorytm wyszukiwania BERT – co wiemy o nim do tej pory?

• Grafy Wiedzy (Knowledge Graphs) i repozytoria

Kiedykolwiek wspomniane jest wyszukiwanie semantyczne, prawdopodobnie automatycznie myślimy o grafach wiedzy pojawiających się w Google, a także o danych strukturalnych, jednak NLU nie jest temu równoznaczne. Niemniej jednak dane uporządkowane ułatwiają wyszukiwarkom zrozumienie języka naturalnego. Ujednoznaczniają dany temat. Łączą go z innymi słowami i kategoryzują. Dla przykładu, kiedy w tekście wspomniane jest słowo „Mozart”, może ono odnosić się do kompozytowa, kawiarni czy też ulicy o tej nazwie. Dopiero towarzystwo innych słów daje możliwość dokładnego skategoryzowania słowa wyszukiwarce.

Większość zawartości w sieci w ogóle nie jest ustrukturyzowana np. przy wykorzystaniu schematów Schema.org. AI przy rozpatrywaniu całego internetu bierze zatem pod uwagę nawet semi-strukturalne elementy takie jak: nagłówki, wypunktowane i numerowane listy, dane zawarte w tabelach i sporo innych. W takich treściach pojawia się też sporo „wolnego”, nieustrukturalizowanego tekstu, który może być rozumiany niejednoznacznie. NLP polega na przetwarzaniu tego „wolnego” tekstu w zdaniach, frazach i akapitach; oddzielaniu go od tego, co już zostało zaklasyfikowane (the entities). W zrozumieniu tych pozostałych treści pomocne są również wspomniane wcześniej podobieństwo i pokrewieństwo słów.

• Oznaczanie części mowy

Inna ważna część lingwistyki komputerowej zaprojektowanej do uczenia się naturalnych połączeń w języku ludzkim dotyczy mapowania słów na poszczególne części mowy: rzeczowniki, przymiotniki, czasowniki, zaimki, etc. Niektórzy współcześni lingwiści rozszerzyli kategoryzowanie części mowy z tych podstawowych na bardziej szczegółowe, jak na przykład: czasownik w liczbie pojedynczej i innej niż trzeciej osobie w czasie teraźniejszym, czasownik w trzeciej osobie i liczbie pojedynczej w czasie teraźniejszym, zaimek dzierżawczy i in. W ten sposób z małej liczby części mowy tworzy się ich spora ilość – anglojęzyczne źródła przytaczają w tym przypadku 2 przykłady klasyfikacji takich części mowy: The Penn Treebank Tagger z 36 (https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html) częściami mowy oraz CLAWS7 z 146 częściami mowy (http://ucrel.lancs.ac.uk/claws1tags.html). W Polsce również opracowano różne klasyfikacje części mowy, np. wg Saloniego<.

Bezpośrednio w Google oznaczaniem części mowy zajmuje się ekipa lingwistów Google Pygmalion (https://www.wired.com/2016/11/googles-search-engine-can-now-answer-questions-human-help/). Pracuje ona nad wyszukiwaniem głosowym oraz asystentem. Pygmalion wykorzystuje przytoczony tu sposób oznakowywania części mowy do trenowania AI, by lepiej odpowiadała w postaci wspomnianych już np. featured snippets.

Rozumienie części mowy w danym zdaniu pozwala maszynie, w jaki sposób działa ludzki język. Dla zobrazowania można skorzystać z narzędzia rozpoznającego anglojęzyczne części mowy: https://parts-of-speech.info/.

Każda z części mowy oznaczona jest osobnym kolorem. Nie byliśmy w stanie odnaleźć analogicznego narzędzia w języku polskim, jeśli jednak je znasz – daj nam znać, a zaktualizujemy treść artykułu.

Problemy z metodami NLU

Pomimo wielkiego postępu w wyszukiwarkach internetowych i lingwistyce komputerowej, występuje szereg niedociągnięć uniemożliwiającym maszynom całkowite zrozumienie języka ludzkiego oraz prawidłowe przeskalowanie wykorzystywanych metod na inne języki niż tylko angielski. Poniżej wymieniamy jedynie wybrane z problemów związanych z NLU.

• Pygmalionu nie można przeskalować na inne języki

Wspomniana wcześniej klasyfikacja części mowy może okazać się czasochłonna oraz kosztowna. Co więcej, ludzie nie są doskonali, dlatego często występują błędy oraz spory. To, do jakiej części mowy zaklasyfikować dane słowo w wybranym kontekście może doprowadzić lingwistów do godzinnych konwersacji. Zespół lingwistów Google składał się w 2016 roku z około 100 wykształconych specjalistów związanych z językoznawstwem.

W wywiadzie dla magazynu Wired (https://www.wired.com/2016/11/googles-search-engine-can-now-answer-questions-human-help/) David Orr, kierownik produktu w Google, wytłumaczył, dlaczego jego zespół w dalszym ciągu potrzebuje szeregu specjalistów tagujących konkretne słowa jako poszczególne części mowy. Nazwał to „złotymi” danymi, które pomagają AI zrozumieć zasady działania ludzkiego języka.

Orr powiedział o Pygmalionie:

„Zespół opracowuje od 20 do 30 języków. Mamy jednak nadzieję, ze firmy takie, jak Google będą mogły ostatecznie przejść na bardziej zautomatyzowaną formę sztucznej inteligencji, nienadzorowane uczenie AI.”

Do roku 2019 zespół Pygmalionu był już spora grupą 200 lingwistów z całego świata – zarówno stałych pracowników, jak i agencyjnych. Nie brakowało pracy dla nich wszystkich ze względu na pracochłonny i zniechęcający charakter ręcznego tagowania i związanych z tym długich godzin pracy.

W tym samym artykule dla Wider Chris Nicholson (założyciel firmy Skymind) skomentował niedoskonałą naturę projektów takich jak Google Pygmalion. Podkreślił też perspektywę międzynarodową, która będzie problematyczna – jeśli chce być naprawdę wielojęzyczna, to część tagowania części mowy musiałaby zostać wykonana przez lingwistów specjalizujących się w każdym języku świata.

• Jednokierunkowy sposób czytania tekstu a jego spójność

Modele szkoleniowe AI (np. Skip-gram i Continuous Bag of Words) są jednokierunkowe. W wielkim uproszczeniu, zdania są czytane linearnie. Następne słowa nie są jeszcze widoczne dla maszyny, nie widzi ona całego kontekstu zdania i nie zrozumie go dopóki nie dotrze do ostatniego słowa. Niesie to ze sobą prawdopodobieństwo, że zostaną pominięte niektóre wzory pojawiające się w kontekście całej zawartości danej strony.

Taka jednokierunkowość powoduje, że tekst nie jest spójny. Często najdrobniejsze słowa robią wielką różnice i stanowią o całym oddźwięku tekstu, właśnie o jego spójności. Ważny jest temat zdania, akapitu, czy całego tekstu, a także sam szyk zdań – kolejność pojawiania się poszczególnych wyrazów. Oprócz tego, jak wspominaliśmy już w artykule, lingwiści mogą mieć problemy z odpasowaniem danego słowa do konkretnej części mowy. Jeszcze innym problemem może być pojawienie się wyrażeń idiomatycznych, w których każde słowo z osobna znaczy zupełnie co innego niż wszystkie razem.

Nieco lepsze w rozumieniu kontekstu były późniejsze modele szkoleniowe AI, jak np. ELMo, które czytały zawartość na lewo i na prawo od danego słowa kluczowego. Robiły to jednak niejednocześnie, co również nie oddawało w pełni prawdziwego kontekstu.

4. Jak BERT pomaga wyszukiwarce lepiej zrozumieć język?

Biorąc pod uwagę wszystko, co do tej pory opisaliśmy, postaramy się odpowiedzieć na pytanie dotyczące wpływu BERTa na wyszukiwarki internetowe (i in.) i ich rozumienie języka ludzkiego.

Dlaczego BERT jest tak wyjątkowy? Kilka elementów sprawia, że BERT jest tak wyjątkowy dla wyników wyszukiwania. Część z nich zawarta jest w nazwie (np. dwukierunkowość, Bi-Directional), są też inne zmiany, które wprowadza:

4.1. Przeszkolenie w czytaniu tekstu nieotagowanego ręcznie

„Magią” BERTa jest wdrożenie dwukierunkowej metody czytania na tekście, który nie był otagowany ręcznie przez lingwistę. Był pierwszym frameworkiem naturalnego języka, który został wstępnie przeszkolony do analizowania nieotagowanego ręcznie, czystego tekstu (2.5 miliarda słów z angielskiej Wikipedii) bez nadzoru. Wszystkie wcześniejsze modele analizy języka wymagały, by tekst został ręcznie oznaczony.

BERT uczy się języka poprzez przyswajanie spójności pojawiających się w zanalizowanym tekście. Zostaje później bardziej drobiazgowo edukowany na mniejszych porcjach przykładach z języka naturalnego. Z czasem zaczyna uczyć się sam.

4.2. Wspomniana dwukierunkowość

BERT to pierwszy prawdziwie dwukierunkowy model NLP. Co to jednak oznacza? Prawdziwe zrozumienie kontekstowe wynika z możliwości jednoczesnego zobaczenia wszystkich słów w zdaniu i zrozumieniu, w jaki sposób wszystkie te słowa wpływają na kontekst innych wyrażeń w zdaniu. Część mowy, do której należy dane słowo może zostać zmieniona ze względu na kontekst. Świetnym anglojęzycznym przykładem (choć prawdopodobnie nie spotkamy się z takim zapytaniem w wyszukiwarce) jest zdanie:

I like how you like that he likes that.

gdzie słowo ”like” za każdym razem występuje w tej samej postaci, jednak jako inna część mowy ze względu na kontekst. W ten sposób BERT jest w stanie wyłapać niuanse, które były pomijane przez wcześniejsze modele.

4.3. Wykorzystanie architektury na wzór transformera (modelu tłumaczeniowego AI)

Większość zadań w NLU opartych jest na przewidywaniach prawdopodobieństwa. Jakie jest prawdopodobieństwo, że to zdanie odnosi się do następnego? Albo jakie jest prawdopodobieństwo, że to słowo jest częścią tego zdania? Architektura BERTa i jego modelowanie języka są częściowo zaprojektowane w celu identyfikacji i określania właściwego znaczenia niejednoznacznych słów, które zmieniają cały kontekst zdania.

„Transformery” będące modelami tłumaczeniowymi AI utrwalają słowa w kontekście, by nie mogły być niejednoznaczne. To ujednolicenie opiera się na artykule opracowanym przez Vaswaniego w 2017 z Google Brain, „Attention is all you need” (https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf). Został on publikowany rok przed artykułem badawczym dot. BERTa.

Na wzór transformerów tłumaczeniowych każde zdanie jest rozłożone na czynniki pierwsze i połączone z kontekstem. Na grafice poniżej widać, jak bardzo słowo „it” (patrz pojęcie anafory i katafory) jest faktycznie rozpoznawane jako powiązane z innymi – „the” i „animal”:

4.4. Zamaskowane modelowanie języka (szkolenie MLM, Masked Language Modelling)

Technika ta jest znana również jako „The Cloze Procedure” (https://psycnet.apa.org/record/1955-00850-001) i jest wykorzystywana już od jakiegoś czasu, jeszcze przed powstaniem BERTa. Architektura nowego modelu algorytmicznego analizuje losowo zdania z losowo zamaskowanymi słowami i stara się poprawnie przewidzieć, czym właściwie jest „ukryte” słowo. Działanie takie ma na celu, by uniknąć sytuacji, kiedy to algorytm wejdzie w nieskończoną pętlę nauki języka naturalnego, która zupełnie wypaczyłaby znaczenie analizowanego słowa.

4.5. Uwarunkowania tekstowe (przewidywanie następnego zdania)

Jednym z największych udoskonaleń BERTa jest to, że powinien on być w stanie przewidzieć to, co chcesz powiedzieć w następnej kolejności. Lub jak to określono w zeszłym roku w New York Timesie (https://www.nytimes.com/2018/11/18/technology/artificial-intelligence-language.html), „W końcu maszyna, która może dokończyć twoje zdanie.”. Posiadając dwa zdania znajdujące się obok siebie, BERT będzie w stanie przewidzieć, czy drugie zdanie pasuje kontekstowo do tego pierwszego.

W oryginalnym modelu BERTa funkcja ta została uznana za niewiarygodną, w związku z tym opracowane zostały inne open-source’owe rozwiązania, które lepiej rozwiązują ten problem. Przykładem może tu być model ALBERT od Google’a.

Jak podaje Wikipedia (https://en.wikipedia.org/wiki/Textual_entailment), analizowane pary zdań mogą mieć 3 relacje (neutralne / pozytywne / negatywne):

Do takich też wniosków może dochodzić AI przy analizowaniu poszczególnych zdań – kolejne zdanie może być dla pierwszego pasujące, niepasujące lub neutralne.

5. Google ALBERT

Google ALBERT miał swoją premierę we wrześniu 2019, stanowi połączenie sił pomiędzy Google AI i grupą badawczą Toyoty. ALBERT uznawany jest za naturalnego potomka BERTa, ponieważ osiąga najnowocześniejsze wyniki w zadaniach polegających na badaniu NLP, jednak jest w stanie to osiągnąć w znacznie bardziej wydajny i mniej kosztowny obliczeniowo sposób. Model ten ma 18 razy mniej parametrów niż BERT-Large. Jedną z głównych innowacji odróżniających go od swojego poprzednika to także poprawka w przewidywaniu kolejnego zdania.

6. Co BERT oznacza dla SEO?

Wśród seowców BERT może być odbierany jako zmiana algorytmiczna, jednak w rzeczywistości jest bardziej „aplikacją” wielowarstwowego systemu, który rozumie wieloznaczności i jest w stanie lepiej poznać odniesienia do konkretnych tematów w języku naturalnym. Robi to w sposób ciągły i stale się udoskonala dzięki możliwości uczenia się.

Głównym celem BERTa jest poprawa rozumienia języka ludzi przez maszyny. W perspektywie wyszukiwarek mowa o pisemnych i ustnych zapytaniach użytkowników, a także o treściach, które są zbierane i indeksowane przez Google. BERT rozwiązuje dwuznaczności językowe, zapewnia spójność tekstu, zwraca uwagę na najmniejsze elementy zdania decydujące o strukturze i znaczeniu.

BERT nie jest zmianą algorytmiczną jak Pingwin czy Panda ponieważ nie ocenia stron internetowych ani negatywnie, ani pozytywnie. Bardziej poprawia zrozumienie języka ludzkiego dla wyszukiwarki Google. W rezultacie Google lepiej rozumie znaczenie treści na odwiedzanych stronach, a także zapytania użytkowników, gdyż bierze pod uwagę pełen kontekst wypowiedzi.

BERT dotyczy zdań i fraz. Dwuznaczność jest nie tyle badana na poziome jednego słowa, co na poziomie całego zdania, ponieważ dotyczy kombinacji słów o wielu znaczeniach, które powodują tę dwuznaczność.

Przewiduje się, że BERT wpłynie na 10% zapytań, w których zauważyć będzie można drobne szczegóły przeważające o całym wydźwięku zdania i jego kontekście. Co więcej, może to mieć wpływ na zrozumienie nawet więcej niż 15% nowych zapytań, które Google otrzymuje każdego dnia, często odnoszących się do wydarzeń dnia codziennego. W Google Search Console zauważymy prawdopodobnie zmienioną liczbę wyświetleń strony na dane zapytania – w związku ze zwiększoną precyzją i dopasowaniem wyników wyszukiwania.

Tak zautomatyzowane działanie z pewnością wpłynie również na pracę wymienionego wcześniej zespołu Google Pygmalion, który przyłożył się do wyszukiwania głosowego, Asystenta Google, featured snippets.

6.1. Pierwszy przykład zmian w wyszukiwarce

Poniżej zamieszczamy dodatkowy przykład, który obrazuje, jak opisywane tu zagadnienia mają bezpośredni wpływ na wyniki wyszukiwania w Google. Przykład pokazuje wagę różnych części mowy i rolę ujednoznaczenia pojedynczych sów. Chociaż słowo jest małe („to”, pl: „do”), to zmienia całkowicie znaczenie zapytania, gdy jest ono uwzględniane w pełnym kontekście.

źródło: https://blog.google/products/search/search-language-understanding-bert

Fraza „2019 brazil traveler to usa need a visa” przed wprowadzeniem BERTa nie uwzględniała tzw. „stopwordsów”, pokazywały się zupełnie inne wyniki wyszukiwania niż po jego wdrożeniu. Obecne wyniki są znacznie bardziej odpowiadające intencji użytkownika.

6.2. Drugi przykład zmian w wyszukiwarce

Podobnie w drugim przykładzie zaprezentowanym wprost przez Google, gdzie pod uwagę wzięta została fraza „Can you get medicine for someone pharmacy”, gdzie liczy się głównie kontekst:

6.3. Trzeci przykład zmian w wyszukiwarce

Trzeci przykład porusza temat już, o którym już wspominaliśmy niejednokrotnie w tym tekście – featured snippets. Przykładowa fraza „parking on a hill with no curb”. Wcześniej użytkownik dostawał podpowiedzi zupełnie odwrotne do swoich oczekiwań: wyszukiwarka nie brała pod uwagę słowa „no”. Obecnie internauta nie będzie zawiedziony, otrzyma od razu to, czego poszukiwał – informacji o parkowaniu na wzniesieniu bez krawężnika.

7. BERT a międzynarodowe SEO

Jednym z głównych skutków BERTa może być wpływ na międzynarodowe SEO ze względu na to, że jego odkrycia w jednym języku mogą posiadać wartość możliwą do przeniesienia na inne języki oraz domeny. Omawiany model jest o tyle nieszablonowy, że ma pewne wielojęzyczne właściwości, które w pewnym sensie wywodzą się tylko z jednego języka, a później rozszerzyły się do 104 języków w postaci M-BERTa (Multilingual BERT).

W artykule napisanym przez Piresa, Schingera i Garratte’a (https://arxiv.org/abs/1906.01502) testowano międzyjęzykowe możliwości modelu Multilingual BERT i odkryto, że „jest zadziwiająco dobry w bezobsługowym przenoszeniu wzorców międzyjęzykowych”. Jest to analogiczne do sytuacji, kiedy zrozumiałbyś język, którego wcześniej nie słyszałeś.

8. Pytania i odpowiedzi w Google

Pytania i odpowiedzi, które otrzymujemy bezpośrednio w SERPach bez konieczności wchodzenia na strony będą prawdopodobnie również bardziej rozwinięte i precyzyjne, dzięki czemu w teorii może zmniejszyć się może liczba kliknięć uzyskiwanych przez witryny internetowe. W podobny sposób, w jaki MSMARCO (http://www.msmarco.org/) jest wykorzystywany do doskonalenia się dzięki zestawom pytań i odpowiedzi użytkowników Binga, podobnie Google będzie dostarczało BERTowi zbiory danych do przyspieszenia postępów w NLU. Dzięki temu zobaczymy również prawdopodobnie zmiany, bardziej szczegółowe dopasowania w sekcji „People Also Ask” (Podobne pytania).

9. Czy strona może zostać zoptymalizowana pod BERTa?

Prawdopodobnie nie. Wewnętrzne funkcjonowanie BERTa jest złożone i wielowarstwowe. Od momentu powstania, stworzono nawet dziedzinę badań poświęconą temu modelowi, „Bertologię” (Bertology); założoną przez Hugging Face (https://huggingface.co/). Jest wysoce nieprawdopodobne, by jakikolwiek badacz wyszukiwarek mógł obecnie bezpośrednio wyjaśnić powody, dla których BERT podejmowałby decyzje dotyczące rankingu. Ze względu na zdolność ciągłej nauki uważany jest za niewytłumaczalną formę sztucznej inteligencji.

Podsumowanie

Uważa się, że BERT nie zawsze sam wie, dlaczego podejmuje decyzje. Jak więc seowcy mieliby próbować optymalizować pod niego strony? Warto jednak pamiętać o tym, że został on zaprojektowany po to, by rozumieć język naturalny, dlatego też warto w obrębie witryn dążyć do tego celu – rezygnować z wszelkich sztuczności, niskiej jakości tekstów lub tych generowanych automatycznie (sic!). Teksty powinny być przekonujące, angażujące, informacyjne i dobrze ustrukturyzowane. Tworzone dla ludzi, nie dla maszyn.

Wyszukiwarki wciąż mają przed sobą długa drogę udoskonalenia, a BERT jest jedynie jej częścią.