Что такое алгоритм СМИТА?

Алгоритм СМИТА — это название новой модели, используемой Алгоритм поиска Google, за попытку понять целые документы, где такие модели, как BERT, обучены понимать слова в контексте предложений.

В очень упрощенном описании модель СМИТА обучена понимать отрывки в контексте всего документа.

В то время как такие алгоритмы, как BERT, обучены на наборах данных предсказывать случайно скрытые слова из контекста внутри предложений, алгоритм SMITH обучен предсказывать, каким будет следующий блок предложений.

По мнению исследователей, такой вид обучения помогает алгоритму понимать более крупные документы лучше, чем алгоритм BERT.

Читать далее здесь.