NLPx

Tales of Data Science

Проклятье Улицы Сезам: нашествие маппетов в NLP

Недавно мой добрый товарищ Антон Ложков в своем телеграм-канале устроил перекличку персонажей Улицы Сезам в NLP,  у него получился достаточно внушительный список. Здесь я решил немного разбавить этот список картинками (ведь не все помнят персонажей Улицы Сезам, правда?). А еще попытаюсь ответить на вопрос — какого хрена именно маппеты заслужили такую честь?

Какие маппеты уже есть в NLP

Elmo


(2018) Deep contextualized word representations (https://arxiv.org/abs/1802.05365)

Bert


(2018) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (https://arxiv.org/abs/1810.04805)

Ernie


(2019) ERNIE: Enhanced Representation through Knowledge Integration (https://arxiv.org/abs/1904.09223)

(2019) ERNIE: Enhanced Language Representation with Informative Entities (https://arxiv.org/abs/1905.07129)

Big Bird


(2019) Big Bidirectional Insertion Representations for Documents (https://arxiv.org/abs/1910.13034)

(2020) Big Bird: Transformers for Longer Sequences (https://arxiv.org/abs/2007.14062)

Oscar the Grouch


(2019) OSCAR or Open Super-large Crawled ALMAnaCH coRpus (https://oscar-corpus.com/)

Rosita


(2019) Polyglot Contextual Representations Improve Crosslingual Transfer (https://arxiv.org/abs/1902.09697)

Grover


(2020) GROVER: Self-supervised Message Passing Transformer on Large-scale Molecular Data
(https://arxiv.org/abs/2007.02835)

Two-Headed Monster


(2019) Two-Headed Monster And Crossed Co-Attention Networks (https://arxiv.org/abs/1911.03897)

Kermit


(2019) KERMIT: Generative Insertion-Based Modeling for Sequences (https://arxiv.org/abs/1906.01604)

Кто еще только ждет своей очереди

Cookie Monster


Zoe


Count von Count


Abby Cadabby

Почему именно улица Сезам?!

Начало всему этому приколу было положено в 2017 году, когда товарищи из Allen Institute запилили ELMo. Все мы знаем, что разработчики очень любят демонстрировать на весь мир свое извращенное чувство юмора, по-дурацки называя свои поделки — разработчики ELMo не стали исключением. Мэтт Петерс (тот чувак, который в публикации в списке авторов стоит на первом месте) сказал, что они вообще придумали название ELMo в результате сурового брейншторминга в мессенджере. Мол, и акроним вышел забавный, и все ключевые слова в нем сошлись — Embeddings from Language Model.

Следующий шаг в этой зловещей истории совершили специалисты из Google AI, когда выпустили в этот бренный мир свой BERT (который Bidirectional Encoder Representations from Transformers). Ребята никак особо не прокомментировали выбор названия, но в описании релиза обмолвились, что их штука вдохновлена предыдущими работами по контекстным эмбеддингам, и в том числе ELMo.

BERT быстро стал очень известен и шутники из других исследовательских лабораторий подхватили эстафету. И понеслась — Baidu со своим ERNIE, снова Google с Big Bird…

Понятно, что сразу после этого пошли теории, мол, это все не просто голые шутейки, а как бы признание заслуг предыдущих авторов и демонстрация преемственности. Ну типа BERT основан на идеях ELMo, Grover на основе BERT и так далее. Но я как-то не верю, что все настолько серьезно.

Бальзамом на душу стал GPT-2. Вот просто GPT-2 — без всяких там печеньковых монстров или зоев. И казалось, что все, тренд прервался.

Но нет — как в фильмах ужасов злодей внезапно появляется, когда все думали, что он уже мертв — Джек Кларк из OpenAI сказал, что они решили дать GPT-2 имя. И назвали они его…

Snuffleupagus (Snuffy)

Будьте осторожны, работая над языковыми моделями. Если вы будете слишком медлить с релизами — вам не хватит маппетов.

Ссылки

  1. Телеграм-канал Антона Ложкова https://t.me/datakitchen
  2. Подробная статья на английском на эту тему. Без смехуёчков и развернуто: https://www.theverge.com/2019/12/11/20993407/ai-language-models-muppets-sesame-street-muppetware-elmo-bert-ernie
  3. Посвящается Пупусе
  4. https://embedika.ru/ — компания, в которой я работаю. Просто она мне очень нравится, поэтому ставлю ссылку первой.

209 просмотров всего, 8 просмотров сегодня

Проклятье Улицы Сезам: нашествие маппетов в NLP
5 1 vote

Leave a Reply

avatar