17 декабря, в корпусе МФТИ на Климентовском переулке (дом 1, строение 1) состоится презентация проекта «Культурные замеры больших языковых моделей: концепция, принципы разработки и тестирования культурологического бенчмарка». Модератор — руководитель исследовательской группы Центра междисциплинарных исследований МФТИ Максим Кронгауз.
На презентации будет представлен инструмент для исследования встроенности больших языковых моделей (LLM) в русскоязычную культуру. Он включает в себя методику выявления культурных типажей, построения культурологических карт, а также принципы создания вопросов, ответы на которые подразумевает знание определенных культурных и языковых стереотипов.
Исследователи исходят из того, что носитель культуры обладает набором указанных стереотипов, и с помощью вопросов проверяют знание этих стереотипов моделью. Инструмент позволяет определить способность современных языковых моделей считывать культурный контекст и реагировать естественным образом на устойчивые стимулы.
Доклады:
- М. Кронгауз, В. Шульгинов: «Снятся ли большим языковым моделям электроовцы: концепция и задачи проекта»;
- О. Мороз и Д. Калачева: «Машины говорят с человеком: основы лингвокультурного исследования больших языковых моделей»;
- Е. Громенко «Измерение языковых стереотипов: речевые клише в тестировании больших языковых моделей»;
- К.Клокова, Т. Юдина «Механизм тестирования и интересные случаи оценки LLM».
