Финал «Теста Тьюринга»: подробности и результаты

Posted · Комментировать

Друзья!

Как мы уже сообщали вам, на конференции Startup Village 2015 состоялся финал конкурса «Тест Тьюринга».

В финал пробились 8 команд из 69 первоначально заявленных на конкурс: «Идеальный собеседник», «Позитифф», «Инобот», «Лиска Лисичкина», «Сборка №42», «Сократ», «Пятый дом» и «Форвард».

На Startup Village созданные финалистами чатботы анонимно общались с независимыми судьями из числа посетителей конференции, пытаясь выдать себя за человека. Наряду с роботами через чат разговаривали с судьями и люди – восемь волонтеров-лингвистов. Судьям предстояло определить, кто из их собеседников является роботом, а кто нет.

При том, что лингвисты во время диалогов не пытались притвориться чатботами, судьи иногда принимали волонтера за виртуального собеседника, а робота, который шел с ним в паре, – за реальную личность. Думаем, это отличное подтверждение того, что создатели чатботов трудились не зря.

По правилам конкурса тест Тьюринга считался бы пройденным, если бы робота приняли за человека как минимум 50% независимых судей. В зарубежных версиях теста Тьюринга обычно устанавливается другая планка – например, 30%. Так было в 2014 году, когда чатбот Евгений Густман ввел в заблуждение 33% судей в тесте Тьюринга, который проводил Университет Рединга в Великобритании.

Победителю нашего конкурса – роботу «Соне» – для прохождения теста Тьюринга не хватило всего 3%: ее приняли за человека 47% судей. Создатель «Сони» – команда «Инобот», возглавляемая  Иваном Голубевым из Санкт-Петербурга, – получила в итоге главный приз.

Ivan GolubevИван Голубев, капитан команды «Инобот»

По словам Ивана, в конкурсе «Тест Тьюринга» его привлекла возможность «создать своего робота на базе готовой платформы, тратя время не на преодоление технических препятствий, а на создание персонажа». Своим персонажем он сделал 12-летнюю Соню Гусеву. Это «раздражительный, иногда грубоватый подросток, манера поведения которого предсказуема, и поэтому ее относительно легко имитировать».

Второе место досталось чатботу по имени Сократ (капитан – Александр Кузьмин, Москва), он сумел ввести в заблуждение 24% своих собеседников.

Третье место заняла «Лиска Лисичкина» (капитан – Алексей Лаврушев, Красноярск) с результатом 19%.

На церемонии награждения победителей член экспертного совета, председатель совета директоров Игорь Ашманов рассказал о планах организаторов «Теста Тьюринга» сделать этот конкурс ежегодным. А еще устроители собираются адаптировать его для студенческой аудитории и проводить состязания между профильными вузами.

Мы благодарим всех, кто участвовал в конкурсе и следил за развитием событий на первом тесте Тьюринга для чатботов, говорящих на русском.

Оставайтесь с нами – впереди у нас много интересных событий!


 

Интересные факты:

  • На обучение роботов участникам было дано меньше 2 месяцев
  • Каждый чатбот-финалист провел по 15 разговоров с независимыми судьями
  • Чатбот-победитель ввел в заблуждение 47% судей
  • База знаний робота-победителя включает в себя 1004 шаблона
  • Волонтером, которого судьи чаще всего принимали за робота, стала Светлана Мазурина: ее определяли как чатбота в 33% диалогов