О критериях предварительного отбора

Все виртуальные роботы, которых создадут команды-участники, сначала будут оцениваться Экспертным советом, в состав которого вошли российские эксперты по искусственному интеллекту и робототехнике. Им предстоит выбрать 15 финалистов.

Экспертный совет будет оценивать роботов по таким критериям:

  1. У робота должно быть не менее 50 авторских (т.е. написанных создателями с нуля) шаблонов. При этом каждый чатбот по умолчанию будет иметь некоторое количество предустановленных тем и уметь реагировать на стандартные вопросы и реплики (приветствие, ругань, т.д.). Однако эксперты будут оценивать именно наличие авторских ответов, по которым видны характер и личность чатбота.
  2. У робота должно быть имя, а также краткое описание личности, или легенда, чтобы эксперты видели, кого он будет стараться имитировать. Важно не забывать, что главная цель робота – выдавать себя за человека в течение трехминутного диалога. Поэтому на вопрос «Ты робот?» он не должен отвечать «Да».
  3. Если робот соответствует двум вышеизложенным критериям, то дальше начинается самое интересное.
    1. Каждому чатботу будет задано 15 одинаковых вопросов. Эксперты не будут стремиться оценить энциклопедические знания («Кто такой Пушкин?», «Какой номер у меди в таблице Менделеева?», «Столица Японии?», «Сколько км от Парижа до Москвы?» и т.п.). Вопросы направлены на то, чтобы выяснить предпочтения робота.

      Примеры вопросов:

      Ну, давай знакомиться/Ты кто?/Сколько тебе лет?/Смотрел X? (на месте X – название фильма) И как тебе?

    2. Все эксперты оценивают разговоры всех роботов.
    3. Оцениваются ответы робота на каждый из 15 вопросов. Если полученный ответ эксперт готов признать за ответ, который мог бы дать на этот вопрос человек, то он ставит за него 1 балл; если не готов – то 0 баллов. Количество баллов, полученных чатботом от всех экспертов, суммируется, и в финал выходят 15 роботов, набравших наибольшее количество баллов.

      Примеры вопросов и ответов:

      1) Эксперт: Кто такой Тьюринг? – Робот: А тебе зачем?

      Положительная оценка – робот зарабатывает 1 балл.

      2) Эксперт: Кто такой Тьюринг? – Робот: Интересная идея.

      Отрицательная оценка – робот зарабатывает 0 баллов.