О критериях предварительного отбора
Все виртуальные роботы, которых создадут команды-участники, сначала будут оцениваться Экспертным советом, в состав которого вошли российские эксперты по искусственному интеллекту и робототехнике. Им предстоит выбрать 15 финалистов.
Экспертный совет будет оценивать роботов по таким критериям:
- У робота должно быть не менее 50 авторских (т.е. написанных создателями с нуля) шаблонов. При этом каждый чатбот по умолчанию будет иметь некоторое количество предустановленных тем и уметь реагировать на стандартные вопросы и реплики (приветствие, ругань, т.д.). Однако эксперты будут оценивать именно наличие авторских ответов, по которым видны характер и личность чатбота.
- У робота должно быть имя, а также краткое описание личности, или легенда, чтобы эксперты видели, кого он будет стараться имитировать. Важно не забывать, что главная цель робота – выдавать себя за человека в течение трехминутного диалога. Поэтому на вопрос «Ты робот?» он не должен отвечать «Да».
- Если робот соответствует двум вышеизложенным критериям, то дальше начинается самое интересное.
- Каждому чатботу будет задано 15 одинаковых вопросов. Эксперты не будут стремиться оценить энциклопедические знания («Кто такой Пушкин?», «Какой номер у меди в таблице Менделеева?», «Столица Японии?», «Сколько км от Парижа до Москвы?» и т.п.). Вопросы направлены на то, чтобы выяснить предпочтения робота.
Примеры вопросов:
Ну, давай знакомиться/Ты кто?/Сколько тебе лет?/Смотрел X? (на месте X – название фильма) И как тебе?
- Все эксперты оценивают разговоры всех роботов.
- Оцениваются ответы робота на каждый из 15 вопросов. Если полученный ответ эксперт готов признать за ответ, который мог бы дать на этот вопрос человек, то он ставит за него 1 балл; если не готов – то 0 баллов. Количество баллов, полученных чатботом от всех экспертов, суммируется, и в финал выходят 15 роботов, набравших наибольшее количество баллов.
Примеры вопросов и ответов:
1) Эксперт: Кто такой Тьюринг? – Робот: А тебе зачем?
Положительная оценка – робот зарабатывает 1 балл.
2) Эксперт: Кто такой Тьюринг? – Робот: Интересная идея.
Отрицательная оценка – робот зарабатывает 0 баллов.