Как сообщили в НГУ, разработчикам «Писца» было важно собрать статистику о разнообразии совершаемых им ошибок, чтобы в дальнейшем усовершенствовать систему. В итоге «Писец» вполне удовлетворительно расставил запятые и разбил текст на абзацы, однако галлюцинаций (термин программистов, обозначающий неверное семантическое значение слова) избежать не удалось.
Работу ИИ проверяла Людмила Буднева – старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного института НГУ.
«Из 276 слов диктанта «Писец» пропустил 6, пять из которых стояли в конце предложения, причем в этих случаях он не ставил точку, но следующее предложение начинал с заглавной буквы, – сообщила Буднева. – В одном месте пропустил предлог «в», шедший предпоследним в предложении. Еще 7 слов им было услышано неверно. Например, вместо «наивысшего» искусственный интеллект написал «наявившего». Другой пример словотворчества — «кальиончатых» вместо «клеенчатых». Встретилось и неверно услышанное выражение «Читай — не хочу». Вместо него написано «Считай, не хотите», свидетельствующее и о проблемах с грамматикой. С грамматикой обнаружились еще проблемы в написании окончаний — «синями» (вместо «синими») и «портрет... гимназисткЕ» (правильно: «портрет… гимназистки»), что уже засчитывается за орфографическую ошибку...».
В итоге специалистами был сделан следующий вывод: в тех местах, где «Писец» все слова услышал верно, он написал диктант хорошо — на границе между тройкой и четверкой. Такого результата его разработчики не ожидали.