Быстрая проверка
Проверьте сами несколько сообщений сессии, прочитайте итог обычными словами и запишите исправления в сессию.
Быстрая проверка
Быстрая проверка берёт несколько сообщений сессии случайным образом. Вы смотрите каждое, подтверждаете верное и исправляете неверное. В конце видно, в скольких сообщениях были ошибки и сколько их, скорее всего, во всей сессии. Записывать ли исправления в сессию, решаете вы.
1. Выберите, сколько сообщений
Нажмите Проверить качество на странице сессии или Новая проверка в разделе «Качество» и выберите сессию. Экран спрашивает одно: сколько сообщений проверить.
- Выберите 10, 20, 50 или все. По умолчанию 20, а если в сессии сообщений меньше, то вся сессия.
- Сообщения берутся из сессии случайно. Если вы пришли со страницы сессии с фильтрами, берутся только сообщения под этими фильтрами.
- Строка под выбором говорит, что даёт это число, например «20 сообщений: итог с точностью около ±22 %». Доля ошибок, которую вы найдёте в 20 сообщениях, может отличаться от доли во всей сессии примерно на 22 процентных пункта в любую сторону. Чем больше сообщений, тем меньше это число.
- Начать проверку сразу открывает первое сообщение.
Пока вы проверяете, в сессии ничего не меняется.
2. Пройдите сообщения
Слева сообщение, справа его тональность, темы и автор в том виде, в каком они отмечены сейчас. Строка над ними говорит, чей это ответ: «Так отметила модель», «Так отмечено сейчас · правили вы», если вы уже правили это сообщение, или имя того, кто его правил. Если в этой проверке вы уже ответили на сообщение, строка говорит «Вы исправили это сообщение» или «Вы подтвердили, что всё верно».
- Верно и дальше (пробел): всё отмечено правильно, идём дальше.
- Поменяйте тональность, темы или автора и нажмите Сохранить исправление и дальше. Это тот же пробел: как только вы что-то поменяли, пробел сохраняет исправление, а не отмечает «верно». Само сообщение в сессии пока не изменится.
- Пропустить (X): если не уверены. Сообщение не войдёт в итог, к нему можно вернуться.
- Назад и Далее (← и →) листают сообщения. Если вы что-то поменяли, исправление сохранится при переходе; сообщение, которое вы не трогали, останется непроверенным.
- При желании добавьте к сообщению категорию ошибки (E): «Неоднозначная инструкция», «Не учтён контекст», «Неверно прочитана тональность», «Путаница тем» или «Другое». Или комментарий (M). Это заметки для вас, на итог они не влияют.
Пока проверка открыта, к любому проверенному сообщению можно вернуться и изменить ответ. Проверку можно прервать в любой момент: ответы сохраняются. Чтобы продолжить, нажмите Проверить качество на странице сессии или откройте проверку из списка в разделе «Качество» и нажмите Продолжить. На телефоне кнопки закреплены внизу экрана, а подсказки клавиш скрыты.
3. Экран «Готово»
После последнего сообщения появится Готово: сколько ответов вы отметили верными, сколько исправили и сколько пропустили. К итогу (или пробел) открывает итог, К сообщениям возвращает к ним.
4. Прочитайте итог
Итог занимает одну страницу. Сверху три ячейки: выборка (сколько сообщений из скольких в сессии), сообщения (сколько проверено и сколько пропущено) и итог (доля ошибок). Пока остались непроверенные сообщения, главная кнопка Продолжить с их числом.
Когда все сообщения проверены или пропущены, итог написан словами, например: «Ошибки в 3 из 20 сообщений (15 %). По всей сессии это примерно от 5 до 36 %: выборка маленькая».
- Ошибкой считается сообщение, в котором неверно хотя бы что-то одно: тональность, темы или автор.
- Первая часть фразы говорит, что вы нашли. Вторая показывает, в каких пределах, скорее всего, доля ошибок во всей сессии (с уверенностью 95 %).
- Чем меньше сообщений проверено, тем шире эти пределы. Слова «выборка маленькая» появляются, когда проверено меньше 30 сообщений. Чтобы пределы стали уже, проведите ещё одну проверку на большее число сообщений.
- Если вы проверили все сообщения сессии, доля точная и пределов нет.
Ниже строки по тональности, темам и автору («верно 18 из 20») и список сообщений с ошибкой: что было отмечено и что поставили вы. Тема с ошибкой ведёт на свою страницу в редакторе инструкций, если редактор вам доступен. Подробности раскрывают таблицу тональности (что было отмечено и что поставили вы), точность и полноту по темам и время на сообщение.
5. Пропущенные сообщения
Если вы что-то пропустили, на странице итога есть две кнопки:
- Вернуться к пропущенным: они снова становятся непроверенными, и проверка открывается на них.
- Завершить без пропущенных: проверка закрывается, пропущенные остаются непроверенными и в итог не входят.
Если вы пропустили все сообщения и ни одного не проверили, завершить проверку нельзя: вернитесь к пропущенным или нажмите Отменить проверку.
6. Запишите исправления в сессию
Исправления попадают в сессию, только когда вы нажмёте Записать исправления в сессию с числом исправлений. Кнопка появляется, когда проверка закончена: все сообщения проверены или вы нажали Завершить без пропущенных. До этого сессия остаётся как была.
- После записи на странице появится строка «Исправления записаны» с датой и временем. Повторное нажатие ничего больше не пишет.
- Автором исправленной разметки становитесь вы, а в истории правок сообщения видно изменение.
- Конфликт означает, что разметку сообщения поменяли в сессии уже после того, как проверка его взяла, например кто-то поправил его вручную. Такое сообщение не перезаписывается: оно показано под итогом со ссылкой на сессию. Откройте его по ссылке и, если ваше исправление вернее, поправьте сообщение вручную.
- Если запись оборвалась на середине, кнопка Записать оставшиеся исправления доведёт её до конца.
7. Поправьте инструкцию
Поправить инструкцию открывает инструкцию сессии в редакторе инструкций. Кнопка есть, если редактор вам доступен. Исправления чинят проверенные сообщения, а инструкция решает, как будут размечены остальные сообщения сессии и будущие сессии. Если одна и та же ошибка повторяется, например одну тему всё время пропускают, поправить инструкцию полезнее, чем исправлять сообщения по одному.
CSV
CSV скачивает все сообщения проверки: текст, ссылку, что было отмечено, что поставили вы, была ли ошибка, состояние (верно, исправлено, пропущено, не проверено) и записано ли исправление в сессию.
Частые вопросы
Сколько сообщений брать? Двадцати хватит, чтобы увидеть, что что-то сильно не так. Если пределы в итоге слишком широкие для решения, проверьте 50 или все.
Ошибок много. Что делать? Посмотрите список ошибок. Если ошибка повторяется, сначала запишите исправления: проверенные сообщения этой сессии станут верными. Потом поправьте инструкцию кнопкой Поправить инструкцию и запустите новую сессию тегирования. Она разметит сообщения по исправленной инструкции, а записанные исправления в этой сессии останутся.
Можно ли проверять с телефона? Да. Кнопки внизу экрана, нажимайте их вместо клавиш.
Что значит «правили вы»? Вы уже правили или подтверждали это сообщение, например на странице сессии или когда записывали исправления прошлой проверки. В быстрой проверке вы проверяете и свою работу, пометка лишь показывает, что это сообщение уже проходило через ваши руки.
Кто может начать быструю проверку? Редакторы и владелец. Открыть итог и скачать CSV может любая роль.
См. также: Проверка качества: зачем и с чего начать, Приёмка по стандарту.