"Приёмка по стандарту (для команд)"
Как команда проверяет разметку по стандарту ISO 2859-1: кто проверяет и кто решает, четыре шага, спорные сообщения, решение по партии и как читать отчёт.
Приёмка по стандарту (для команд)
Этот вид проверки нужен командам, где одни размечают, другие проверяют, а кто-то принимает решение. Сообщения делятся по тому, кто их разметил, и работу каждого исполнителя принимают или нет по плану выборочного контроля из стандарта ISO 2859-1. Судить на глаз не нужно: план говорит, сколько сообщений проверить и сколько ошибок ещё допустимо.
Если вы проверяете сессию в одиночку, проще быстрая проверка.
Коротко: как идёт приёмка
- Редактор или владелец создаёт проверку. Сообщения делятся на партии по исполнителям. При выборке по исполнителям план (см. Слова стандарта) говорит, сколько сообщений каждой партии проверить.
- Проверяющие нажимают Проверять и проходят сообщения: подтверждают, исправляют или отмечают Спорно.
- Спорные сообщения решает редактор или владелец: у них есть кнопка Решить спорные.
- Когда партия проверена, план принимает её или нет. Если план не решает сам, решение принимает редактор или владелец.
- Исправления проверенных сообщений записываются в сессию. Для непринятой партии выбирают, что с ней делать дальше.
Когда она нужна
- Сообщения размечают вручную несколько человек или вы сравниваете maesense со своими разметчиками, и по работе каждого нужно решение.
- Решение должно следовать правилам, о которых договорились заранее, а не впечатлению одного проверяющего.
- Непринятая работа уходит на доработку, и это нужно отслеживать.
Как начать
Откройте экран быстрой проверки (Проверить качество на странице сессии или Новая проверка в разделе «Качество») и нажмите ссылку Приёмка по стандарту (для команд) внизу. Экран создания заранее показывает выборку и планы, а проверка создаётся, когда вы её подтвердите. На этом экране выбирается Метод выборки:
- По исполнителям (по умолчанию): своя случайная выборка в каждой партии, по ней план и решает.
- Простая случайная: одна случайная выборка из всех отобранных сообщений.
- Стратифицированная: в каждой партии выборка делится на группы по тональности исполнителя, площадке или неделе публикации пропорционально их размеру.
Слова стандарта
Эти слова встречаются на экранах приёмки, рядом с ними есть знаки «?» с пояснениями.
- Исполнитель: тот, кто поставил разметку сообщения. Это maesense с определённой моделью или человек, который последним правил разметку вручную.
- Партия: сообщения одного исполнителя в проверке. Решение принимают по каждой партии.
- Брак и мелкий дефект: два класса ошибок. Неверная тональность или лишняя тема считаются браком, пропущенная тема или неверный автор считаются мелким дефектом. Класс сообщения определяет худшая из его ошибок.
- AQL: доля сообщений с ошибками в процентах, с которой вы готовы мириться. Партию примерно такого качества принимают почти всегда. По умолчанию 2,5 % для брака и 6,5 % для мелких дефектов.
- План: сколько сообщений партии проверить (n), при скольких ошибках партию ещё принимают (Ac) и со скольких уже не принимают (Re).
- Кодовая буква и уровень контроля: план зависит от размера партии и от уровня. Обычно берут уровень II; уровень I проверяет меньше сообщений, уровень III больше.
Кто что делает
- Проверяющие проверяют сообщения.
- Редакторы и владелец ещё и создают и отменяют проверки, решают спорные сообщения и принимают решения по партиям. Того, кто решает спорное сообщение, экраны и CSV называют экспертом.
- Все роли видят проверки и отчёты и могут скачать CSV.
Свою работу не проверяют
Проверяющему не достаются сообщения его собственной партии и сообщения, которые он правил или подтверждал. Эксперту не достаётся спорное сообщение, которое он сам проверял или размечал. Так проверка остаётся честной.
В маленькой команде некоторую работу может быть некому проверить. Проверка от этого не застревает:
- Если исполнитель партии единственный, кто может проверять сообщения, экран создания показывает такую партию с предупреждением и не включает её в выборку. То же для отдельных сообщений, которые мог бы проверить только тот, кто их правил: экран говорит, сколько их. Всё равно включить возвращает их в выборку, и тогда они ждут другого проверяющего. Не включать снова убирает их.
- Если спорное сообщение больше некому решить, его решает тот, кто пометил его спорным. Отчёт отмечает такие сообщения, а в CSV у них написано «решил тот, кто пометил спорным».
Четыре шага
Вверху страницы проверки четыре шага в виде ячеек. Открыт один шаг, нажмите на ячейку, чтобы открыть другой. Кнопки над шагами показывают одну партию или все сразу.
- Выборка. Какие сообщения каждой партии проверяются и по какому плану. Выборка фиксируется при создании проверки: поздние правки в сессии её не меняют, и проверяющие видят разметку такой, какой она была в тот момент. Если сообщение с тех пор изменили, оно помечено «Изменено после выборки».
- Проверка. Проверяющие проходят выборку. Шаг показывает, сколько осталось проверить и сколько спорных ждут решения. Кнопка Проверять в верхней строке открывает ваше следующее сообщение; она есть, только когда для вас что-то осталось.
- Решение. По каждой партии решают, принять её или нет. Таблица показывает найденные ошибки рядом с числом, которое допускает план. Строка над таблицей напоминает, что при решении исправления запишутся в сессию.
- Отчёт. Доли ошибок и точность по партиям с пределами и подробности.
Как проверять сообщения
Проверять открывает сообщения по одному. В форме разметка исполнителя; если её поменять, получится ваше исправление, а само сообщение пока не изменится.
- Верно и дальше (пробел): всё отмечено правильно. Если вы что-то поменяли, Сохранить исправление и дальше сохранит исправление.
- Спорно (X): вы не уверены, пусть решит эксперт. Ваш ответ сохранится.
- N ведёт к следующему непроверенному сообщению, U к следующему, на которое указали правила.
- E задаёт категорию ошибки, M добавляет комментарий.
Проверяющие берут сообщения порциями по 20 на 30 минут, поэтому двум проверяющим одно сообщение не достанется. Когда для вас ничего не осталось, появляется Готово с тем, что вы сделали, и кнопкой К проверке.
Правила при создании проверки смотрят все сообщения сессии: нет тональности, больше одной тональности, значение, которого нет в инструкции, сообщение без разметки. Они помогают найти подозрительные сообщения, но в итог идут только ответы проверяющих.
Спорные сообщения
У того, кто может решать спорные, есть кнопка Решить спорные с числом сообщений, которые он может взять. Его ответ становится окончательным. Если спорные есть, но решать их вам нельзя, страница пишет, что они ждут другого проверяющего.
Решение по партии
- При выборке по исполнителям план решает сам, как только у всех нужных ему сообщений есть окончательный ответ. Спорное сообщение ждёт эксперта, а с ним ждёт и решение. Решение плана изменить нельзя, но к нему можно оставить комментарий.
- Двум классам ошибок могут понадобиться выборки разного размера. Выборка партии берётся по большей, а каждый класс судят по первым сообщениям выборки, столько, сколько нужно его плану. Поэтому в решении мелких дефектов может быть меньше, чем в отчёте: подсказка «учтено: первые 5 из 8» говорит, сколько сообщений посчитано.
- При простой или стратифицированной выборке или при выключенной приёмке редактор или владелец открывает партию и нажимает Принять или Не принять. По своей партии решать нельзя.
- После решения, принята партия или нет, исправления проверенных сообщений записываются в сессию. Если сообщение поменяли в сессии после выборки, оно не перезаписывается: оно попадает в список Конфликты со ссылкой, и вы решаете сами.
- Открытую проверку можно отменить кнопкой Отменить, пока ни по одной партии нет решения. Тогда ни одно исправление в сессию не попадёт.
Если партия не принята
Те, кто принимает решения по партиям, и исполнитель, если это человек, получают письмо. Партия появляется в блоке Ждёт вашего решения в разделе «Качество».
- Партия maesense: Перетегировать или Оставить как есть. Перетегирование запускается как обычная сессия, само ничего не начинается. Та же модель с той же инструкцией повторит те же ошибки, поэтому сначала поправьте инструкцию.
- Партия человека: Вернуть исполнителю или Передать другому участнику. Этот человек найдёт партию в блоке На доработку со ссылкой ровно на её сообщения. После доработки Проверить снова создаёт новую проверку по тем же сообщениям.
Строже или мягче
У каждого исполнителя есть состояние контроля, отдельно для брака и для мелких дефектов. Начинается всё с нормального. Если две из последних пяти партий (или из меньшего числа подряд) не приняты, контроль становится усиленным, и планы строже. Пять принятых партий подряд возвращают нормальный. Когда партии долго проходят с запасом, а инструкция не меняется, система предлагает ослабленный контроль (мягче планы), и его включает тот, кто принимает решения по партиям. После пяти непринятых партий на усиленном контроле приёмка для этого исполнителя останавливается: партии по-прежнему проверяют, но решает человек, а кнопка Возобновить контроль (усиленный) запускает приёмку снова, когда причину устранили. Страница исполнителя показывает состояние и все изменения.
Как читать отчёт
- Доли показаны с пределами в скобках. Если доля 87 %, а в скобках 81 и 91 %, настоящая доля, скорее всего, между 81 и 91 %. Чем меньше проверено, тем шире пределы.
- Каждая партия весит по своему размеру в сессии, а не по числу проверенных сообщений, поэтому маленькая партия, проверенная почти целиком, не перевешивает большую.
- Пометка «по 66 %» значит, что в части сообщений ещё ничего не проверено, и цифра говорит только о проверенной части.
- Если проверены все сообщения, доля точная и пределов нет.
- Подробности показывают таблицу тональности (ответ исполнителя против окончательного), точность и полноту по темам и категории ошибок. Точность: сколько тем исполнителя верны. Полнота: сколько верных тем исполнитель нашёл. Темы, где случаев меньше 10, помечены «мало данных».
- Выгрузить CSV скачивает все сообщения с разметкой исполнителя, исправлением, ошибками, классом, категорией, комментарием и проверяющим.
Настройки
Настройки приёмки в разделе «Качество»: включена ли приёмка, уровень контроля, одноступенчатый или двухступенчатый план и два значения AQL. Двухступенчатый план берёт сначала меньшую выборку и вторую только тогда, когда первой не хватило для решения; в среднем он проверяет меньше сообщений. Уже созданные проверки сохраняют свои настройки. График на экране настроек показывает, с какой вероятностью партия пройдёт при той или иной доле ошибок.
См. также: Проверка качества: зачем и с чего начать, Быстрая проверка, Роли и права.