Экспертная оценка перевода (LQA)

В портфолио услуг Logrus IT входит LQA (Language Quality Assurance) — независимая лингвистическая оценка качества переводов, выполненных вашими штатными сотрудниками или подрядчиками.

ЗАЧЕМ НУЖНА LQA

LQA станет подходящим решением, если вы:

часто переводите на разные языки, но у вас нет сотрудников, которые их знают и могут оценить качество выполненной работы;
сомневаетесь в качестве услуг поставщика переводов и хотите получить экспертное мнение со стороны.

Лингвистическая оценка поможет вам понять:

насколько точно перевод передает мысль оригинала;
допущены ли в работе ошибки и насколько они критичны;
соответствует ли текст культурным, языковым и правовым особенностям целевой страны.

Как правило, чтобы определить качество работы, лингвистам из команды LQA нужны лишь несколько фрагментов переведенного текста. Такой подход особенно удобен, если требуется за короткое время и при ограниченном бюджете проверить внушительный объем материалов.

ЧТО ВЫ ПОЛУЧИТЕ ПОСЛЕ ПРОВЕРКИ

Оценка точности перевода и его удобочитаемости в баллах

Перечень ошибок, каждой из которых присвоены категория и степень серьезности

Варианты исправления допущенных ошибок

Комментарий-заключение лингвиста

ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ МЕТРИК

Оценка сайта по продаже женской одежды

Цель:

Оценка процесса поиска на сайте, процесса покупки и возврата товаров, рекламной рассылки с точки зрения ЦА;
Оценка уровня адаптации сайта под различные устройства (Android, Iphone, и десктоп-версии браузеров Chrome и Safari).

Страницы сайта оценивались с холистической точки зрения по параметрам: Structure, Intelligibility, Informativeness, Tone of Voice, Content Appeal, Technical Quality, Locale Convention, Language, Art Pieces and Video.

Процесс покупки и возврата товаров оценивался по параметрам: Ease of Navigation, Relevance, Language Quality, Technical Quality, Quality of art pieces [and videos, if applicable], Locale Convention

Процесс работы:

Подбор локальных пользователей (не лингвистов);
Создание сценария поведения на сайте, адаптированного для каждого устройства и типа страницы сайта.
Подготовка инструкций для ревьюеров;
Подбор нескольких метрик;
Оценка сайта ревьюерами по сценарию и инструкциям;
Создание отчета со списком проблем, которые обнаружили пользователи;
Подготовка рекомендаций по улучшению сайта.

Оценка восприятия интерфейса платежной платформы

Цель:

выяснить, как пользовательский интерфейс (UI) продукта выглядит для локальных пользователей и воспринимается на локальных языках:
понятна ли локальным пользователям цель экрана и соответствует ли она местным культурным и национальным стандартам;
корректно ли отображаются тексты в интерфейсе, есть ли грамматические, орфографические и прочие ошибки, в том числе и на соответствие бренду.

Для данного запроса была разработана холистическая метрика с параметрами: Ease of Navigation, Clarity of Purpose (General), Clarity of Purpose (Controls) для оценки таких элементов интерфейса как кнопки, Intelligibility, Complexity, Locale Convention, Tone/Voice, Technical Quality, Language Appropriateness, Spelling and Grammar, Capitalization and Punctuation.

Процесс работы:

Детальное обсуждение с клиентом цели оценки
Разработка метрики оценки в соответствии с целью
Создание сценария прохождения юзера по интерфейсу и инструкций по работе с метрикой
Оценка платформы локальными пользователями

Оценка качества постов в Linkedin

Цель: понять, как публикации LinkedIn выглядят и воспринимаются пользователями с точки зрения продаж.

Публикации должны заинтересовать ЦА и побудить ЦА подписаться на аккаунт клиента.

Процесс работы:

Детальное обсуждение с клиентом цели оценки, создание портрета ЦА;
Разработка метрики оценки в соответствии с ТЗ. Для данной оценки была разработана холистическая метрика с параметрами Intelligibility, Complexity, Content Appeal, Locale Convention, Language (были предоставлены только тексты постов, поэтому не включали такой параметр как Ease of Navigation, Technical Issues);
Оценка текстов локальными пользователями;
Проведение аналитики по итогам оценки с рекомендациями по улучшению текстов постов.

Оценка качества многоязычной локализации игры

Цель: понять качество перевода игры на фрагментах текста объемом 2000 слов, согласовать ошибки с текущей командой переводчиков.

Процесс работы:

Создание трехмерной метрики с атомарными параметрами для оценки на уровне строк Adequacy, Intelligibility, Language Issues, Style, Locale Convention, Technical Issues, Terminology, Tone/Voice и двумя холистическими параметрами для общей оценки фрагментов Informativeness/Relevance и Consistency;
Создание инструкции для ревьюеров с описанием цели оценки, параметров оценки, шкал, а также с описанием шагов работы на портале Logrus IT;
Оценка текстов ревьюерами;
Арбитраж (контраргументация от переводчиков);
Ответы на арбитраж.

Заказать обратный звонок

ПОДХОД LOGRUS IT К ОЦЕНКЕ КАЧЕСТВА (LQA)

Многомерная метрика

Каждый объект может оцениваться с нескольких различных точек зрения:

Атомарный подход (на уровне сегментов/предложений)

Метрика содержит:

Кастомизируемый каталог ошибок;
Кастомизируемую шкалу серьезности ошибок;
Пороги оценки в зависимости от ожиданий, от типа контента;
Формулу рейтинга оценки с кастомизируемым фактором нормализации (допустимое количество ошибок на определенное количество слов).

Холистический подход (на уровне объекта в целом)

Метрика содержит:

Кастомизируемые индивидуальные параметры для оценки продукта;
Кастомизируемые шкалы;
Пороги оценки в зависимости от ожиданий, от типа контента.

Примеры параметров многомерной метрики качества:

Intelligibility - показывает, насколько легко воспринимать (читать) контент (предложение, строку, единицу измерения, экран, форму и т. д.). Понятность показывает, насколько контент качественно написан, ясен, не несет двойной смысл и естественно звучит.
Complexity - определяет, сможет ли ЦА легко понять контент, учитывая ожидаемый уровень технических знаний или предметной области.
Content Appeal - степень привлекательности контента. Привлекательность выше среднего может быть достигнута за счет использования сценариев.
Locale Convention - соблюдение написания дат, адресов, валют, календаря, времени, имён, цифр, номеров телефонов, единиц измерения, правил пунктуации, сочетания клавиш, сортировки и текстовой разметки.
Tone of Voice – соответствие общему стилю тону/голосу, характерному для продукта или услуги в данном контексте. Не должен вызывать негативных коннотаций, ощущения неадекватности по отношению к ЦА.

Отличия от традиционного подхода к оценке качества*

Возможность оценить любой контент и визуал
Можно оценить не только текстовые строки, но и интерфейс сайтов, платформ, приложений, маркетинговые и рекламные материалы (посты в соц. сетях, объявления, рекламу), статьи, а также аудио и видео материалы.
Возможность оценить контент многомерно, с разных точек зрения
Мы выходим за рамки просто грамматики и соответствия нормам. Наш многомерный подход измеряет такие факторы, как релевантность, вовлеченность и разборчивость и другие, что дает вам полную картину эффективности вашего контента.
Возможность подбора уникальной метрики
Мы можем создать метрику, которая подойдет именно под ваши цели и требования, а также регулировать сложность оценочной шкалы, что позволит вам сэкономить время и бюджет.
Возможность оценки любого типа
Вы получите не просто оценку, а рекомендации по улучшению вашего продукта. Какие цели можно реализовать:
- оценка для быстрого принятия решения о качестве продукта;
- подробная оценка с исправлениями контента и рекомендациями по улучшению продукта;
- оценка для последующей тренировки ИИ;
- оценка для сбора статистики (например, понять, каким пользователям нравится ваш продукт, а каким нет) и т.д.

*Традиционная метрика позволяет оценивать только текст, только на уровне предложений, типологизировать ошибки по стандартным категориям и присваивать им уровень серьезности.

ПОЧЕМУ LOGRUS IT?

В нашу команду LQA входят специалисты с многолетним опытом работы в сфере лингвистического тестирования. Ежегодно мы выполняем около 300 проектов по оценке качества переводов более чем с 80 языков. К нашим услугам регулярно обращаются Microsoft, McAfee, Nexters и другие компании.

Эксперты Logrus IT используют для анализа текстов собственную методику — «Треугольник качества». С ее помощью можно оценить и адекватность перевода в целом, и вес каждой отдельной грамматической, стилистической или терминологической ошибки. Кроме того, методику можно гибко адаптировать под требования к разным типам материалов и ограничения по срокам и бюджету.

В дополнение к LQA мы готовы:

разработать для вас индивидуальную стратегию проверки качества на основе собственной методики;
помочь во внедрении контроля качества в вашей компании, используя как инструменты и утилиты, разработанные в Logrus IT, так и сторонние решения.

Если по результатам экспертизы окажется, что качество перевода ниже требуемого, специалисты Logrus IT помогут отредактировать ваши тексты или перевести их заново. Ознакомиться с перечнем услуг можно по ссылке.