FAQ: тестирование и исправление ошибок
Друзья!
Как и обещали, мы отвечаем на ваши вопросы о тестировании игры и процессах, связанных с исправлением ошибок. Учтите: мы постарались сделать рассказ подробным, поэтому ответы достаточно объемны. Надеемся, информация будет для вас интересна.
Тестирование
Q: Есть ли у вас тестировщики? Почему ошибки приходится искать простым игрокам?
A: Да, QA-отделы (занимающиеся тестированием и контролем качества) есть и на стороне разработки, и у российской локализации. Все версии, которые поступают от разработки, проходят поэтапное тестирование. Тем не менее стоит понимать, что массовые тесты и внутреннее тестирование — принципиально разные вещи. В сложной системе игры повторяемость тех или иных ошибок может быть относительно невелика, и значителен шанс того, что они просто не проявятся на внутренних этапах. Некоторые проблемы возникают под нагрузкой, которую опять же проблематично, а иногда физически невозможно воссоздать без "живых" действий игроков.
Помимо этого, невозможно перед каждым обновлением проверять все без исключения игровые моменты — это миллионы действий, которые у внутренних тестировщиков займут недели и даже месяцы. ПТС создан, чтобы повысить вероятность обнаружения проблем и исследовать новую версию быстрее.
Q: Как обрабатываются сообщения об ошибках, оставленные в поддержке?
A: В первую очередь стоит помнить, что служба поддержки не занимается починкой ошибок. Она только фиксирует полученную информацию для разработки и QA.
Любой запрос по этой теме попадает к операторам. Он обязательно будет рассмотрен. Оператор, изучающий запрос, сравнивает его со списком уже известных багов. Далее есть два пути развития событий. Если проблема обнаружена и помечена как известная, по ней не требуется дополнительной информации и разработчики в курсе, то запрос будет закрыт с благодарностью и соответствующим комментарием.
Если ошибка новая или по ней требуется дополнительная информация, данные запрашиваются у игрока. Далее они будут внесены в те же списки проблем для QA и разработки.
Вся информация об ошибках из поддержки в любом случае попадает в итоге к разработчикам, но уже в структурированном и регламентированном виде.
В целом о багах
Q: Почему возникают баги?
A: Любой человек, мало-мальски знакомый с техникой, понимает простую взаимосвязь: чем сложнее система или механизм, тем больше шанс появления трудностей при внесении в него изменений.
С игрой схема аналогична: Warface за годы своего существования превратился в сложнейшую игровую систему, где все части взаимосвязаны и постоянно меняются. Даже внесение незначительных изменений в один из модулей может привести к сбоям в работе других систем. Баги — неизбежная и неизбывная часть любой игры. С ними идет постоянная борьба и это тоже часть стандартного процесса разработки. Тем не менее стоит смириться с тем фактом, что пока игра меняется, в ней будут возникать сбои.
Q: От чего зависят сроки исправления той или иной ошибки?
А: Во-первых, сроки исправления зависят от критичности ошибки. Все ошибки можно разделить на три большие категории: чрезвычайно мешающие игровому процессу или даже делающие его невозможным (блокирующие и критические), значимые — затрагивающие достаточное количество игроков, но не препятствующие игре или проявляющиеся в достаточно узком ряде случаев, и незначительные — те, что почти не влияют на игровой процесс.
Например, ошибка, при которой нельзя починить оружие, будет блокирующей: версия игры с ней не попадет на основной сервер, а если ошибка не проявится при тестировании, чинить ее будут любыми возможными средствами в кратчайшие сроки, остановив другие работы.
Недавняя проблема с переносом бомбы может называться критической: она серьезно влияла на игру в "Подрыве", и ее починка была осуществлена в максимально короткие сроки с помощью патча.
Значимыми можно назвать проблемы, связанные, например, с ошибками загрузки в бой, возникающими в одном случае из двадцати у некоторой группы игроков, или ту же проблему с зависанием звука стрельбы. Они либо не затрагивают большую часть аудитории, либо после них не возникает серьезных затруднений и игру можно безболезненно продолжать. Их исправление происходит вместе с плановым обновлением игры. В этой категории очень много проблем, которые трудно исправить, так как они лежат на стыке нескольких игровых областей. Иногда требуется несколько последовательных правок, чтобы устранить источник негатива, и это может занять много месяцев.
Незначительной можно назвать проблему с некорректной анимацией, не влияющей на действия бойца, с отрисовкой конкретных объектов на карте или внешним видом персонажей. Это то, что практически не влияет на игру и создает скорее эстетические трудности, чем функциональные. Ошибки подобного рода возникают достаточно часто. Исправить такие вещи, как правило, быстрее и легче всего, поэтому они преобладают в списках багфикса.
Помимо критичности, разумеется, имеет значение и фактор сложности. Для решения любой проблемы нужно сначала ее локализовать: определить условия возникновения, вычислить проблемный модуль в коде игры и т. д. При этом, если у тестировщиков проблема не воспроизводится, ситуация значительно осложняется необходимостью получения точной информации от игроков. Для разработчиков обычно недостаточно простого описания "у меня нет урона", "меня телепортит", "я не загружаюсь в матчи". Нужна техническая информация: видео, скриншоты, логи клиента. Их нужно получить и изучить. Именно поэтому так важно сообщать о проблемах в службу поддержки и оперативно реагировать на ответные запросы дополнительной информации.
Уже после точного определения источника проблем начинается процесс исправления. Он тоже может иметь достаточно большие сроки с учетом того, что каждый специалист занимается несколькими задачами одновременно, а проблема может затрагивать несколько разных областей.
Q: Почему ошибки, обнаруженные на ПТС, иногда переходят и на основные серверы?
А: ПТС — последний шаг для новой версии игры перед попаданием ее на основной сервер. Здесь должны быть выявлены те важные проблемы (если они есть), которые не проявились на всех этапах внутреннего тестирования. Появление версии на ПТС жестко регламентируется сроками разработки, а любая задержка приводит к переносу работ уже по будущим обновлениям. Чем дольше версия находится на ПТС из-за внесения в нее правок — тем меньше шанс, что следующие большие обновления появятся вовремя. Или же количество нововведений придется сокращать, что тоже не может нравиться бойцам. Примером тому служит январское обновление: месяц был коротким из-за праздников, по понятным причинам обновление было меньше обычного, и это вызвало негатив. Поэтому при изучении результатов тестирования на ПТС каждый баг рассматривается отдельно и принимается решение о его статусе.
Если ошибка не является блокирующей или критической, не затрагивает комфорт большинства игроков — версия считается пригодной для переноса на основные сервера, а обнаруженный баг подлежит исправлению позже. Впрочем, есть и ряд исключений: проблема может быть не столь значительной, но очень неприятной и вызывающей серьезный негатив. Если предполагаемые правки можно сделать быстро, ее устранят до выхода обновления.
Q: Почему некоторые ошибки вообще не проявляются на ПТС?
А: Это достаточно сложный вопрос, на который нет однозначного ответа. Во-первых, ПТС все же не аналогичен основному серверу по нагрузке на системы, а именно она является причиной множества ошибок. Во-вторых, если ошибка воспроизводится не постоянно, а только у некоторых игроков, они могут просто не посетить ПТС или не сообщить о проблеме (увы, такое тоже случается достаточно часто). В-третьих, баг может проявляться в ограниченном ряде ситуаций или в режимах и сражениях, непопулярных при тестировании. Типичный пример: изменения оружия. В обновлении выходит две новых пушки, а ряд других подвергается незначительным правкам или затрагивается правками косвенно. Большая часть игроков отправится изучать новые пушки, а старым уделит минимум внимания. Так ошибка может проскочить незамеченной.
Из этого можно сделать простой вывод: если вы идете на ПТС, вашей целью должно быть не столько развлечение, сколько тестирование и поиск ошибок. Уделяйте внимание чтению патчноутов и не ленитесь сообщить, если что-то пошло не так. Все отзывы с ПТС на форуме внимательно изучаются.
И еще немного о конкретных ошибках
Q: Возможность "отключать" дым: когда эта проблема будет решена?
А: Это комплексная проблема, решение которой, к сожалению, частично завязано на коммуникации с NVIDIA, так как незаконное действие совершается с помощью их программного обеспечения. Разработчики находятся на связи с коллегами из NVIDIA и уже применили несколько решений. К сожалению, большинство из них оказались либо временными, либо слишком жесткими для игроков (сброс настроек). Работы продолжаются, и каждое обновление вносит какие-либо изменения. Следующий фикс, с которым связаны большие надежды, назначен уже на апрель.
Q: Баг с зацикливанием звука: почему он не исправляется так долго?
А: Эта проблема сейчас стоит в списке первых, которые нужно решить. Да, она не влияет напрямую на игровой процесс, но сильно раздражает игроков. К сожалению, ее корни оказались несколько глубже, чем предполагалось изначально: затронуты и звуки выстрелов, и реплики противников в PvE, и еще несколько моментов. Одна из прошлых правок исправила проблему, но только частично. Планируется "излечить" баг полностью в ближайших обновлениях.
Q: Как ведутся работы по исправлению "телепортов"?
А: "Телепорты" не являются отдельной проблемой. Это следствие работы одновременно нескольких систем, ни одна из которых не может быть просто удалена из игры. В ней связаны и проблемы пинга, и зависимость от производительности клиента игрока, и некоторые внутренние серверные системы игры. Однозначного решения вроде "убрать это, добавить это, и телепорты исчезнут", к сожалению, не существует. Но это не значит, что не делается ничего.
Сейчас в игру постепенно добавляются элементы новой системы регистрации движения, которая должна решить часть проблем. Тем не менее, это очень масштабное изменение игры (пусть и не столь заметное пользователям, как новые карты), и вводить его без должной осторожности нельзя. Нововведения по одной настройке проверяются на небольшом проценте игроков, потом анализируется статистика и логи, затем принимается решение о добавлении элемента или дальнейшей работе над ним. Такие улучшения ведутся уже несколько месяцев.
На сегодня все. Конечно, это не полный рассказ о том, как просходят процессы разработки и почему могут появляться ошибки и возникать проблемы. Если такой формат статей вам полезен — предлагайте темы и задавайте вопросы, мы обязательно подготовим новые материалы. Ждем ваших комментариев!