20+ инструментов для тестирования мобильных приложений

Автоматизированные инструменты для тестировщика

DeviceAnywhere

Инструмент для множественного кроссплатформенного тестирования устройств и приложений.

Ranorex

Для автоматизированного тестирования приложений для iOS, Android и Windows 8. Позволяет записывать проводимые тесты и их результаты.

eggPlant

Автоматическое тестирование для iOS, Android и Windows Mobile / Phone.

Silk Mobile

Инструмент автоматического тестирования веб-приложений, а также нативных приложений для iOS, Android, Blackberry и Windows Phone. Не требует джейлбрейка для устройств.

SeeTest

Позволяет записывать результаты тестирования приложений на физически существующих устройствах и может также использоваться для кроссплатформенного тестирования на основе подготовленного пакета тестов.

MonkeyTalk

Инструмент тестирования нативных, гибридных и веб-приложений на основе простых и комплексных тестов.

NativeDriver

Подходит больше для нативных приложений, чем для других. Совместим с приложениями для Android, iOS и Windows / Windows Phone.

Mобильные эмуляторы и инструменты тестирования

Дополнительная помощь тестировщику, у которого не все физические смартфоны / планшеты под руками, а тест нужно провести быстро. Большинство из инструментов в этой рубрике — веб-сервисы с интерактивным интерфейсом, работающим в практически любом современном браузере.

mobiReady

Инструмент верификации и оценки готовности сайтов и прототипов для мобильных устройств. Есть подсказки и рекомендации по тестированию и оптимизации сайтов и приложений под различные мобильные гаджеты.

BrowserStack

Веб-инструмент для сайтов и веб-приложений с использованием различных браузеров и полнофункциональной интерактивностью.

CrossBrowserTesting

Кроссбраузерное тестирование для iOS, Android и Blackberry.

Screenfly

Инструмент-эмулятор для готовых приложений, сайтов и интерактивных прототипов. Есть поддержка разных диагоналей экрана и устройств.

Mobile phone emulator

Эмулятор различных мобильных телефонов для проверки совместимости приложения.

Responsive

Инструмент тестирования приложений на предмет полноценной функциональности адаптивного дизайна.

ProtoFluid

Инструмент для тестирования адаптивного дизайна и «жидких» текстур.

Тестирование мобильных приложений для Android

Отдельная подборка инструментов для тех, кто тестирует приложения для мобильной ОС Android.

Testdroid

Автоматизация тестов и записть пользовательских действий.

robotium

Фреймворк для тестирования нативных и гибридных приложений. Позволяет записывать тесты, проводимые в режиме black-box.

scirocco

Инструмент для тестирования пользовательского интерфейса с возможностью составления отчетов со скриншотами.

Monkey

Эмулятор псевдорендомных потоков событий (клики, жесты, касания, события на уровне работы системы и т.д.)

Тестирование приложений для iPhone и iPad

iPhone Tester

Веб-инструмент для тестирования веб-интерфейсов на iPhone. Для использования рекомендован браузер Safari или иной браузер на базе Webkit.

iPad Peek

Тестирование приложений для iPad (приложения, сайты, интерактивные прототипы).

Appium

Автоматический инструмент тестирования гибридных и нативных приложений для iOS.

TestStudio

Позволяет записывать, строить и выполнять автоматизированные тесты для приложений под iPhone и iPad. Использует запись по объектам.

Онлайн-инструменты для тестирования

Помимо некоммерческих инструментов, перечисленных выше, есть и коммерческие решения для автоматизации тестирования приложений. Их рекомендуют использовать для проверки в интерактивных тестах большого количества приложений или сайтов.

11 инструментов для тестирования мобильных приложений

На дворе 2016 год, и для тестирования разнородных проектов существует уже немало автоматизирующих библиотек, с помощью которых можно проверить поведение даже самых незначительных частей программы. Собрали для вас самые популярные из таких инструментов, предназначенных для мобильной разработки.

Calabash

Это фреймворк для автоматизации функционального тестирования, который является своего рода драйвером, управляющим работой приложения на девайсе или симуляторе. Подходит как для Android-приложений, так и для приложений для iOS. Разработкой и поддержкой занимается компания Xamarin. Также компания Xamarin предоставляет платную услугу тестирования в «облаке». С тем, как это работает, можно ознакомиться тут.

Appium

Это open source фреймворк, который помогает автоматизировать тестирование мобильных приложений. В последнее время Appium часто упоминают на конференциях, а используется он даже Яндексом. Про его установку и настройку можно прочитать здесь.

Robotium

А Robotium предназначен для Android-приложений. С помощью него разработчики могут писать функциональные тесты, охватывающие несколько Android активити. Рекомендуем вот этот вебинар для освоения Robotium.

Espresso

Espresso — это инструмент для тестирования пользовательских интерфейсов Android-приложений. Основной API невелик и прост, но поскольку исходный код инструмента открыт, вы можете расширить его для своих нужд.

iOS UI automation

Это родной инструмент от Apple. Не упомянуть его было нельзя, но сразу стоит оговориться о нескольких минусах:

• Тесты нужно писать на JavaScript.
• Для запуска тестов нужно открывать отдельное приложение, что не слишком удобно, особенно если использовать CI (continuous integration).
• Приложение должно быть подписано. Подписать приложение, может, и не проблема, но делать это, просто чтобы научиться использовать инструмент, мало кому хочется.

UI Automator

Аналог UIAutomation для тестирования Android-приложений. Разрабатывается корпорацией Google и поставляется вместе с Android SDK.

KeepItFunctional

KIF позволит вам проверить то, как ваше iOS приложение воспринимают люди с плохим зрением.

MonkeyRunner

Инструмент monkeyrunner предоставляет API для написания программ, которые управляют Android-устройством или эмулятором извне Android-кода. Вы можете написать программу на Python, которая установит приложение или тестовый пакет, запустит его, отправит нажатия, сделает скриншоты интерфейса и сохранит их.

Ranorex

Ranorex — это GUI-фреймворк для автоматизации тестирования настольных, веб- и мобильных приложений. У него нет своего языка — вместо этого он использует C# и VB.NET.

SeeTest

Ещё один фреймворк для автоматизации тестирования. Код можно расширить с помощью встраиваемых инструментов, а скрипты можно запускать на разных устройствах без изменений. SeeTest также можно использовать для тестирования отзывчивых веб-сайтов и пользовательских интерфейсов.

TestFairy

При публичном тестировании мобильных приложений очень сложно узнать, из-за чего конкретно у пользователя возникла та или иная проблема. TestFairy решает эту проблему, записывая все тесты на видео, а также запоминая технические характеристики устройства.

Некоторые аспекты тестирования мобильных устройств на базе Android, iOS и Windows (страница 2)

Тонкости в тестировании экранов

Один из самых интересных критериев в сравнении – углы обзора. К сожалению, «Не все IPS одинаково полезны», как бы не старались давить на нас маркетологи. И вот явный тому пример:

реклама

Когда смотришь эти коллажи отдельно в обзорах, сложно понять, хороший ли результат перед тобой или нет, но стоит только сопоставить их вместе, и уровнять баланс белого и тон по контрольному участку на центральном изображении (sample #1), как сразу же всплывают отличия между экранами. Разумеется, углы наклона немного разные, но в нашем случае это не столь важно – разница и так не в пользу Huawei. Взгляните на цветовые пробы (sample #2 и sample #3). Я предварительно смешал цвет сектора в среднее значение, чтобы минимизировать влияние цифрового шума на фото. Особенно интересен канал L (цветовой модели Lab), который указывает на яркость тона, вне зависимости от цветового окраса.

Разумеется, измерение при помощи фотографии – дело очень приблизительное и неточное, но даже такая примитивная методика дает понять, что один дисплей получил заметно большие тональные искажения при отличных от перпендикулярных углах обзора, нежели второй. И, что самое главное, в жизни это заметно.

Правда, такое сравнение можно провести лишь в том случае, если фрагменты фотографировались с одинаковыми настройками экспозиции и баланса белого (как в данном случае), так что такая методика может не сработать в случае с образцами с других ресурсов. Ведь остается непонятным, как эту ситуацию видят другие авторы из других источников.

Далее не менее интересный параметр, но гораздо более ощутимый при реальном использовании.

На фотографии сравнение серого градиента под острым углом обзора. Как правило, в недорогих смартфонах и планшетах можно наблюдать, как дисплей «сияет всеми цветами радуги», если его повращать вокруг своей оси. Это отлично видно на видео моего коллеги:

Конкретно здесь нам интересен не сам Glow-эффект, а именно вид, близкий к перпендикулярному (в ролике начинается с 0:15). Поскольку экран полностью залит черным, то картина несколько усугубляется выгоранием, но для демонстрации предмета обсуждения этого хватит.

Так вот именно этот тест иллюстрирует, какими же цветами будет «переливаться» дисплей и с какой интенсивностью, так как если насыщенность окраски будет невелика, то и бросаться в глаза это свойство будет меньше (хотя от изменения яркости никуда не деться). Для компьютерных мониторов этот критерий не столь важен, а вот для мобильных устройств – один из самых «раздражающих» факторов. К неточной цветопередаче можно привыкнуть, а вот к этому явлению привыкать ну никак не хочется (по крайней мере, мне).

реклама

И самое интересное, что в отличие от Glow-эффекта результаты различаются драматически. Причем обратите внимание, бюджетный планшет российской компании показывает самые лучшие результаты. Кто бы мог ожидать? А вот sAMOLED дисплей на Samsung Galaxy Note 4 постоянно окрашивается в зеленоватый оттенок, несмотря на великолепные показатели сопротивляемости к падению яркости. Впрочем, точно такую же картину мы наблюдали на Samsung Galaxy S5 Prime, и я лично продолжаю наблюдать на Nokia Lumia 730 dual sim уже не первый месяц. К сожалению, я лишь недавно стал делать эти замеры, поэтому обширной базы знаний у меня пока не накопилось, но, думаю, в этом плане нас ждут интересные сюрпризы.

Стоит вернуться к обзору Samsung Galaxy S5 Prime и повторить небольшую ремарку из материала, для тех, кто не увидел или читал обзор «по диагонали».

Несмотря на то, что проблема с PenTile эффектом уже давно не будоражит умы критиков, даже при разрешении WQHD (2560 x 1440) у AMOLED дисплеев до сих пор существуют сложности с отрисовкой линий шириной в один-два пикселя.

Что приводит к окрашиванию оных в зеленый цвет. Это происходит из-за удвоенного количества зеленых субпикселей в пиксельной сетке. Но при реальном использовании это не столь актуальная проблема, ведь такой сценарий использования встречается очень редко.

Качество сборки

Как в прошлом году, так и в настоящее время это очень волнительный для пользователей вопрос. Дело в том, что конкуренция на рынке мобильных устройств столь высока, что производители экономят не только «на спичках», но и на самых важных деталях.

Зачастую на рынке можно встретить устройства, которые обладают уникальным соотношением цена/качество (в свое время, кстати, Lenovo «выехала» именно на этом), при этом пользователь смотрит на ценник в магазине, рядом с которым, как правило, находятся и характеристики, и сравнивает именно эти два параметра: массив характеристик и цену. Конечно, речь не идет о трех процентах гиков, которые предварительно смотрят 100500 обзоров. Мы говорим об обычных людях, которые хотят видеть готовое решение «из коробки», по методу «пришел, купил».

Как же спроектировать модель смартфона именно на этот рыночный сегмент? Другими словами: на чем можно сэкономить? Такие технические характеристики как количество ядер процессора или объем оперативной памяти трогать нельзя – пользователь сразу же заметит удешевление, лишь взглянув на стикер в магазине. С экраном тоже особо не сэкономишь, так как смартфон, прежде чем купить, обычно включают, чтобы проверить, работает ли он вообще, и TN-матрица (на которой реально сэкономить ощутимую сумму) сразу же выдаст себя.

Может быть дизайн? И снова нет: такие параметры как, например, толщина или рамки вокруг дисплея стали чуть ли не сакральными для определения «современного смартфона», а устаревший хлам никто покупать не хочет. И тут «инженеры по оптимизации проектного бюджета » берутся за качество сборки. Пора выяснить, к каким негативным последствиям это может привести.

Напомню, что этой «болезнью» поражен именно средний ценовой сектор смартфонов – на флагманах, как правило, производитель не экономит, а в бюджетном сегменте качество сборки не столь важно.

Один из самых показательных случаев на моей практике – Huawei Ascend P7. В его конструкции дизайнеры явно пытаются повторить детали Apple iPhone 5/5S, но если повторить точность изготовления и обработки «один в один», то и цена будет «один в один», вот и получились одинаковые конструктивные решения, но качество исполнения абсолютно разное. Но для справедливости отмечу, что и цена на китайское изделие получилось более чем в два раза ниже, так что со своей задачей производитель справился.

реклама

«Под горячую руку» иногда попадается и качество проклейки. Именно такую цену заплатил iconBIT NetTAB Mercury Quad FHD за звание одного из самых недорогих смартфонов с пятидюймовым Full HD экраном. При этом характеристики «железа» на момент выхода этой модели были очень неплохие, да и дизайн, в целом, мне понравился.

Один из самых распространенных случаев экономии – плохая подгонка деталей. Особенно это заметно, когда различаются материалы панелей.

реклама

Другой распространенный признак экономности – крупные и/или неравномерные зазоры. В большинстве случаев (но не в 100%) именно из-за них вызваны хрусты и скрипы корпуса при скручивании.

Далее у нас по списку качество обработки швов. Интерес этого явления в том, что оно встречается на гаджетах любой ценовой категории. Когда шов просто виден на глаз – полбеды, но когда он ощущается тактильно, то это совсем грустно.

Когда хотят, чтобы автомобиль казался дороже, чем он есть на самом деле, в панели интерьера устанавливают вставки «под дерево». В мире смартфонов – аналогичная история. Хочешь выглядеть дорого? Используй в изготовлении корпуса металл. Хочешь выглядеть дорого, но обладать доступной стоимостью? Крась пластик «под металл». Причем в случае с краской или лаком толщина покрытия бывает разной.

реклама

Например, в TCL Idol X+ толщина очень маленькая, и при первой же царапине наружу вылезает мутный белый пластик. В Samsung поступили иначе, увеличив толщину слоя, так что при сколе пластик обнажается не так быстро. И отдельным номером выступает «скромняга» Oppo Find 5, в котором настоящая металлическая рамка закрашена черной краской, и пользователь, как правило, даже не догадывается, что перед ним за материал.

Все вышесказанные недостатки являются, условно говоря, косметическими. Они серьезно не влияют на опыт использования устройства и тем более на его работу. Теперь же мы поговорим о тех недостатках, которые могут повлиять на все это.

Начнем с самого «безобидного» – плохой прижим контактов батареи. В некоторых смартфонах контакты со стороны корпуса имеют очень малый ход (вылет), а соответственно и прижим при вставленном аккумуляторе получается небольшой. Малейший износ или повреждение контактов может привести к периодическому размыканию электрической цепи. Да и в целом, такое крепление не самое надежное.

Гораздо удачнее соединение реализовано в большинстве смартфонов Nokia, где вместо мелких полосок меди используются пластины с заметно большим пятном контакта. Стоит отметить, что и слишком длинные ножки тоже не лучший вариант, поскольку они заметно слабее на изгиб и у них больше шансов лопнуть при падении.

реклама

К сожалению, никто (во всяком случае мне не встречалось) из крупных интернет-ресурсов не проводит тесты на ресурс смартфонов и планшетов, но думаю, что наблюдения за вышеозвученной деталью могли бы принести интересную статистику. Впрочем, вряд ли это «горячая» проблема, так как смартфоны меняют заметно чаще, чем такие детали приходят в негодность.

Гораздо более актуальная проблема – качество пайки. В бюджетном и среднем сегменте встречаются настолько ненадежный припой, что кажется, будто при первом же падении деталь отлетит от печатной платы.

Именно в таких телефонах чаще встречается брак AUX-гнезда (см. таблицу RMAA), а если судить только по моей практике, то 100% смартфонов с проблемным разъемом для наушников отличаются неаккуратной пайкой и других элементов.

реклама

И последняя стадия экономии – исключение из комплекта поставки заглушек для разъемов. Дырки в корпусе не только выглядят некрасиво, но и могут послужить «входом» для пыли, грязи и других неприятных мелочей. Отверстия для динамиков, как правило, защищают мелкой сеткой, но в случае с сим-картами и картами памяти такое реализовать не получится.

Читатель может высказать замечание, что новейшая история смартфонов не обходится без открытого AUX-разъема, и будет отчасти прав, но разводка внутри него заметно проще и она менее подвержена замыканиям и механическим повреждениям.

Бонус: энергопотребление

Уверен, читатели сайта наизусть знают энергопотребление разогнанных процессоров, но как же дела обстоят в мире мобильных решений?

Для начала поэкспериментируем со смартфоном. В качестве подопытного используется LG Nexus 5.

реклама

Да, это вам не 220 Вт на разогнанном Intel Core i7-2600k, но тоже неплохо. Честно говоря, думал, что основным потребителем энергии выступит именно экран, а не процессор. Тем не менее, максимальное энергопотребление получается при синтетической нагрузке в четыре потока, а включенный на максимум дисплей добавляет

Интересно и то, что просмотр видео на YouTube довольно сильно увеличивает нагрузку на «железо», хотя в настольных компьютерах и ноутбуках этот сценарий едва ли существенно влияет на потребление электроэнергии. Любопытно было бы посмотреть на энергопотребление восьмиядерного разогнанного процессора MediaTek MT6592T.

А теперь посмотрим, сколько тока потребляет смартфон в процессе зарядки. При этом зарядные устройства (ЗУ) подберем самые разные.

Среди участников следующие устройства (слева направо):

• ЗУ Nokia AC-20E. Сила выходного тока 750 мАч. Интересно тем, что получило несъемный кабель.
• Noname. Сила выходного тока 1000 мАч. Зарядное устройство от дешевой копии iPhone 5. Полный «кЕтай», в самом плохом смысле этого слова.
• ЗУ Nikon EH-71P. Сила выходного тока 1000 мАч. «Зарядка» от моей «мыльницы». Интересно тем, что заряжает фотоаппарат быстрее любого другого адаптера, а также оснащено нестандартным кабелем.
• ЗУ LG MCS-01ED. Сила выходного тока 1200 мАч. Стандартное зарядное устройство LG Nexus 5.
• ЗУ ASUS AD83501. Сила выходного тока 2000 мАч. Стандартное зарядное устройство планшета ASUS Nexus 7 (2011).

Как можно видеть, прямой зависимости потребления энергии от силы выходного тока зарядного устройства нет, но налицо разница между разными моделями ЗУ. Более того, как можно догадаться, разнится и время полного цикла заряда, а энергопотребление может варьироваться от степени заряженности батареи. Но это уже выходит за рамки данной статьи и требует отдельного изучения.

Пока что можно утверждать, что определенные зарядные устройства заряжают один и тот же гаджет быстрее, нежели другие, и не всегда это напрямую зависит от их силы выходного тока.

Вместо заключения

Вот такие интересные детали попадаются в процессе тестирования, и уверен, есть люди, для которых эта информация оказалась интересной.

2014 год был богат на интересные новинки и события: в классе флагманских решений на Android было задано новое направление в сторону защиты от воды и пыли, а также именно этот год оказался переломным для дизайна устройств Apple – мы впервые увидели iPhone без боковых граней, а Mac Pro стал похож на урну красивый блестящий цилиндр. Ну а система Android наконец-то стала соответствовать времени и больше не отстает в плане дизайна от iOS и Windows Phone. Да чего уж греха таить, даже Sailfish OS выглядела интереснее и современнее.

Остается надеяться, что и текущий год преподнесет нам много интересных событий и переломных моментов в истории смартфоностроения. А тем временем, у меня для вас готовится еще одна обширная и очень актуальная тема, так что оставайтесь с нами!