Для чего нужны тесты
Когда нужны тесты и автотесты, взгляд из надсистемы
Нужно ли автотестирование? Когда оно нужно? Какую ценность оно приносит?
В статье разобраны когда и зачем нужно тестирование как таковое и в каких случаях нужна его автоматизация.
В ходе дискуссии по этому вопросу, проводимой в клубе им. Френсиса Бекона (“ВебПосиделки КиФБ” в teleram), коллеги обменялись опытом и записали свои мысли.
Автоматизация тестирования нужна, если это приносит ценность. Когда же само тестирование приносит ценность? Выявлено два случая.
Если процесс отлавливает ошибки в ПО перед выкладкой на бой
Если тестирование новой версии выявило ошибки, которые были в последующем исправлены, то это тестирование было проведено не зря.
Но что если ситуация обратная? Если тестирование не нашло ошибки, но они проявились на бою? Если ошибки при этом были обнаружимы на тестовом стенде (в т.ч. тестовый стенд настроен наиболее близко к бою).
Утверждается, что в этом случае тестирование проведено некачественно.
Как измерять качество тестирования? Для этого случая пригодна метрика = количество ошибок на тестовом окружении / (количество ошибок на тестовом + боевом окружении). При этом количество ошибок берется взвешенное по уровню их критичности.
А что если тестирование не нашло ошибок и их не было обнаружено на боевом сервере?
Утверждается, что этом случае тестирование, как таковое, не принесло ценности и эти работы были сделаны зря (за исключением следующего случая, про который мы расскажем позже). С точки зрения Lean это потери.
Когда возможна такая ситуация? Когда тестируемый модуль не изменялся. Что может изменить модуль?
Когда нужно писать автотесты в этом случае?
Начнем с того, что автоматизированное тестирование не отменяет тестирование постановки, тестирование дизайна и написания тест кейсов по постановке! И не заменяет их. Если этого нет, то и автоматизацией не следует заниматься. При этом под автотестами следует понимать не только само выполнение сценария, но и подготовку к их прогону и использование результатов.
Если писать автотесты после создания кода, то это приведет к увеличению time2market (что автоматически приведет к увеличению связного капитала). Поэтому если принято решение покрывать код автотестами, то следует писать эти автотесты параллельно основному коду, в парадигме разработки “TestFirst” или “TDD”.
Основная ценность создаваемая при этом автоматизацией тестирования — это сокращение time2market за счет более быстрой выкладки новой версии.
Тесты нужны для гарантии работоспособности критических процессов
Несмотря на то, что автомобиль ни разу не загорелся, тем не менее наличие огнетушителя в нем не бесполезно.
Ошибка на сайте с большим трафиком, не позволяющая добавлять товар в корзину, может привести к более значимым потерям, чем расходы на разработку и проведение тестирования этой функции за год.
Следовательно, нужно выделить критические процессы, которые войдут в регулярные проверки (которые стоит делать если происходит какое-то изменение). Сопоставлять следует:
Это возможно через запуск нескольких инсталляций решения и тестирования новых beta-версий на “кошечках”, если это технически возможно и если найдутся такие добровольцы. После выкладки новой версии мониторится телеметрия и производится откат, в случае деградации показателей. (Напомним, что телеметрия на бою обязана быть вне зависимости от наличия тестирования).
Еще один случай полезности регрессионного автотестирования — это тестирование API (тестирование контракта API), если это API требуется для обеспечения критического процесса. Особенно это важно, если разработчики чужого модуля что-то меняют и не делают качественное тестирование изменений на своей стороне.
Когда не нужна автоматизация тестов
Если вам достался большой объем унаследованного не очень качественного кода. Покрывать автотестами такой хаос это увеличивать хаос.
В этом случае стоит выделить из этого решения логический модуль. После выделения слоя взаимодействия этого модуля с остальным кодом нужно покрыть взаимодействие автотестами. Это обеспечит гарантии сохранности поведения модуля и целостности после его перекодирования.
Автотесты не заменяют ручного тестирования. Ручное тестирование чаще всего провести быстрее и дешевле чем написать и в последующем сопровождать автотесты. В частности, если тестирование проводится после разработки кода, то из этого тестирования автоматизировать нужно только тот кусок, который войдет в регулярное тестирование критического функционала.
И напоследок — чеклист готовности компании к автотестам
Сразу оговоримся, этот чек лист не для всех, он написан для тестировщиков компаний, для которых разработка софта есть основной источник дохода.
Что такое тестирование и почему мы должны его делать?
В первой статье в этой серии из пяти частей о тестировании в JavaScript мы рассмотрим, что такое тестирование и почему мы должны это делать. Если вас интересует тестирование в контексте Vue.js, то обратите внимание на книгу «Тестирование компонентов Vue.js с помощью Jest».
Тестирование в области разработки программного обеспечения — это процесс оценки того, что все части приложения ведут себя так, как ожидалось.
Тесты выполняют проверки программного обеспечения, проверяя, что полученный результат соответствует спецификациям, учитывая разные входные данные. Каждая из этих проверок называется тестовым сценарием (test case). В рабочем процессе agile каждая пользовательская история должна иметь набор тестовых сценариев. Простой пример:
В тестовых сценариях проверяются требования и характеристики конкретной функциональной возможности (функционала). Они могут предоставлять определённые детали или шаги, чтобы их можно было воспроизвести.
Скорее всего, если вы читаете эту статью, вы знаете, что такое тестирование и TDD, но если вы новичок в тестировании, у вас может возникнуть вопрос, который был в своё время у всех нас:
Не занимает ли тестирование слишком много времени? Нужно ли мне тестировать всё?
В этой статье мы поговорим о плюсах и минусах тестирования, о типах тестирования, и что ещё есть кроме тестирования для обеспечения качества приложения.
Зачем писать тесты?
Говоря о том, зачем нужно тестирование, можно упомянуть следующие его преимущества:
Надеюсь, что на данном этапе вы убедились, почему тестирование полезно для вас, вашего приложения и компании, в которой вы работаете.
Типы тестов
Тесты делятся на разные типы. Каждый тип теста имеет свою цель (назначение) и область действия, и вам следует знать об этом. Каждый разработчик в какой-то момент пишет тест, который тестирует то, чего он не должен.
У нас есть три основных типа тестов:
Пирамида описывает баланс различных типов тестов. Нижняя часть — это самые быстрые, простые и самые изолированные тесты, а верхние — самые дорогие, самые медленные и охватывают всё приложение в целом.
Интеграционный слой можно даже разделить на ещё большее количество слоёв:
Хотя есть несколько разногласий по поводу количества типов тестов и их имён, наиболее распространёнными являются тесты компонентов и API. Это всего лишь особые типы интеграционных тестов. В частности, тесты компонентов — это тесты, которые мы пишем на стороне фронтенда при тестировании приложения на Vue.js.
Статический анализ
Тесты — не единственный инструмент для обеспечения качества кода. В наше время для JavaScript также есть инструменты статической типизации и утилиты для проверки кода ( linters, далее — линтеры). Они выполняют статический анализ вашего кода для поиска несоответствий выбранному стилю кода, неправильного использования языка, ненадлежащей и плохой практики, ошибок в контракте данных и многое другое.
Контракт данных — формат данных, который будет использоваться некоторой частью приложения, например функцией. Обычно под этим понимается в каком виде будут представлены данные, например, тип входных и возвращаемых данных.
Статическая типизация делает ваш код более безопасным на основе каждого контракта. Такие инструменты, как TypeScript или Flow, позволяют определять переменные, параметры и типы возвращаемых значений. Они гарантируют, что ваши классы, функции и методы имеют определённую структуру, а остальная часть вашего кода хорошо работает в соответствии с этим. Многие компании, принявшие статическую типизацию, сразу же поймали несколько ошибок.
Давайте сравним типизированную версию и не типизированную версию функции sum :
Линтеры — это специальные программы, цель которых анализ и проверка различных аспектов кода во время компиляции. JavaScript не имеет преимуществ компилятора, поэтому подвержен ошибкам во время выполнения по сравнению с другими языками, где об ошибках будет сообщено на стадии компиляции. ESLint стал линтером де-факто в JavaScript, а TSLint — в сообществе TypeScript.
Линтер пытается заполнить пробел, предоставляя правила проверки ошибок синтаксиса, стиля кода и неправильного использования (проблемных паттернов). В результате он уменьшает количество ошибок и повышает качество и корректность вашего кода.
В качестве примера, если вы используете правило no-var в ESLint и напишите следующий код:
Вы получите ошибку Unexpected var, используйте let или const вместо (no-var) ( Неожиданный var, используйте let или const вместо него (no-var)).
В пирамиде статический анализ ещё точнее определён и проверяется быстрее (почти в режиме реального времени), чем модульные тесты, что делает его основой пирамиды:
Зачем нужны тесты на уроках?
Тесты являются ёмким инструментом контроля, они позволяют определять степень и уровень усвоения понятий, тем, разделов, а не просто констатацию наличия некоторой суммы знаний. Учащиеся оказываются в равных условиях и имеют одинаковые возможности показать свои достижения, что снижает их нервную нагрузку и в период подготовки, и во время самого контроля. Кроме того, тесты позволяют автоматизировать процесс проверки, уменьшить время контроля и увеличить время на другие виды учебной деятельности. Изменение сложности заданий, охвата учебного материала, целевой направленности, включение в тест нескольких компонентов структуры знаний позволяет создать вариативный инструмент проверки знаний.
Однако тесты не могут дать ответа на все «почему». Для проверяющего остаётся скрытым анализ способов решения задач и мыслительных операций контролируемого. Не все учебные элементы можно протестировать, а возможность угадывания правильного ответа снижает объективность оценки. Не предоставляются возможности для развития устной и письменной речи. Однако эти «минусы» можно подкорректировать, применяя и традиционный контроль.
10-й класс. Электростатика
1. Напряжённость однородного электрического поля 100 В/м, расстояние между двумя точками, расположенными на одной силовой линии поля, равно 5 см. Разность потенциалов между этими точками равна:
А) 5 В; Б) 20 В; В) 500 В; Г) 0,2 В.
2. Проводящему полому шару с толстой оболочкой (см. рисунок сечения) сообщили положительный электрический заряд. В каких областях шара потенциал электрического поля равен нулю? Потенциал точек, бесконечно удалённых от шара, равен нулю.
А) Только в I; Б) только во II;
В) только в III; Г) такой области нет.
3. Электрический заряд +10 –3 Кл в электростатическом поле перемещается из одной точки в другую. Поле при этом совершает работу 3 Дж. Потенциал начальной точки относительно конечной точки равен:
А) –3000 В; Б) 3000 В; В) 3·10 –3 В; Г) +0,33·10 –3 В.
4. Положительный электрический заряд перемещается сначала вдоль линий напряжённости поля на 2 см, затем перпендикулярно им тоже на 2 см. Работа A1 электрического поля на первом отрезке соотносится с работой A2 на втором:
* Правильные ответы здесь выделены жирным шрифтом. – Ред.
Зачем нужны психологические тесты
Психолог нередко применяет в своей работе психологические тесты. Какую информацию можно получить с их помощью? Действительно ли путем тестирования можно понять человека, изучить его личность?
Что такое психологическая диагностика? Как появились и стали использоваться психологические тесты?
Психодиагностика – область психологической науки и практики, которая разрабатывает теорию, принципы и методики для измерения индивидуально-психологических особенностей личности.
Первые тесты появились в конце XIX века, но они не были в полном смысле психологическими – например, измерялись способности людей к различению цветов и промежутков времени, сила удара. Потом появились тесты на измерение интеллекта – памяти, внимания, воображения. Такие тесты использовались в прикладных целях: например, в 1905 году во Франции по заказу министерства образования были разработаны тесты, позволяющие отделить детей с нарушениями развития от «ленивых». В 1919 году появился первый личностный опросник – для выявления и «отсеивания» с военной службы лиц, страдающих неврозами. К 20-м годам прошлого века количество используемых тестов превысило тысячу. Большинство из них было разработано в США, то есть родина психологического тестирования – Америка.
Развивалась психодиагностика и в России. Особенно много надежд на тестирование возлагали педагоги: они надеялись с помощью тестов получить сведения о степени одаренности учащихся, осуществить диагноз и прогноз их психического развития. У тестов были свои сторонники и противники. Их противостояние закончилось тем, что в 1936 году в СССР было запрещено использование тестов. Так продолжалось до 1969 года, а первый серьезный учебник по психодиагностике появился только в 1989-м – всего лишь три десятилетия назад.
С чем же был связан запрет на проведение психологического тестирования? Дело в том, что самыми распространенными и востребованными в то время были тесты, измеряющие интеллект. С одной стороны, повальное тестирование, проводимое часто с нарушением научных норм, привело к тому, что большое количество детей безосновательно зачислялось в категорию «трудных», даже умственно отсталых. С другой стороны, при проведении массовых обследований оказалось, что у крестьян и пролетариев (и, соответственно, их детей) уровень интеллекта ниже, чем у тех, кто был родом из дворянства, духовенства, купечества. Тестирование было запрещено постановлением партии.
Сегодня психодиагностика возрождается, появляются новые, научно обоснованные психологические тесты.
Что обычно измеряют психологи с помощью тестов?
По содержанию в первую очередь различают тесты интеллекта и личностные тесты. Первые предназначены для изучения особенностей познавательных процессов – мышления, памяти, внимания. Именно такие тесты часто используются в школе для диагностики готовности к школе и в процессе обучения – для определения способностей учащихся.
Один из самых известных тестов – Школьный тест умственного развития (ШТУР). Он включает 119 заданий, которые должны быть выполнены за 44 минуты. Этот тест показывает степень усвоения знаний, полученных на уроках, а также уровень развития у учащихся тех или иных способностей (лингвистических, математических или технических). Можно увидеть степень осведомленности школьника в различных областях знания, его умение решать сложные теоретические задачи, логически рассуждать, делать выводы.
Вот примеры некоторых заданий из теста ШТУР.
1. К слову, которое стоит в левой части бланка, надо подобрать из четырех предложенных слов такое, которое совпадало бы с ним по смыслу, то есть синоним. Это слово надо подчеркнуть. Выбрать можно только одно слово.
Аргумент – а) довод; б) согласие; в) спор; г) фраза.
2. Вам предлагаются три слова. Между первым и вторым словами существует определенная связь. Между третьим и одним из пяти слов, предлагаемых на выбор, существует аналогичная, та же самая связь. Это слово вам следует найти и подчеркнуть.
3. Вам даны пять слов. Четыре из них объединены общим признаком. Пятое слово к ним не подходит. Его надо найти и подчеркнуть. Лишним может быть только одно слово.
а) очерк; б) роман; в) рассказ; г) сюжет; д) повесть.
4. Предлагаем вам ряды чисел, расположенных по определенному правилу. Ваша задача состоит в том, чтобы определить число, которое было бы продолжением соответствующего ряда, и написать его. Каждый ряд построен по своему правилу. В некоторых заданиях при нахождении правила построения ряда вам необходимо будет пользоваться умножением, делением и другими действиями.
2 3 5 6 8 9.
10 12 9 11 8 10.
1 3 6 8 16 18.
3 4 6 9 13 18.
Тесты на интеллект могут выглядеть как рабочие тетради с набором упражнений, похожих на школьные, а могут представлять собой и комплекты карточек с различными картинками или заданиями для диагностики памяти, внимания, пространственного мышления.
Что представляют собой личностные тесты?
С их помощью можно изучать особенности темперамента, характера, поведения, эмоциональной и волевой сферы, настроения.
Как правило, это опросники. Они состоят из множества вопросов – в среднем около 60–80; есть большие тесты, которые содержат более 500 вопросов. Такие опросники, многосторонне описывающие личность, используются в серьезных целях – например, для диагностики в медицинских учреждениях или при трудоустройстве.
Особенно интересны тесты, направленные на изучение характера (они, кстати, часто востребованы подростками, активно интересующимися своим внутренним миром, ищущими ответы на вопросы «кто я?», «какой я?»). Такие тесты действительно могут дополнить знания подростка о себе самом.
Еще есть тесты, изучающие особенности семейных взаимоотношений – супружеских или детско-родительских. Изучать можно и отношения в коллективе, например, в школьном классе.
Часто психологи на приеме предлагают нарисовать что-нибудь. Например, автопортрет, или семью, или целую серию картинок на какую-либо тему. Это тоже тесты.
Эти тесты называются проективными – то есть представляют собой проекцию (отражение, перенос) внутреннего состояния, настроения, взаимоотношений со значимыми людьми. Психолог, изучающий особенности семейных отношений, может попросить ребенка, или подростка, или даже взрослого нарисовать свою семью. Например, если рисунок выполнен в мрачных тонах, имеет множество зачеркиваний или стираний, если отсутствует кто-то из членов семьи, либо члены семьи разделены преградами, или находятся на большом расстоянии друг от друга, можно предположить наличие некоторого неблагополучия.
Есть ли какие-то правила для психологов, использующих в своей работе психологические тесты? Ведь такой специалист буквально заглядывает в душу другому человеку. Не может ли это как-то повредить тому, кого тестируют?
В психодиагностике существуют серьезные этические стандарты, правда, к сожалению, они носят рекомендательный характер и не закреплены законодательно. Но настоящие профессионалы обязательно придерживаются этих стандартов.
Например, принцип соблюдения тайны предполагает неразглашение результатов диагностики без согласия клиента. При проведении психологической диагностики несовершеннолетних для разглашения результатов требуется согласие родителей или заменяющих их лиц. Исключение могут составлять случаи, когда диагностика проводится в научных целях как часть экспериментального исследования, но и здесь не следует указывать в публикациях имена испытуемых.
Принцип ненанесения ущерба предполагает, что результаты диагностики ни в коем случае не будут использованы во вред клиенту.
Принцип объективности выводов требует, чтобы все выводы из результатов тестирования были научно обоснованными, то есть вытекали из результатов тестирования, полученных с применением надежных методик, а не зависели от субъективных установок лиц, проводящих тестирование или пользующихся его данными.
Принцип добровольности: человека нельзя подвергать обследованию вопреки его воле. Исключение составляют случаи из судебной и медицинской практики, оговоренные законом. Любой человек имеет право знать результаты своего тестирования, а также то, кем и как они могут использоваться. Результаты тестирования предоставляются клиенту в форме, доступной для верного понимания.
В ряде стран с достаточно стабильной общественно-экономической системой существуют государственные, юридически оформленные ограничения на распространение и применение тестов. Большинство тестов, предназначенных для профессионального отбора и экспертизы, запрещены для открытой публикации в средствах массовой информации – для предотвращения их применения малоквалифицированными людьми; психологи, занимающиеся тестированием, должны иметь диплом о высшем психологическом образовании или ученую степень по психологии.
В России сегодня психологические тесты доступны не только специалистам, но и всему населению. Можно купить сборник психологических тестов. Публикуются они в популярных журналах и в Интернете. Насколько достоверны такие тесты? Нужно ли иметь специальную психологическую подготовку для того, чтобы ими пользоваться?
В популярных журналах и публикуются тесты популярные, то есть ненаучные. Служат они в основном для развлечения, результаты их весьма приблизительны. Такие тесты и названия имеют ненаучные: «Подходите ли вы друг другу?», «Какая вы жена?», «Сможете ли вы стать миллионером?». В сборниках психологических тестов могут встретиться разные методики – как научные, так и популярные (порой есть и в них зерно истины). И все-таки для того, чтобы правильно понять результаты диагностики, необходимо быть психологом, соблюдать правила предъявления тестов, правильно обрабатывать и интерпретировать методики, ведь среди них есть сложные, требующие дополнительных психологических знаний.
Действительно ли путем тестирования можно понять человека, изучить его личность?
Есть серьезные тесты, позволяющие провести достаточно глубокую психологическую диагностику. Конечно, на основании одних только тестов нельзя делать однозначные выводы о душевном состоянии или особенностях взаимоотношений в семье. Результаты тестирования обязательно должны быть дополнены наблюдением, беседой. Личность человека настолько сложна и изменчива, что ее невозможно описать с помощью даже самого совершенного психологического теста.
«Познай самого себя», – гласит надпись на Дельфийском храме Аполлона. Это можно делать и с помощью психологических тестов под руководством специалиста-психолога.
Тест-игра «Какой я родитель?» 1
Уважаемые мамы и папы! Кому не хочется получить ответ на вопрос: «Какой я родитель?». Именно поэтому мы предлагаем вам тест-игру. Отметьте те вопросы и фразы, которые вы часто употребляете в общении с детьми.
Сколько раз тебе повторять?
Посоветуй мне, пожалуйста!
Не знаю, что бы я без тебя делал(а)!
И в кого ты такой уродился?!
Какие у тебя замечательные друзья!
Ну на кого ты похож(а)?!
Ты моя опора и помощник (помощница)!
Ну что за друзья у тебя?
О чем ты только думаешь?
Какая (какой) ты у меня умница!
А как ты считаешь, сынок (доченька)?
У всех дети как дети, а ты…
Какой (какая) ты у меня сообразительный(ая)!
Подсчитайте общее число баллов.
Если вы набрали 5–7 баллов – значит, живете с ребенком душа в душу. Он искренне любит и уважает вас, ваши отношения способствуют становлению его личности.
Сумма от 8 до 10 баллов свидетельствует о намечающихся сложностях во взаимоотношениях с ребенком, о непонимании его проблем, попытках перенести вину за недостатки в его развитии на самого ребенка.
11 баллов и выше – вы непоследовательны в общении с ребенком, его развитие подвержено влиянию случайных обстоятельств. Стоит задуматься над этим!
Тест «Какой я учитель?» 2
Просьба ответить на вопросы одним из вариантов: да, скорее да, скорее нет, нет. Обведите соответствующую цифру в графе ответов.
Считаю ли я себя сформировавшейся личностью или у меня еще есть резервы роста?
Доволен (довольна) ли я собой в целом?
Способен(на) ли я выслушать другую точку зрения, проявить гибкость, принимая другого с его позицией?
Переношу ли я критику в свой адрес, необходимую для моего профессионального и личностного роста?
Знаю ли я, как мои ученики видят меня? Могу ли я взглянуть на себя их глазами?
Интересуют ли меня люди с их проблемами больше, чем мои и их профессиональные дела и обязанности?
Ищу ли я причины затруднений учащихся в учебе, пытаюсь ли менять характер урока, задания, если не вижу у учеников ожидаемых результатов и реакций?
Пробуждает ли мой стиль преподавания любовь к учебе, интерес к предмету у школьников?
Знаю ли я, как мои ученики видят мир, что любят, во что верят?
Считаю ли я, что причины невысоких успехов школьников в учебе состоят в их неспособности?
Подсчитайте общее число баллов.
75–100 баллов. Вы правильно понимаете требования к учителю и работаете в основном согласно этим требованиям. Вы уверены в себе, считаете себя способным изменяться, работать над собой, видите основные причины затруднений учащихся в качестве обучения, интересуетесь личностью ученика, а не «прохождением» программы, стремитесь сделать учение интересным.
55–75 баллов. Такие профессиональные качества, как терпимость, интерес к внутреннему миру ученика, стремление изменять его, а не только «проходить» программу и стремление изменяться самому развиты в вас чуть ниже желательного уровня. Вам, вероятно, следует чаще задавать себе подобные вопросы, выявлять проблемы профессионального роста и решать их.
Ниже 55 баллов. Очевидно, вы многое в профессиональном труде учителя понимаете не совсем верно. Следует задуматься, проанализировать свою работу, ее результаты, вашу удовлетворенность ею и многое другое. Впрочем, возможно, наш тест не совсем точно работает. Тогда ваши поправки и пожелания помогут его улучшить. Благодарим за участие и помощь.
1 Из книги Е.Ю. Севостьяновой «Дружная семейка: программа адаптации детей к ДОУ»).