Тестване и оценка на ефективността на програмата. Ефективно, ефикасно, грациозно тестване. Тестване на бяла кутия

Тестването на софтуер е оценката на софтуер/продукт, който се разработва, за да се проверят неговите възможности, възможности и съответствие с очакваните резултати. Има различни видове методи, използвани в областта на тестването и осигуряването на качество и ще бъдат обсъдени в тази статия.

Тестването на софтуер е неразделна част от цикъла на разработка на софтуер.

Какво е тестване на софтуер?

Тестването на софтуера не е нищо повече от тестване на част от код при контролирани и неконтролирани работни условия, наблюдение на изхода и след това проверка дали отговаря на предварително определени условия.

Различните набори от тестови случаи и стратегии за тестване са насочени към постигане на една обща цел - премахване на грешки и грешки в кода и осигуряване на точна и оптимална производителност на софтуера.

Техника на тестване

Често използвани методи за тестване са тестване на единици, тестване на интеграция, тестване за приемане и тестване на системата. Софтуерът се подлага на тези тестове в определен ред.

3) Тестване на системата

4) Тестове за приемане

На първо място се извършва единичен тест. Както подсказва името, това е метод за тестване на ниво обект. Отделните софтуерни компоненти се тестват за грешки. Този тест изисква точно познаване на програмата и всеки инсталиран модул. По този начин тази проверка се извършва от програмисти, а не от тестери. За да направите това, се създават тестови кодове, които проверяват дали софтуерът се държи по предназначение.

Отделни модули, които вече са тествани на модули, се интегрират един с друг и се проверяват за неизправности. Този тип тестване основно открива грешки в интерфейса. Тестването на интеграция може да се извърши чрез подход отгоре надолу, следвайки архитектурния дизайн на системата. Друг подход е подход отдолу нагоре, който се взема от дъното на контролния поток.

Тестване на системата

При това тестване цялата система се проверява за грешки и бъгове. Този тест се извършва чрез сдвояване на хардуерните и софтуерните компоненти на цялата система и след това тестването й. Това тестване се нарича метод за тестване на "черната кутия", който тества очакваните от потребителя работни условия за софтуера.

Тестове за приемане

Това е последният тест, който се провежда преди софтуерът да бъде предаден на клиента. Извършва се, за да се гарантира, че разработеният софтуер отговаря на всички изисквания на клиента. Има два вида тестване за приемане – единият, който се извършва от членове на екипа за разработка, е известен като вътрешно тестване за приемане (Алфа тестване), а другият, който се извършва от клиента, е известен като външно тестване за приемане.

Когато тестването се извършва с бъдещи клиенти, то се нарича тестване за приемане на клиенти. Когато тестването се провежда от крайния потребител на софтуера, то е известно като тестване за приемане (бета тестване).

Има няколко основни метода за тестване, които са част от режима за тестване на софтуер. Тези тестове обикновено се считат за самостоятелни при намиране на грешки и грешки в цялата система.

Тестване на черна кутия

Тестването на черна кутия се извършва без познания за вътрешната работа на системата. Тестерът ще стимулира софтуера за потребителската среда чрез предоставяне на различни входове и тестване на генерираните изходи. Този тест е известен още като тестване с черна кутия, тестване в затворена кутия или функционално тестване.

Тестване на бяла кутия

Тестването с бяла кутия, за разлика от тестването с черна кутия, взема предвид вътрешното функциониране и логиката на кода. За да извърши този тест, тестерът трябва да знае кода, за да разбере точната част от кода, която има грешки. Този тест е известен още като тестване на бяла кутия, отворена кутия или стъклена кутия.

Тестване на сива кутия

Тестването на сива кутия или тестването на сивата кутия е кръстоска между тестването на бяла и черна кутия, при което тестерът има само общи познания за продукта, необходим за извършване на теста. Тази проверка се извършва чрез документация и диаграми на потока от информация. Тестването се извършва от крайния потребител или потребители, които са представени като крайни потребители.

Нефункционални тестове

Сигурността на приложението е една от основните грижи на разработчика. Тестването за сигурност проверява софтуера за поверителност, цялост, удостоверяване, наличност и надеждност. Извършват се индивидуални тестове, за да се предотврати неоторизиран достъп до програмния код.

Стрес тестването е техника, при която софтуерът е изложен на условия, които са извън нормалните работни условия на софтуера. След достигане на критичната точка резултатите се записват. Този тест определя стабилността на цялата система.

Софтуерът е тестван за съвместимост с външни интерфейси като операционни системи, хардуерни платформи, уеб браузъри и др. Тестът за съвместимост проверява дали даден продукт е съвместим с която и да е софтуерна платформа.

Както подсказва името, тази техника за тестване тества количеството код или ресурси, които програмата използва за една операция.

Това тестване проверява използваемостта и използваемостта на софтуера за потребителите. Лекотата, с която потребителят може да получи достъп до устройството, е основната точка на тестването. Тестването за използваемост обхваща пет аспекта на тестването - усвояемост, ефективност, удовлетворение, запомняемост и грешка.

Тестове в процеса на разработка на софтуер

Моделът на водопада използва подход отгоре надолу, независимо дали се използва за разработка на софтуер или тестване.

Основните стъпки, включени в тази техника за тестване на софтуер, са:

• Нужда от анализ
• Тест за проектиране
• Тест за внедряване
• Тестване, отстраняване на грешки и валидиране на вашия код или продукт
• Внедряване и поддръжка

При тази техника преминавате към следващата стъпка само след като завършите предишната. Моделът използва неитеративен подход. Основното предимство на тази техника е нейният опростен, систематичен и ортодоксален подход. Той обаче има много недостатъци, тъй като бъгове и грешки в кода няма да бъдат открити до фазата на тестване. Това често може да доведе до загуба на време, пари и други ценни ресурси.

Пъргав модел

Тази методология се основава на селективна комбинация от последователни и итеративни подходи, в допълнение към доста голямо разнообразие от нови методи за разработка. Бързото и прогресивно развитие е един от ключовите принципи на тази методология. Акцентът е върху получаването на бързи, практични и видими изходи. Непрекъснатото взаимодействие и ангажираност с клиентите е неразделна част от целия процес на разработка.

Бърза разработка на приложения (RAD). Методология за бърза разработка на приложения

Името говори само за себе си. В този случай методологията използва бърз еволюционен подход, използвайки принципа на дизайна на компонентите. След разбиране на различните изисквания на даден проект, се подготвя бърз прототип и след това се сравнява с очакван набор от резултати и стандарти. Необходимите промени и модификации се правят след съвместно обсъждане с клиента или екипа за разработка (в контекста на софтуерно тестване).

Въпреки че този подход има своя дял от предимства, той може да не е подходящ, ако проектът е голям, сложен или изключително динамичен по природа, в който изискванията се променят постоянно.

Спирален модел

Както подсказва името, спираловият модел се основава на подход, при който има редица цикли (или спирали) от всички последователни стъпки в модела на водопада. След приключване на първоначалния цикъл се извършва задълбочен анализ и преглед на постигнатия продукт или добив. Ако изходът не отговаря на определените изисквания или очакваните стандарти, се извършва втори цикъл и т.н.

Рационален унифициран процес (RUP). Рационален единен процес

Методологията на RUP също е подобна на спиралния модел, тъй като цялата процедура на тестване е разделена на няколко кръга. Всеки цикъл има четири етапа - създаване, развитие, изграждане и преход. В края на всеки цикъл продуктът/добивът се преразглежда и следва цикъл (състоящ се от същите четири фази), ако е необходимо.

Използването на информационни технологии нараства всеки ден, а значението на правилното тестване на софтуера нараства експоненциално. Много фирми поддържат персонал от специални екипи за това, чиито възможности са на ниво разработчици.

Икономика

Тестване на ефективността на системата за вътрешен контрол

Рахманкулов И.Ш.

Доктор по икономика, професор в катедрата по управление на производството на Казанския държавен финансов и икономически институт

Статията показва необходимостта от тестване на ефективността на системата за вътрешен контрол за изготвяне на финансови отчети, показва процедурата за нейното прилагане. Авторът дава оценка на елементите на автоматизирано и ръчно управление.

За да демонстрира ефективността на вътрешния контрол върху изготвянето на финансови отчети, ръководството трябва да определи колко ефективно функционират контролите на компанията. В съответствие с изискванията на Закона на Sarbanes-Oxley (SOX), тестването трябва да обхваща всеки от петте елемента на системата за вътрешен контрол (контролна среда, оценка на риска, процедури за контрол, информация и комуникация, мониторинг) във връзка с изискванията за финансова отчетност за всички негови материални компоненти поотделно.всяка ключова бизнес единица. Тестването на ефективността трябва също да обхваща области, свързани със специфичен риск в останалите бизнес звена. Тестването може да бъде разделено на четири основни етапа:

1. Определяне на контролите, които ще бъдат тествани.

2. Определяне на служители, които ще провеждат тестване.

3. Разработване и изпълнение на тестови планове.

4. Оценка на резултатите от теста.

Обикновено тези стъпки се изпълняват последователно, но понякога не са в ред, тъй като резултатите от теста могат да наложат промени в плана или да изискват повторно тестване на ревизираните елементи. Координиране

Комитетът по проекта трябва да прегледа и одобри планове за изпитване, които подробно описват принципния подход към процедурата на тестване. Ръководството не трябва да подценява количеството време, необходимо за тестване, и сложността, която може да възникне по време на фазата на тестване на проекта.

Препоръчваме ви да установите открит диалог с външния одитор на компанията относно стратегията на ръководството за тестване на оперативната ефективност. Външният одитор трябва също да оцени подробните тестови планове. Предоставя се ниво на увереност в резултат на оценката на ръководството за ефективността на вътрешния контрол при изготвянето на финансовите отчети. Адекватната увереност е основна както при оценката на вътрешния контрол върху изготвянето на финансовите отчети, така и за целите на одиторския доклад. Адекватната увереност предполага, че е малко вероятно съществените неточности и несъответствия да не бъдат предотвратени или открити навреме. Въпреки че достатъчната сигурност не е абсолютна, тя е висока степен на сигурност. За да постигне висока степен на доверие, ръководството трябва да получи достатъчно доказателства за правилния дизайн и оперативната ефективност на контролите, за да покрие финансовите изисквания.

„Бюлетин по икономика, право и социология”, бр.1, 2007г

Икономика

отчитане за всички съществени компоненти на финансовите отчети във всяка ключова бизнес единица. Докато одитните доказателства за оперативна ефективност обикновено се основават на традиционно тестване (т.е. вземане на проби и проверка на контрола), ръководството има повече свобода на преценка как ще бъдат получени необходимите доказателства.

Например ръководството може да получи доказателства за правилния дизайн и оперативната ефективност на контролите чрез процес на самооценка, вътрешни одити или текущ мониторинг. Това не означава, че ръководството може да избегне тестването на ключови контроли. По-скоро това означава, че ръководството може да използва алтернативни източници на доказателства (ако има такива) в комбинация с подробни пробни тестове, за да получи по-висока степен на увереност. Като такова ръководството може да не тества всеки контрол в детайли по начина, по който го прави одиторът. При разработването на своя план за тестване ръководството трябва да определи дали разполага с източници на доказателства, различни от тези, получени от подробното тестване на пробата. Когато ръководството прецени, че съществуват такива доказателства, то може да реши да намали размера на извадката от одиторската извадка, което одиторът счита за необходимо за предоставяне на висока степен на увереност.

Във връзка с извършването на други тестове (напр. самооценка и т.н.), ръководството трябва да използва размери на извадката, така че общият брой на тестваните елементи за оценка на оперативната ефективност на ключовите контроли да е не по-малък от този, представен в таблицата. Ако ръководството няма други източници на доказателства, размерът на извадката, използван от ръководството за тестване, трябва да надвишава минималните размери, представени в таблицата. В случаите, когато едно или повече изисквания за финансова отчетност по отношение на материал

Има само един контрол, свързан със специфичните компоненти на финансовите отчети, когато контролът се счита за по-важен или когато се изисква по-висока степен на сигурност, размерът на извадката също трябва да бъде увеличен. Непрекъснатото тестване помага за намаляване на риска значителни или значителни недостатъци в системата за вътрешен контрол да бъдат идентифицирани твърде късно и не могат да бъдат коригирани до края на годината.

Ръководството трябва да демонстрира, че контролите, които обхващат всичките пет компонента на модела COSO, функционират ефективно във всички компоненти на финансовото отчитане, бизнес процеси и бизнес звена. Естеството на извършените тестове върху процедурите за контрол обикновено е по-просто от естеството на тестовете, извършвани върху други компоненти на вътрешния контрол. Когато се оценява ефективността на контролите, свързани с контролната среда, оценката на риска, информацията и комуникацията и наблюдението, обикновено е необходимо да се разчита повече на професионална преценка и качествен анализ, отколкото при оценка на процедурите за контрол.

Решенията, взети по време на етапите на определяне на обхвата и документиране, определят избора на бизнес единици и тестването, което да се извърши (показано в Таблица 1). За бизнес единици от първата категория тестването ще обхваща контроли на ниво транзакция за съществени компоненти на финансовото отчитане и процеси, както и контроли на корпоративно ниво. За бизнес единици от трета категория не се изисква специално тестване на контролите. В бизнес звената от втората категория ръководството трябва да документира и тества ефективността на контрола на корпоративно ниво. Например, за да определи дали счетоводните политики на предприятието се спазват, ръководството трябва да тества отделни бизнес единици от категория 2, за да определи дали действията на персонала са в съответствие с изискванията на одобрените счетоводни политики. Ръководството може също да получи доказателство за експлоатация

„Бюлетин по икономика, право и социология”, бр.1, 2007г

Икономика

ефективността на процедурите за контрол, извършвани в тези бизнес звена чрез инструменти като самооценка, вътрешен одит и мониторинг.

Таблица 2 представя предложения за избор на необходимия минимум от бизнес единици от категория 2, в които трябва да се тестват контролите на ниво предприятие.

Ако не може да се разчита на контроли на корпоративно ниво за бизнес единици от втората категория, тогава трябва да се извърши подробно тестване на контролите, обхващащи съществените компоненти на финансовите отчети.

В съответствие със стандартите за вътрешен контрол, ръководството може да оцени оперативната ефективност на контролите въз основа на процедури като тестване на контроли от вътрешен одит, тестване от други по указание от ръководството, използване на доклади на трети страни, проверка на доказателства, че контролите са били упражнявани или тестване ги чрез самооценка. Някои от тези видове оценки могат да бъдат извършени като част от текущия мониторинг на ръководството. Във всички случаи ръководството носи отговорност за (1) компетентността и обективността на персонала, оценяващ контролите; (2) получаване в резултат на тестване на доказателства, достатъчни, за да обосноват оценка на ефективността на системата за вътрешен контрол. За да се получи достатъчно ниво на доверие в резултатите от процеса на самооценка, може да се наложи ръководството да бъде прегледано независимо. Стандартът гласи, че в случаите, когато доказателство за оперативната ефективност на контрола е предоставено от лицето, което упражнява този контрол, то не може да се използва от външния одитор за намаляване на обхвата на тестването, тъй като лицето, което тества контрола, няма да бъде обективно достатъчно.

За да бъдат прегледани и одобрени резултатите от теста от различни заинтересовани страни, планът за изпитване трябва да включва описания на тестовете и резултати от тестовете. Плановете за изпитване трябва да обхващат всички контроли, избрани за тестване, и да съдържат следните ключови елементи:

Ключови контроли, които трябва да бъдат тествани – Като цяло ръководството предоставя обобщение на контролите, които трябва да бъдат тествани на нивото на изискванията за финансова отчетност.

Методи за тестване – Има четири метода за тестване: потвърждение, наблюдение, ревизия на документа или повторно изпълнение.

Извадка от тестване – Плановете трябва да посочват количеството доказателства от контролната процедура, която трябва да се тества, както и методите и обосновката за избора им.

Времетраене на процедурите – плановете трябва да посочват времето на тестването и времевия интервал, който обхващат, включително тестване на допълнителна извадка от документи, планирани от момента на междинното тестване до края на годината.

Описание на процедурата за изпитване – Плановете трябва да описват подробно процедурите за изпитване и изискванията за финансова отчетност, обхванати от изпитваните процедури за контрол.

Организация на процедурата за тестване – Плановете трябва да посочват кой и кога ще извърши теста, какви доказателства ще бъдат анализирани и къде се извършва контрол.

Документация – Плановете трябва да описват необходимата документация.

Изключения – Плановете трябва да очертават как да се разследват и адресират изключенията на извадката (несъответствия), както и кога трябва да се извършат допълнителни тестове.

Има 4 метода за тестване: потвърждение, наблюдение, ревизия на документа и повторно изпълнение. Използването на два или повече от тези тестови методи по едно и също време осигурява по-висока степен на увереност, отколкото използването само на един от тях. Колкото по-голяма е съществеността на компонент за финансова информация или бизнес процес и колкото по-висок е рискът, толкова по-важно е да се гарантира, че доказателствата се получават чрез множество методи за тестване.

„Бюлетин по икономика, право и социология”, бр.1, 2007г

Икономика

Предложения за обхват на работа

маса 1

Категория Минимално покритие на балансовата сметка Бизнес единици Планирани процедури

1 60 - 70% Ключови бизнес звена и компоненти на финансовото отчитане, свързани със специфични рискове Подробна оценка и тестване на контролите върху съществени (или специфични рискови) сметки и оповестявания на съответните обекти, както и тестване на контроли на корпоративно ниво.

2 25 - 35% Бизнес единици, които са ключови в съвкупността Оценете и тествайте контролите на ниво предприятие, ако е възможно, и помислете за получаване на други доказателства или извършване на някои тестове на контроли в бизнес единици, ако контроли на корпоративно ниво не съществуват.

3 < 5% Объекты, не являющиеся ключевыми ни по отдельности, ни в совокупности Тестирование не требуется.

таблица 2

Предложения за избор на бизнес единици

Брой бизнес единици Брой бизнес единици, в които трябва да се тестват контролите на ниво предприятие

По-малко от 20 2 - 4

100 или повече 10 - 20 или повече

ния Естеството на контрола също влияе върху избора на метод за изпитване.

Потвърждението на информация, свързана с оперативната ефективност на контролите, само по себе си не представлява доказателство за ефективното функциониране на контролите.

Наблюдението на контролите осигурява по-висока степен на доверие и може да бъде приемлив метод за оценка на автоматизирани контроли.

Ревизията на документа често се използва, за да се определи дали се извършват ръчни контроли.

Многократното изпълнение на контролната процедура осигурява най-голяма степен на увереност. Повечето ръчни контроли се тестват с помощта на комбинация от тестови методи: потвърждение, наблюдение, ревизия на документа и повторно изпълнение.

Степента, до която се тества конкретна контролна процедура, ще зависи от редица фактори, като например дали контролът е автоматизиран или ръчен. Размерът на извадката за тестване на автоматизирани контроли може да бъде минимален (един или повече елемента), при условие че

„Бюлетин по икономика, право и социология”, бр.1, 2007г

Икономика

че общият компютърен контрол, прилаган в ИТ системата, е тестван и е установено, че е ефективен.

Един от най-често срещаните автоматизирани контроли са контролите за въвеждане и редактиране на данни. Въз основа на допустимите комбинации от услуги и цени, предоставени в базата данни, контролът на резултатите от редактирането не позволява на служителя, който въвежда поръчката, да посочи грешна цена за услугата. Оперативната ефективност на всеки елемент от автоматизирано управление трябва да бъде тествана. В този пример, за да се демонстрира оперативната ефективност на контролите, трябва да бъдат въведени няколко различни неправилни комбинации цена/услуга. Понякога разширените права за достъп на ръководството му позволяват да редактира въведените данни и по този начин да заобиколи автоматизирания контрол. Тази способност за редактиране на ръководството трябва да бъде тествана, за да се оцени потенциален недостатък в системата за вътрешен контрол.

Когато тества автоматизирани контроли, ръководството трябва (1) да гарантира, че цялостните компютърни контроли са ефективни и (2) да извърши подробен преглед на контролите в компанията (напр. прегледи преди внедряване и след внедряване). В предишния пример ръководството трябваше да накара служителите да разберат, че контролът върху въвеждането и редактирането на данни трябва да бъде ефективен при всякакви обстоятелства. Ако ръководството никога не е извършвало подробно тестване на контролите в софтуера на компанията – нито преди, нито след внедряването – или контролите върху промените в софтуера са слаби, ръководството трябва да тества автоматизираните контроли спрямо оригиналния им дизайн.

Има няколко начина за изпълнение на тази задача, от авариен случай, когато се анализира програмния код, до тестване от край до край, което дава увереност, че контролът обхваща всички съответни логически вериги. За софтуер от външни разработчици, който не е модифициран,

ръководството трябва да потвърди, че конфигурациите по подразбиране са били правилно конфигурирани и да осигури контрол върху промените в тях. Приложенията, разработени външно от името на компанията, или разработени от вътрешни специалисти, може да изискват по-обширни процедури за валидиране на ефективността на дизайна на контрола.

Основни изводи:

1. Осигуряване на качеството. Ако ръководството смята, че е необходима по-голяма обективност за провеждане на тестване, тогава може да бъде назначен независимо лице или отдел, който да проведе тестване. Най-подходящият и обективен кандидат за тази задача е отделът за вътрешен одит, който може както да одобрява планове за тестове, така и да оценява резултатите от него.

2. Структура на плановете за тестване. В повечето случаи множество контроли могат да бъдат тествани върху една извадка от операции, която отразява потока на бизнес процеса, позволявайки на тестера да разбере по-добре как взаимодействат различните процедури за контрол. Например, един метод за тестване на контролите като част от процеса на отчитане на приходите е да се идентифицира извадка от нови договори за продажба. Упълномощаването на договори може да се тества, като се провери дали под договора са налице необходимите подписи. Коректността на цените може да бъде проверена чрез оценка на (а) съответствието на процедурата за промяна на цената с одобрените инструкции на компанията и (б) наличието на подходящо разрешение за тези цени.

3. Разлики между автоматизирано и ръчно управление. В повечето случаи е лесно да се определи дали управлението е автоматизирано или ръчно. Понякога обаче идентифицирането на тази разлика може да бъде трудно. Механизмът за управление може да разчита на автоматизиран процес, но неговият ключов компонент ще бъде ръчен. Например, често срещан пример за инспекция е систематичното сравнение на отчетите за входящи стоки,

„Бюлетин по икономика, право и социология”, бр.1, 2007г

Икономика

поръчки за покупка и фактури от доставчици. Системата автоматично генерира отчет за несъответствие за всички несъответстващи елементи. След това тези несъответствия се анализират и коригират от отдела за задълженията. Този контролен механизъм се състои от два елемента (1) автоматизирано трипосочно съпоставяне и (2) ръчен анализ.

от служители на счетоводството на задълженията. Автоматизираните и ръчните контроли трябва да се оценяват отделно, като се използват подходящи насоки за тестване.

литература:

1. Практическо ръководство за управление. Закон Сарбейн-Оксли (раздел 404). Издател: пю х. 2005 .-- 138 с.

Превод: Олга Алифанова

При осигуряването на качеството се прави разлика между проверка и валидиране. Проверката отговаря на въпроса дали създаваме продукта правилно, а валидирането отговаря на въпроса или дали изобщо създаваме това, което е необходимо. Някои хора теглят границата между осигуряване на качество и тестване въз основа на тези определения.

От моя гледна точка, използването на термините „верификация“ и „валидиране“ може да доведе до фалшиви дихотомии. За мен тестването е дейност, свързана с дизайна и следователно обхваща доста широка област. Вярвам, че тестовете могат да се превърнат в един вид „общ език“. Вярвам, че тестовете могат директно да кодират спецификации и изисквания. И вярвам, че тестовете са източник на знания за дадена област или продукт. Прекалено голямото наблягане на разликата между проверка и валидиране е неефективен и неефективен начин да се разбере как тестването допълва осигуряването на качеството.

Според мен невъзможността да се възприеме тестването и осигуряването на качеството като два различни, допълващи се процеса е възприятие, на което очевидно липсва изящество.

Всъщност съм съгласен, че разликата между проверка и валидиране е напълно оправдана. В крайна сметка ефективността е способността да направите нещо правилно. Ефективността, от друга страна, е способността да се даде правилен резултат. Ефективността е фокусирана върху процеса и има за цел да го доведе до края, а ефективността е върху продукта (тоест, всъщност, върху резултата от този процес). Може да се каже така: ефективността се фокусира предимно върху избягването на грешки, а ефективността - върху успеха, независимо от броя на грешките, направени по пътя.

Струва ми се обаче, че има начин да се направи разлика между ефикасност и ефективност, който е много по-добър от разбирането на разликата между проверка и валидиране. Тестването наистина изисква гъвкавост и иновации.

И точно това е моментът, в който възниква любопитен парадокс. Нуждаете се от прилично ниво на дисциплина и твърдост, за да бъдете постоянно ефективни. Въпреки това, дисциплината и устойчивостта към промяната правят процесите гъвкави! Ако правите едно и също нещо по един и същи начин отново и отново, никога няма да бъдете затрупани от нещо иновативно.

Тъй като ефективността в този контекст е свързана с проверката, това означава, че проверката може да се превърне в статична дейност.

Ефективността, от друга страна, е много по-приспособима към промените и изисква много гъвкавост. За да постигнете добри резултати, трябва да насърчавате иновациите, защото тогава хората ще се замислят какво точно правят в момента и дали си струва да правите това в конкретен контекст и под влияние на конкретни фактори. Въпреки това, тази гъвкавост и адаптивност водят до огромно богатство от възможности за избор и потенциална невъзможност за полагане на съзнателни, рутинни усилия, които могат да бъдат възпроизведени извън текущата ситуация.

Тъй като ефективността в нашия контекст е обвързана с валидирането, всичко по-горе означава, че валидирането може да се превърне в прекалено динамична дейност.

И тук трябва да влязат в действие грациозните решения, които да прекъснат този порочен кръг и да ви дадат възможност да оцените ефективността и представянето си от различна гледна точка. Благодатта на решенията не просто отговаря на въпросите дали сме направили нещо по-добро, или сме мислили за нещо по-добро, а по-скоро дава отговор, станахме ли по-добри в разбирането на случващото се, създадохме ли основа за бъдещи дейности?

Grace може да се разглежда и като минимизиране на сложността. В света на развитието хората често разделят сложността на решенията на задължителни и произволни. Следователно, за да бъдат решенията в тестването елегантни, те трябва да се състоят само от "задължителна сложност" и на практика да не съдържат случайни. Звучи мистериозно? Да, възможно е, тъй като колко хора - толкова много мнения за това откъде започва "сложността". За мен сложността на решенията при тестване възниква, когато в системата няма избор и има голяма несигурност.

Ако позволите тестването да бъде иновативно и гъвкаво (тоест ефективно), но въпреки това поддържате определено ниво на твърдост и дисциплина (ефективност), трябва да имате някакъв набор от правила за това как да управлявате избора (в смисъл как да предоставяте тези избори) и несигурност (как да я елиминираме).

Няма да се отегчавам по тази тема, а просто дайте примери за това, за което говоря. В моите примери искам да се опитам да накарам тестовите екипи да мислят за своите тестове, използвайки термините ефективност, ефективност и благодат. Ще започна с някои аксиоми (не мога да намеря друга дума) и ще се опитам да направя моите примери възможно най-кратки и разбираеми. Има неща, в които целият екип трябва да вярва - или поне да действа така, сякаш вярва в тях. И първата ми аксиома потвърждава това, което казах по-горе!

• Тестването може да се извърши ефективно, ефикасно и грациозно.
• Тестването изисква активно, професионално, техническо изследване.
• Целта на тестването е ясна доставка на необходимата информация навреме.
• Тестерите са в известен смисъл писатели и редактори. Следователно, етиката на благодатта и професионалната гордост са незаменими атрибути на добрата, мотивирана работа с правилното ниво на внимание.

Ето няколко примера за илюстриране на тези точки. Първо, нека разгледаме всички тези понятия, когато се прилагат към тест.

• Ефективнотестът трябва да се концентрира върху входа, процеса, изхода.
• Ефективнатестът трябва да бъде изразителен и да демонстрира целта на теста.
• Ефективнотестът трябва да се фокусира върху един разбираем резултат от конкретно действие, а не върху няколко едновременно.
• Ефективнатестът групира свързани наблюдения заедно.
• Ефективнотестът дава конкретен пример за данните, които искате.
• Ефективнатестът разказва за общите условия, при които трябва да попаднат тестваните данни.
• Елегантентестът описва специфичното поведение на системата и нейната функционалност.

Сега, нека приложим тези концепции към тестовия пакет:

• Ефективнотестовият пакет определя кои данни ще бъдат валидни и кои не.
• Ефективнотестовият пакет проверява както валидни, така и невалидни данни.
• Ефективнатестов пакет групи типове данни в класове.
• Елегантенможе да се създаде тестов пакет за изследване на бизнес задачи и процеси.

И накрая, нека приложим тези дефиниции към тестването като дейност:

• Ефективнотестването използва скриптове за структуриране на изследователския процес.
• Ефективнотестването прилага изследователски практики, които внасят променливост в скриптовете.
• Грациозентестването използва скриптирани изследователски практики, за да демонстрира стойността на дадено приложение за потребителя, като изследва как се използва.
• Ефективнотестването използва скриптове, показващи как продуктът постига целта си.
• Ефективнотестването използва скриптове, които демонстрират какво трябва да се случи, за да може потребителят да бъде удовлетворен.
• Грациозентестването описва изискванията и демонстрира възможностите на приложението.

Всичко това е важно да сте наясно, тъй като това, което правите и как го правите, е в основата на това какво и как ще правите в бъдеще. Той също така поддържа групова динамика и разсъждения върху горните концепции. Ето какво имам предвид:

• Някои тестери предпочитат да наричат ​​тестови случаи като "тестови условия". Някои са обратното. Някой пренебрегва и двата термина. Вярвам, че тестването на производителността групира тестовите условия и ги прави вариации на тестови случаи. Тестването на производителността използва тестови условия, определени от специфични параметри на желаните данни.

• Терминът "положително/отрицателно тестване" отдавна е излязъл от мода сред опитните тестери. Изящното тестване се концентрира върху описването на валидни и невалидни условия. Това означава, че изпитателите трябва да тестват ефективно и ефикасно, като идентифицират всички тестови условия, които могат да се променят (което от своя страна води до групиране на валидни и невалидни условия), както и да гарантират, че вземат информирани решения, когато избират конкретни набори от данни и игнорират останалите.

• Грациозните тестове са шампионите на вашите тестове. Ако имате група тестове, които всъщност проверяват подобни неща, и времето ви е ограничено, ще имате време да изпълните само част от тях. В такива случаи използвайте тестове, които е по-вероятно да разкрият цял ​​слой грешки. Такива тестове могат да бъдат изключително елегантни.
• Ефективният тест не трябва да бъде нито твърде прост, нито прекалено сложен. Разбира се, възможно е да се натъпчат цяла серия от проверки в един случай, но възможните странични ефекти от този начин на създаване на тестове могат да маскират куп грешки. Следователно случаите с резултати трябва да включват различни точки на наблюдение (или различен път към една и съща гледна точка) и да се изпълняват отделно.
• Няколко техники за тестване са изключително ефективни при избора на конкретни данни и организирането на тези данни в комбинация или последователност. Но елегантно решение ще възникне, когато тестери изберат тези данни въз основа на взаимодействието на различни функционалности и потоци от данни и проучат пътищата през потребителския интерфейс с разбиране за това как жив човек ще използва тази система.
• Успешният случай трябва да може да ви даде информация. Имате нужда от тестове, които ще отговорят на въпросите, които сте задали. Целта на теста не е непременно да открие бъг, целта му е да събере информация. Тестът не е ценен, когато може да намери бъг - той трябва да може да ви предостави информация (въпреки че тази информация може да бъде и в присъствието на грешка, ако нещо не е наред с приложението). Елегантното решение винаги е насочено към получаване на конкретна информация по време на тестване.

• Ефективното тестване изисква разбиране на изискванията и как те са свързани с начина, по който потребителите възприемат стойността на нашия продукт. Трябва да разбираме нашите потребители, а не просто да четем спецификациите и изискванията! Елегантното тестване използва евристика за структуриране на това разбиране. Освен това принуждава тестването да разказва убедителни истории за действията на реални хора.

Може би трябваше да отбележа от самото начало, че нямах цел да се превърна в върховната истина по отношение на отговора на въпроса какво тестване ще бъде ефективно, ефикасно и грациозно. Просто исках да предам позицията си: вярвам, че тестови екипи, които разбират разликата между тези концепции, са способни да

В. В. Одинцова

Използвайки множество психодиагностични техники, ние рядко се замисляме за качеството на тези работни инструменти. И напразно. В крайна сметка всеки практикуващ психолог знае, че нито едно психологическо изследване не е възможно без добри диагностични инструменти.

В същото време популярните колекции от психологически тестове, широко публикувани напоследък, за съжаление, не могат да отговорят на изискванията на истински професионалист, който трябва да е уверен в диагностичните възможности на инструмента, който използва в работата си. Така, проблемът с намирането на добре развита и надеждна диагностична техника остава актуален.

Основната задача на Human Technologies HR Laboratory е да разработва качествени продукти. Едно от условията за създаване на такива продукти е периодичните проверки на тестовите методи за съответствието им с редица психометрични изисквания (валидност, надеждност, представителност, надеждност). За целта, след като бъде зададен достатъчен брой протоколи, се извършва статистически анализ на методите за изпитване.

Помислете за психометричен анализ (общата извадка от 660 души).

Този тест, разработен през 90-те години, е предназначен за експресна диагностика на степента на тежест на пет така наречени „големи“ фактора на темперамент и характер и се използва за изследване на личността на възрастните с цел професионален подбор, професионални съвети, определяне на насоките на психологическа помощ, набиране на групи, самопознание и др.

В основата на универсалността на „Големите пет фактора“ е тяхната междуситуативност: факторите на глобалната функционално-деятелна оценка на човек са приложими за почти всяка ситуация на социално поведение и предметна дейност, в която трайни различия между хора се намират.

Въпросникът включва 75 елемента с по три варианта на отговор.

ВЕЗНИтестовете представляват точно възпроизвеждане на факторите на Големите пет в тяхната международна версия (с изключение на петия фактор, който в редица западни версии на B5 е обозначен като "отвореност към нов опит - ограничена практичност"):

• екстраверсия - интроверсия
• съгласие - независимост
• организация - импулсивност
• емоционална стабилност - тревожност
• обучаемост - инертност

1. Проверка на валидността

При проверка на съществуващите скали по традиционния начин – чрез изчисляване на корелациите между отговорите на въпросите и общия резултат по скалата – установихме, че почти всички позиции са значително корелирани със „своите“ скали със среден коефициент на корелация 0,35.

При проверка смислено валидността на теста, формулировката на тестовите елементи беше анализирана, отразявайки смислено съответната предметна област (област на поведение) и имаща значителна (положителна или отрицателна) връзка с общия резултат:

Мащаб	Примерни тестови елементи	Коефициент на корелация
ЕКСТРАВЕРСИЯ	За мен е важно да изразя мнението си пред другите	(0,31)
	Обичам да участвам във всякакви състезания, състезания и т.н.	(0,41)
	Обичам да посещавам и да се срещам с нови хора.	(0,5)
СПОРАЗУМЕНИЕ	На повечето хора не може да се вярва	(-0,23)
	Моите интереси са преди всичко за мен	(-0,22)
	„Който помага на хората, губи времето си, човек не може да стане известен с добри дела.	(-0,3)
	"Всеки - за себе си" - това е принципът, който няма да ви подведе	(-0,4)
САМОКОНТРОЛ	Когато си лягам, вече знам със сигурност какво ще правя утре.	(0,37)
	Като вземам книга, винаги я поставям на мястото й	(0,35)
	Преди отговорните въпроси винаги съставям план за тяхното изпълнение.	(0,37)
СТАБИЛНОСТ	Изчервявам се лесно	(-0,28)
	Ако уловя (а) появата на нежелана ситуация на работното място, това винаги ме предизвиква болезнено съмнение, докато ситуацията не се изясни	(-0,3)
	В края на деня обикновено се уморявам толкова, че всяко малко нещо започва да откача.	(-0,32)
	Лесно е да си разваля настроението	(-0,42)

Анализът на горните формулировки показва доста висока съществена валидност на теста.

2. Проверка на надеждността

Надеждността на теста като средство за измерване се определя от ниската вероятност за грешки при измерването на резултатите от теста и от степента, до която резултатите от измерването се възпроизвеждат, когато тестът се използва многократно по отношение на дадена група субекти. За да се оцени приносът на различните източници към грешката в измерването, е необходимо да се използват различни методи за оценка на надеждността. От особен интерес е оценката на вътрешната последователност на теста; тя определя частта от грешката, която е свързана с избора на елементи.

Вътрешната последователност на теста беше оценена чрез изчисляване на алфа коефициента на Кронбах. Този коефициент е оценка на надеждността въз основа на хомогенността на скалата или сумата от корелациите между отговорите на субектите на въпросите в рамките на една и съща тестова форма.

В нашия случай алфа коефициентът на надеждност на Кронбах, изчислен за всяка скала, показва като цяло доста прилично ниво на вътрешна последователност, традиционно за личните експресни въпросници, в които подскалите съдържат ограничен брой елементи (по-малко от 20):

Припомнете си, че строгите психометрични изисквания за ефективно работещ личностен тест съответстват на стойността на алфа коефициентите над 0,8.

В нашия случай относително ниското ниво на стойността на коефициентите за надеждност на Кронбах може да се обясни със значимия обем на тези скали: всяка скала има 15 разнообразни въпроса, което ни позволява да разширим обхвата на изследваните фактори, като пожертваме в същото време време високо ниво на вътрешна последователност.

Това се отрази особено остро на скалите на факторите "СЪГЛАСИЯ" и "ОБУЧЕНИЕ", според които алфа коефициентът се оказа под 0,6.

3. Проверка на представителност

При прехода от извадката на стандартизация (фиг. 1 - 300 души) към извадката от популацията (фиг. 2 - 660 души) се появява стабилността на конфигурацията на разпределението на тест точките, което показва представителността на метод на тестване:

Фиг. 1.Извадка от стандартизация (300 души)

Фиг. 2.Извадка от населението (660 души)

В допълнение към визуалното сходство на тези разпределения, тестът хи-квадрат на Пиърсън, който използвахме, показа следната степен на сходство на разпределенията:

Тези стойности на хи-квадрат попадат в интервала на несигурност: когато е невъзможно еднозначно да се приеме или недвусмислено да се отхвърли хипотезата за последователността на разпределенията.

Този резултат може да се дължи на основното свойство на експресния тест, а именно малкия брой въпроси, работещи по всяка скала. Като се има предвид този факт, резултатите от теста за представителност могат да се считат за задоволителни.

4. Проверка на достоверността

Тъй като субектите, които бяха тествани на сайта, бяха в ситуацията на клиента (те се интересуваха от надеждни резултати), получените резултати с голяма вероятност могат да се считат за надеждни.

Въпреки това, в ситуация на експертиза (когато трета страна се интересува от резултатите от теста), данните могат да бъдат изкривени от намесата на съзнателни фалшификации (лъжи, неискреност на субекта) или несъзнателни мотивационни фактори. За да се избегне това, към версията, предназначена за такива случаи (B5splus) беше добавена скала на лъжата (в момента тази версия се тества на нашия уебсайт).

Получените резултати са доказателство за високото качество и ефективност на методиката, което е важно, тъй като професионалното ниво на специалиста често се определя от инструмента, който използва.

Въпреки това, трябва да се помни, че дори мощен модерен инструмент не гарантира пълна липса на грешки. За да ги избегнете, не е достатъчно да имате компютър и тестова програма за него. Изисква се и опитен психолог, който да наблюдава теста. Така че наличието на тестове, които са претърпели сериозна психометрична адаптация, изобщо не отрича професионализма и опита на психолог, който е призван да провери правдоподобността на резултатите от теста, използвайки паралелни източници на информация (включително собствено наблюдение, разговор и т.н. ).

Отказът от тестване често е свързан с критично отношение към него от страна на рекламните (особено креативни) работници, както и спестяване на пари и време. Тестването може да забави стартирането на рекламна кампания, а оттам и на самия продукт. В същото време е очевидно, че при големи бюджети тестването помага да се избегнат грешки за милиони долари. Може да бъде полезен и за малки рекламодатели, на които е лесно да намерят прости и евтини тестове. Както казват рекламните класици, „тестването може да бъде ограничено или дори неуспешно, но все пак ще даде нещо, от което да се надгражда, от какво може да се ръководи“.

Изследователите преброяват няколко хиляди вида тестове. Има не по-малко мнения относно полезността и коректността на провеждането на определени тестове.

Един от основните въпроси на оценъчното изследване Понижаване: "Какво точно да тествам?" Същите рекламни класици твърдят, че „ефектът от рекламата (с изключение на рекламата по пощата) е до голяма степен неизмерим... Рекламодателите, разбира се, искат да могат да отчитат, но рекламата често трябва да се измерва в по-скромни и по-нематериални начини, отколкото биха искали. Страхувам се, че ще трябва да се примирим с факта, че по-голямата част от рекламата ще може да се изплати напълно само след дълъг период от време, а степента на възвръщаемост е невъзможно да се провери със сигурност.

Наистина е много трудно да се идентифицира решаващият фактор във връзката между самото рекламно съобщение и неговото въздействие (или липса на това въздействие) върху отделен човек. Например, в едно проучване група от продуктови и рекламни мениджъри, ръководители на работни групи в рекламни агенции, творчески специалисти, рекламни професионалисти и професионалисти в научните изследвания бяха „помолени да изберат най-добрите реклами измежду вече съществуващите. щателно тествани на пазара. Резултат? Докато експертите като цяло успяха да определят кои реклами трябваше да привлекат най-много читатели, те не можаха да определят кои реклами помогнаха за продажбата на най-много продукти. Както беше посочено по-рано, освен рекламата, има твърде много различни фактори, влияещи върху продажбите. А според най-авторитетните експерти „няма методи за бърз и неусложнен контрол на множество фактори, влияещи върху продажбите“.

Според C. Sandage, V. Freiburger и K. Rotzoll, „реакцията се влияе от много различни „причини” и всяка променлива на стимула генерира много „ефекти”. Едно и също съобщение може например да дразни, информира, забавлява, засилва увереността, предизвиква действие, може да бъде напълно игнорирано в момента на контакт, а по-късно може да бъде бързо забравено или частично запомнено, може също да предизвика промяна в отношението или осъзнаване. Ето защо е съвсем ясно, че при вземането на решение кои параметри на реакцията да се използва, изследователят до голяма степен трябва да се ръководи от здравия разум."

Предвид гореизложеното изглежда ясно, че рекламата трябва да се види (преди да може да се отговори). След контакт с рекламата, човек трябва да знае и търговската марка или името на фирмата, да разбере свойствата, предимствата и предимствата на продукта. Човек може да развие рационално или емоционално разположение да закупи определен продукт. Към това може да се добави и мнението на ръководството на един от най-големите рекламодатели в света General Motors: „Ефективността ще се измерва преди всичко чрез точността, способността за използване на емоциите и убедителността на рекламата“.

Могат да бъдат тествани специфични човешки реакции. В този случай трябва да бъдат оценени или единични параметри, или минимален набор, тъй като опитите за анализ на твърде много активни рекламни параметри наведнъж могат да объркат резултатите. Въпреки това, колкото повече параметри се тестват като цяло, толкова по-точен ще бъде крайният резултат. „С внимателен анализ само на един или два периферни аспекта на ефективността на рекламата, резултатите от тестовете му може да изглеждат твърде стерилни и нереалистични за тези, които ще трябва да ги използват в процеса на вземане на решения. Ако той безкритично изравни степента на запомняемост и въздействието или промяната в отношението и маркетинга, му остава възможността да разчита на вяра, която не дава никакви гаранции."

Така че, за да се провери ефективността на завършена или почти завършена реклама, се провеждат различни оценъчни проучвания или тестове. Те ви позволяват да спестите пари, като коригирате рекламата си, преди да бъдат финансирани средствата за разпространение. По този начин тестването помага да се избегнат грешки за милиони долари. Също така, оценъчните проучвания могат да бъдат полезни след поставяне на реклама, например при оценка на процесите на влиянието на рекламата върху текущите продажби.

Въпреки това, от гледна точка на практикуващите, не всички изследвания и не винаги имат стойност. Понякога те могат не само да помогнат, но и да навредят на работата. Интуицията на практикуващите може да бъде по-точен инструмент от научното изследване. Тестовете и техните резултати не са сами по себе си решения; те предоставят на практикуващите само информация, която, когато се използва във връзка с емпиричния опит на рекламодателя, им позволява да вземат информирани решения.

Тази глава обхваща различните видове тестове, използвани в рекламата, различни методи за изпитване, критерии за тестване и тестови стъпки. Разгледани бяха и особеностите на рекламното тестване в различни медии, за които често се използват различни подходи.

Особено внимание беше обърнато на предварителните t стайлинг (предварително тестване), тъй като увеличава вероятността да се изготвят най-ефективните текстове, преди парите да бъдат изразходвани за реклама.

Друг вид тестване - след тестване (или окончателно тестване), от своя страна няма основния недостатък, присъщ на предварителното тестване - известна доза изкуственост. При окончателното тестване поведението на хората не е изкривено, то е естествено, реалистично. При крайния тест се вземат предвид редица фактори, които също влияят сериозно на резултатите. На първо място, това са спецификата на средствата за разпространение на реклама, времето на поставяне на рекламата, честотата на представянето й пред потребителите и др.

Ако цялото рекламно послание, като правило, се тества за способност да стимулира продажбите, за убедителност, разпознаваемост и запомняемост на продукт или марка, тогава рекламният текст обикновено се тества само за убедителност. При подобни тестове се обръща внимание преди всичко на разбирането на заглавието, слогана, кодовете, ключовите думи.

Днес получаваме нови инструменти за тестване. Например, заглавия, ключови думи могат да бъдат успешно тествани с помощта на система за контекстна реклама.

Всеки метод на оценка има специфична комбинация от предимства и недостатъци, както и различни разходи. Важно и много просто и най-важното евтино средство за проверка на ефективността на рекламните текстове са чеклистите (контролни списъци с въпроси).

Видео версия на лекцията " Тестване на ефективността на съвременната реклама"

(подготвя се за публикуване)

По-подробна информация по тази тема можете да намерите в книгата на А. Назайкин