Testa och utvärdera programmets effektivitet. Effektiv, effektiv, elegant testning. Vit låda testning

Programvarutestning är en utvärdering av programvaran/produkten som utvecklas för att kontrollera dess kapacitet, kapacitet och överensstämmelse med de förväntade resultaten. Det finns olika typer av metoder som används inom området testning och kvalitetssäkring och kommer att diskuteras i denna artikel.

Programvarutestning är en integrerad del av mjukvaruutvecklingscykeln.

Vad är mjukvarutestning?

Programvarutestning är inget annat än att testa en bit kod till kontrollerade och okontrollerade driftsförhållanden, observera utdata och sedan undersöka om den uppfyller fördefinierade villkor.

Olika uppsättningar av testfall och teststrategier syftar till att uppnå ett gemensamt mål - att eliminera buggar och fel i koden, och säkerställa korrekt och optimal mjukvaruprestanda.

Testmetodik

De vanligaste testmetoderna är enhetstestning, integrationstestning, acceptanstestning och systemtestning. Programvaran utsätts för dessa tester i en specifik ordning.

3) Systemtestning

4) Acceptanstest

Det första steget är ett enhetstest. Som namnet antyder är detta en testmetod på objektnivå. Enskilda programvarukomponenter testas för fel. Detta test kräver exakt kunskap om programmet och varje installerad modul. Således görs denna verifiering av programmerare, inte testare. För att göra detta skapas testkoder som kontrollerar om programvaran beter sig som avsett.

Individuella moduler som redan är enhetstestade integreras med varandra och kontrolleras för fel. Denna typ av testning identifierar främst gränssnittsfel. Integrationstestning kan göras med ett uppifrån-och-ned-tillvägagångssätt, efter systemets arkitektoniska design. Ett annat tillvägagångssätt är bottom-up-metoden, som görs från botten av kontrollflödet.

Systemtestning

I denna testning kontrolleras hela systemet för fel och buggar. Detta test utförs genom att gränssnittet kopplas samman med hårdvaru- och mjukvarukomponenterna i hela systemet, och sedan testas det. Denna testning listas under testmetoden "svarta lådan", där de förväntade driftsförhållandena för användaren av programvaran kontrolleras.

Acceptanstest

Detta är det sista testet som utförs innan programvaran överlämnas till klienten. Det utförs för att säkerställa att den mjukvara som har utvecklats uppfyller alla kundkrav. Det finns två typer av acceptanstestning - en som utförs av medlemmar i utvecklingsteamet kallas intern acceptanstestning (Alpha-testning), och den andra som utförs av kunden kallas extern acceptanstestning.

När testning görs med hjälp av presumtiva kunder kallas det för kundacceptanstestning. När testning utförs av slutanvändaren av programvaran kallas det acceptanstestning (beta-testning).

Det finns flera grundläggande testmetoder som ingår i mjukvarutestregimen. Dessa tester anses vanligtvis vara självförsörjande för att hitta fel och buggar i hela systemet.

Black box testning

Black box-testning görs utan någon kunskap om systemets interna funktion. Testaren kommer att stimulera programvaran för användarmiljön genom att tillhandahålla olika indata och testa de genererade utgångarna. Detta test är också känt som black-box, closed-box-testning eller funktionstestning.

Testning av vit box

White box-testning, till skillnad från black box-testning, tar hänsyn till kodens interna funktion och logik. För att utföra detta test måste testaren ha kodkunskap för att veta exakt den del av koden som har fel. Detta test är också känt som White-box, Open-Box eller Glass box-testning.

Grå box testning

Gray box-testning, eller Gray box-testning, är en korsning mellan White Box- och Black Box-testning, där testaren endast har den allmänna kunskapen om produkten som behövs för att genomföra testet. Denna verifiering görs genom dokumentation och informationsflödesdiagram. Testning utförs av slutanvändaren, eller användare som verkar vara slutanvändare.

Icke-funktionella tester

Applikationssäkerhet är en av utvecklarens huvuduppgifter. Säkerhetstestning kontrollerar programvara för konfidentialitet, integritet, autentisering, tillgänglighet och icke-avvisande. Individuella tester utförs för att förhindra obehörig åtkomst till programkoden.

Stresstestning är en teknik där programvara utsätts för förhållanden som ligger utanför programvarans normala driftsförhållanden. Efter att ha nått den kritiska punkten registreras resultaten. Detta test bestämmer stabiliteten för hela systemet.

Mjukvaran är testad för kompatibilitet med externa gränssnitt som operativsystem, hårdvaruplattformar, webbläsare etc. Kompatibilitetstestet kontrollerar om produkten är kompatibel med någon mjukvaruplattform.

Som namnet antyder testar denna testteknik mängden kod eller resurser som används av ett program för att utföra en enda operation.

Detta test testar aspekten av användarvänlighet och användbarhet av programvaran. Den lätthet med vilken en användare kan komma åt en enhet utgör huvudpoängen i testningen. Användbarhetstestning täcker fem aspekter av testning - inlärbarhet, prestanda, tillfredsställelse, minnesbarhet och fel.

Tester i mjukvaruutvecklingsprocessen

Vattenfallsmodellen använder en uppifrån-och-ned-strategi, oavsett om den används för mjukvaruutveckling eller testning.

Huvudstegen som är involverade i denna mjukvarutestmetod är:

• Behöver analys
• Designtest
• Implementeringstest
• Testa, felsöka och verifiera kod eller produkt
• Implementering och underhåll

I den här tekniken går du bara till nästa steg efter att du har slutfört det föregående. Modellen använder ett icke-iterativt tillvägagångssätt. Den största fördelen med denna metod är dess förenklade, systematiska och ortodoxa tillvägagångssätt. Det har dock många nackdelar, eftersom buggar och buggar i koden inte kommer att upptäckas förrän i testfasen. Detta kan ofta resultera i slöseri med tid, pengar och andra värdefulla resurser.

Agil modell

Denna metodik bygger på en selektiv kombination av ett sekventiellt och iterativt tillvägagångssätt, förutom en ganska stor variation av nya utvecklingsmetoder. Snabb och progressiv utveckling är en av nyckelprinciperna för denna metod. Tonvikten ligger på att få snabba, praktiska och synliga resultat. Kontinuerlig kundinteraktion och delaktighet är en integrerad del av hela utvecklingsprocessen.

Rapid Application Development (RAD). Metodik för snabb applikationsutveckling

Namnet talar för sig självt. I det här fallet tar metoden ett snabbt evolutionärt tillvägagångssätt, med hjälp av principen om komponentkonstruktion. Efter att ha förstått de olika kraven för ett givet projekt, förbereds en snabb prototyp och jämförs sedan med den förväntade uppsättningen av produktionsvillkor och standarder. Nödvändiga ändringar och modifieringar görs efter en gemensam diskussion med kunden eller utvecklingsteamet (i samband med mjukvarutestning).

Även om detta tillvägagångssätt har sin beskärda del av fördelar, kanske det inte är lämpligt om projektet är stort, komplext eller mycket dynamiskt till sin natur, där kraven ständigt förändras.

spiralmodell

Som namnet antyder är spiralmodellen baserad på ett tillvägagångssätt där det finns ett antal cykler (eller spiraler) från alla på varandra följande steg i vattenfallsmodellen. Efter att den inledande cykeln är avslutad, utförs en grundlig analys och granskning av den uppnådda produkten eller produktionen. Om utgången inte uppfyller specificerade krav eller förväntade standarder, utförs en andra cykel, och så vidare.

Rational Unified Process (RUP). Rationell enhetlig process

RUP-metoden liknar också spiralmodellen, i den meningen att hela testproceduren är uppdelad i flera cykler. Varje cykel består av fyra stadier - skapande, utveckling, konstruktion och övergång. I slutet av varje cykel granskas produkten/utbytet och ytterligare en cykel (som består av samma fyra faser) följer efter behov.

Användningen av informationsteknik växer för varje dag, och vikten av korrekt mjukvarutestning har vuxit avsevärt. Många företag har en personal med speciella team för detta, vars kapacitet är på utvecklarnivå.

Ekonomi

Testa effektiviteten av det interna kontrollsystemet

Rakhmankulov I.Sh.

Doktor i nationalekonomi, professor vid institutionen för organisation av produktion, Kazan State Financial and Economic Institute

Dokumentet visar behovet av att testa effektiviteten hos det interna kontrollsystemet för att utarbeta finansiella rapporter, visar förfarandet för dess genomförande. Författaren ger en bedömning av elementen i automatiserad och manuell styrning.

För att visa effektiviteten av den interna kontrollen över upprättandet av finansiella rapporter måste ledningen fastställa hur effektivt företagets kontroller fungerar. I enlighet med kraven i Sarbanes-Oxley Act (SOX) måste testning täcka var och en av de fem delarna av det interna kontrollsystemet (kontrollmiljö, riskbedömning, kontrollförfaranden, information och kommunikation, övervakning) i förhållande till krav på finansiell rapportering för alla dess materialkomponenter separat för varje nyckel affärsenhet. Prestationsprövningar bör även omfatta specifika riskområden inom andra affärsenheter. Testning kan delas in i fyra huvudsteg:

1. Fastställande av kontroller som ska testas.

2. Fastställande av anställda som ska utföra testning.

3. Utveckling och genomförande av testplaner.

4. Utvärdering av testresultat.

Vanligtvis utförs dessa steg sekventiellt, men ibland bryts ordningen för deras utförande, eftersom testresultaten kan tvinga fram ändringar av planen eller kräva omtestning av korrigerade objekt. samordna

Projektkommittén bör granska och godkänna testplanerna, som beskriver det principiella tillvägagångssättet för testförfarandet. Ledningen bör inte underskatta den tid som krävs för testning, liksom de svårigheter som kan uppstå under projektets testfas.

Vi rekommenderar att upprätta en öppen dialog med bolagets externa revisor om ledningens strategi för operativ effektivitetstestning. Den externa revisorn bör också utvärdera de detaljerade testplanerna. Ledningens bedömning av effektiviteten i den interna kontrollen vid upprättandet av finansiella rapporter resulterar i en rimlig säkerhet. Begreppet tillräcklig säkerhet är grundläggande både vid bedömningen av den interna kontrollen över upprättandet av finansiella rapporter och för syftet med revisionsberättelsen. Rimlig säkerhet innebär följande: sannolikheten att väsentliga felaktigheter inte kommer att förhindras eller upptäckas i tid är obetydlig. Även om tillräcklig säkerhet inte är absolut, är det en hög grad av säkerhet. För att uppnå en hög grad av säkerhet måste ledningen erhålla tillräckliga bevis för korrekt utformning och operativ effektivitet av de kontroller som täcker finansiella krav.

'Bulletin of Economics, Law and Sociology', nr 1, 2007

Ekonomi

rapportering om alla väsentliga komponenter i de finansiella rapporterna i varje nyckel affärsenhet. Medan revisionsbekräftelse av operativ effektivitet vanligtvis baseras på traditionella tester (dvs. urval och testning av kontroller), har ledningen större utrymme för skönsmässig bedömning av hur de nödvändiga bevisen ska erhållas.

Till exempel kan ledningen få bevis på korrekt utformning och funktionseffektivitet av kontroller genom en självutvärderingsprocess, interna revisioner eller löpande övervakning. Det betyder inte att ledningen kan undvika att testa nyckelkontroller. Snarare innebär det att ledningen kan använda alternativa beviskällor (om sådana finns) i kombination med detaljerade tester av provet för att få en högre grad av säkerhet. Som sådan får ledningen inte testa varje kontroll i detalj på det sätt som revisorn gör. Vid utarbetandet av sin testplan bör ledningen avgöra om den har källor till andra bevis än de som skulle erhållas genom detaljerad testning av provet. I de fall ledningen bedömer att sådana bevis finns kan den besluta att minska det urval från revisorns urval som revisorn anser vara nödvändigt för att ge en hög grad av säkerhet.

I samband med utförandet av andra tester (t.ex. självutvärdering, etc.), bör ledningen använda urvalsstorlekar så att det totala antalet testade föremål för att bedöma effektiviteten hos nyckelkontroller inte är mindre än det som visas i tabellen. Såvida inte ledningen har andra beviskällor, bör den urvalsstorlek som används av ledningen för testning vara större än den minimistorlek som visas i tabellen. I de fall ett eller flera finansiella rapporteringskrav avseende en befintlig

De viktigaste komponenterna i den finansiella rapporteringen omfattar endast en kontroll, när kontrollmekanismen anses viktigare, eller när en högre grad av säkerhet krävs, bör även urvalsstorleken utökas. Löpande tester minskar risken för att väsentliga eller väsentliga brister i den interna kontrollen identifieras för sent och inte kan åtgärdas före årets slut.

Ledningen måste visa att kontrollerna som täcker alla fem komponenterna i COSO-modellen fungerar effektivt med avseende på alla finansiella rapporteringskomponenter, affärsprocesser och affärsenheter. Typen av tester som utförs av kontrollrutiner är i allmänhet enklare än karaktären av tester som utförs av andra komponenter i intern kontroll. Att utvärdera effektiviteten av kontroller relaterade till COSO-komponenter såsom kontrollmiljön, riskbedömning, information och kommunikation och övervakning kräver vanligtvis mer beroende av bedömningar och kvalitativ analys än att utvärdera kontrollprocedurer.

Beslut som fattas under omfattnings- och dokumentationsfasen avgör valet av affärsenheter och de tester som utförs (visas i tabell 1). För affärsenheter i den första kategorin kommer testning att omfatta kontroller på transaktionsnivå för väsentliga komponenter och processer för finansiell rapportering, såväl som kontroller på företagsnivå. För affärsenheter i den tredje kategorin krävs ingen specifik testning av kontroller. För affärsenheter i den andra kategorin bör ledningen dokumentera och testa effektiviteten av kontroller på företagsnivå. Till exempel, för att avgöra om ett företags redovisningsprinciper följs, bör ledningen testa på utvalda affärsenheter i kategori 2 för att avgöra om personalens åtgärder är förenliga med de godkända redovisningsprinciperna. Ledningen kan också erhålla bevis på drift

'Bulletin of Economics, Law and Sociology', nr 1, 2007

Ekonomi

effektiviteten hos de kontrollrutiner som implementeras i dessa affärsenheter genom till exempel självutvärdering, internrevision och övervakning.

Tabell 2 ger förslag för att välja de minimikrav som krävs för kategori 2 affärsenheter där företagskontroller ska testas.

Om det inte går att lita på kontroller på företagsnivå för affärsenheter i den andra kategorin, bör detaljerade tester av kontroller som omfattar väsentliga delar av de finansiella rapporterna utföras.

I enlighet med internkontrollstandarden kan ledningen utvärdera kontrollernas operativa effektivitet baserat på rutiner såsom testning av kontroller av internrevisionsfunktionen, testning av andra på ledning av ledningen, använda rapporter från tredje part, undersöka bevis för genomförandet kontroller, eller testa dem genom självutvärdering. Vissa av dessa typer av utvärderingar kan genomföras som en del av den löpande förvaltningsuppföljningen. I alla fall är ledningen ansvarig för (1) kompetensen och objektiviteten hos den personal som utför utvärderingen av kontroller; (2) att, som ett resultat av testning, inhämta bevis som är tillräckliga för att motivera en bedömning av det interna kontrollsystemets effektivitet. Ledningen kan kräva en oberoende granskning för att få en rimlig nivå av förtroende för resultaten av självutvärderingsprocessen. Standarden anger att där bevis för kontrollernas operativa effektivitet tillhandahålls av den person som utför den kontrollen, kan den inte användas av den externa revisorn för att minska omfattningen av testning eftersom den person som testar kontrollen inte skulle vara objektiv nog.

För att testresultat ska granskas och godkännas av de olika intressenterna bör testplanen innehålla beskrivningar av testerna och deras resultat. Testplaner bör täcka alla kontroller som valts ut för testning och innehålla följande nyckelelement:

Nyckelkontroller som ska testas - Som regel presenterar ledningen en sammanfattning av de kontroller som ska testas på nivån för finansiell rapportering.

Testmetoder - Det finns fyra metoder för att utföra testning: bekräftelse, observation, revidering av dokument eller återutförande.

Testprovtagning - planerna bör specificera antalet kontrollförfarandebevis som ska testas, samt metoderna och skälen för att välja dem.

Tidsfrister för utförande av förfaranden - planerna bör ange tidpunkten för testningen och det tidsintervall som de täcker, inklusive testning av ytterligare ett urval av dokument som planeras från tidpunkten för mellanliggande testning till slutet av året.

Beskrivning av testförfarandet - Planerna bör specificera de testförfaranden och krav på finansiell rapportering som omfattas av de kontrollförfaranden som testas.

Organisation av testproceduren - planer bör ange vem och när som ska utföra testet, vilka bevis som kommer att analyseras och var kontroll utförs.

Dokumentation - Planerna ska beskriva den dokumentation som krävs.

Undantag - planerna bör ange hur man undersöker och eliminerar fall av uteslutningar från urvalet (inkonsekvenser), såväl som fall av ytterligare tester.

Det finns 4 testmetoder: bekräftelse, observation, dokumentrevision och återutförande. Samtidig användning av två eller flera av dessa testmetoder ger en högre grad av förtroende än användningen av endast en av dem. Ju högre väsentlighet en komponent av finansiell information eller en affärsprocess har, och ju högre risk, desto viktigare är det att tillhandahålla bevis genom flera testmetoder.

'Bulletin of Economics, Law and Sociology', nr 1, 2007

Ekonomi

Arbetsförslagens omfattning

bord 1

Kategori Minsta balanstäckning Affärsenheter Planerade rutiner

1 60 - 70 % nyckelaffärsenheter och finansiella rapporteringskomponenter med specifika risker Detaljerad bedömning och testning av kontroller av väsentliga (eller specifika risker) konton och upplysningar vid relevanta anläggningar, och testning av kontroller på företagsnivå.

2 25 - 35 % Nyckelaffärsenheter Bedöm och testa kontroller på företagsnivå, om möjligt, och överväg att skaffa andra bevis, eller utföra några tester, på affärsenhetskontroller om det inte finns några kontroller på företagsnivå.

3 < 5% Объекты, не являющиеся ключевыми ни по отдельности, ни в совокупности Тестирование не требуется.

Tabell 2

Val av affärsenhetsförslag

Antal affärsenheter Antal affärsenheter som bör testas för kontroller på företagsnivå

Mindre än 20 2 - 4

100 eller mer 10 - 20 eller mer

nyja. Kontrollens karaktär påverkar också valet av testmetod.

Bekräftelse av information om kontrollernas operativa effektivitet är inte i sig bevis på kontrollernas effektivitet.

Övervakningskontroller ger en högre grad av förtroende och kan vara en acceptabel metod för att utvärdera automatiserade kontroller.

Dokumentrevision används ofta för att avgöra om manuella kontroller följs.

Upprepad utförande av kontrollproceduren ger den största graden av säkerhet. De flesta manuella kontroller testas med en kombination av testmetoder: validering, observation, dokumentrevision och omkörning.

I vilken utsträckning en viss kontrollprocedur testas kommer att bero på ett antal faktorer, såsom om kontrollen är automatiserad eller manuell. Provstorleken för att testa automatiserade kontroller kan vara så liten som en eller flera artiklar, förutsatt att

'Bulletin of Economics, Law and Sociology', nr 1, 2007

Ekonomi

att de allmänna datorkontroller som tillämpas i IT-systemet har prövats och befunnits vara effektiva.

En av de vanligaste automatiserade kontrollerna är datainmatnings- och redigeringskontrollen. Baserat på de tillåtna kombinationerna av tjänster och priser som tillhandahålls i databasen, tillåter inte kontroll av resultatet av redigeringen att den anställde som anger beställningen anger fel pris för tjänsten. Den operativa effektiviteten för varje del av automatiserad kontroll bör testas. I detta exempel är det nödvändigt att ange flera olika felaktiga kombinationer av pris och typ av tjänst för att påvisa kontrollens operativa effektivitet. Ibland tillåter ledningens utökade åtkomsträttigheter den att redigera den inmatade informationen och därigenom kringgå automatiserade kontroller. Denna förmåga att redigera hantering bör testas för att bedöma en potentiell svaghet i intern kontroll.

Vid testning av automatiserade kontroller bör ledningen (1) verifiera effektiviteten av de övergripande datorkontrollerna och (2) genomföra en detaljerad granskning av kontrollerna i företaget (t.ex. granskningar före och efter implementering). I det föregående exemplet behövde ledningen få medarbetarna att förstå att kontrollerna för datainmatning och redigering måste vara effektiva under alla omständigheter. Om ledningen aldrig har utfört detaljerade tester av kontroller i företagets mjukvara, vare sig före eller efter implementering, eller om kontrollerna för att göra ändringar i programmen är svaga, bör ledningen testa de automatiserade kontrollerna mot deras ursprungliga design.

Det finns flera sätt att utföra denna uppgift, från extrem kodanalys till end-to-end-testning för att säkerställa att alla relevanta logikkedjor täcks av kontrollen. För programvara från tredje part som inte har modifierats,

ledningen bör bekräfta att standardkonfigurationerna har konfigurerats korrekt och ge kontroll över ändringar av dem. För applikationer utvecklade av externa experter på uppdrag av företaget, eller utvecklade av interna specialister på företaget, kan mer omfattande procedurer krävas för att bekräfta effektiviteten i utformningen av kontroller.

Huvudslutsatser:

1. Kvalitetssäkring. Om ledningen anser att testning kräver större objektivitet kan testning tilldelas en oberoende person eller avdelning. Den mest lämpliga och objektiva kandidaten för denna uppgift är internrevisionsenheten, som både kan godkänna testplaner och utvärdera testresultat.

2. Struktur av planer för testning. I de flesta fall kan flera kontroller testas baserat på ett enda urval av aktiviteter som återspeglar sekvensen i vilken affärsprocessen utförs, vilket gör att testaren bättre kan förstå hur de olika kontrollprocedurerna interagerar med varandra. Till exempel är en metod för att testa kontroller som en del av intäktsredovisningsprocessen att identifiera ett urval av nya försäljningskontrakt. Behörighet av avtal kan prövas genom att kontrollera om nödvändiga signaturer finns under avtalet. Riktigheten av priser kan verifieras genom att utvärdera (a) överensstämmelsen med förfarandet för att ändra priserna med företagets godkända instruktioner, och (b) förekomsten av lämpligt godkännande av dessa priser.

3. Skillnader mellan automatiserade och manuella kontroller. I de flesta fall är det lätt att avgöra om styrningen är automatiserad eller manuell. Det kan dock ibland vara svårt att identifiera denna skillnad. Kontrollmekanismen kan förlita sig på en automatiserad process, men dess nyckelkomponent kommer att vara manuell. Ett vanligt exempel på kontroll är till exempel den systematiska jämförelsen av inkommande godsmottagningsrapporter,

'Bulletin of Economics, Law and Sociology', nr 1, 2007

Ekonomi

inköpsorder och fakturor från leverantörer. Systemet genererar automatiskt en avvikelserapport för alla icke-matchande artiklar. Sedan analyseras dessa inkonsekvenser och elimineras av leverantörsreskontraavdelningen. Denna kontrollmekanism består av två element (1) automatisk trevägsmatchning och (2) manuell analys

anställda på leverantörsreskontraavdelningen. Automatiska och manuella kontroller bör utvärderas separat med hjälp av lämpliga testriktlinjer.

Litteratur:

1. Praktisk vägledning för ledningen. Sarbanes-Oxley Act (avsnitt 404). Förlag: p yu x. 2005. - 138 sid.

Översättning: Olga Alifanova

Kvalitetssäkring skiljer mellan verifiering och validering. Verifiering svarar på frågan om vi skapar produkten korrekt, och validering svarar på frågan om vi skapar det vi behöver överhuvudtaget. Vissa människor drar en skiljelinje mellan kvalitetssäkring och testning utifrån dessa definitioner.

Ur min synvinkel kan användningen av termerna "verifiering" och "validering" leda till falska dikotomier. För mig är testning en designrelaterad aktivitet och täcker därför ett ganska brett område. Jag tror att prov kan bli ett slags "gemensamt språk". Jag tror att tester direkt kan koda specifikationer och krav. Och jag tror att tester är en källa till kunskap om ett område eller en produkt. För mycket betoning på skillnaden mellan verifiering och validering är ett ineffektivt och ineffektivt sätt att förstå hur testning kompletterar kvalitetssäkring.

Ur min synvinkel är oförmågan att uppfatta testning och kvalitetssäkring som två olika, kompletterande processer en uppfattning som helt klart saknar viss finess.

Jag håller faktiskt med om att skillnaderna mellan verifiering och validering är ganska berättigade. När allt kommer omkring är effektivitet förmågan att göra något rätt. Effektivitet, å andra sidan, är förmågan att producera rätt resultat. Effektiviteten är fokuserad på processen och syftar till att få den till slutet, och effektiviteten är på produkten (det vill säga i själva verket på resultatet av denna process). Man kan också säga att effektivitet främst fokuserar på att undvika misstag, och effektivitet fokuserar på framgång, oavsett antalet misstag som görs på vägen.

Det verkar dock för mig att det finns ett sätt att skilja mellan effektivitet och effektivitet som är mycket bättre än att förstå skillnaden mellan verifiering och validering. När allt kommer omkring kräver testning verkligen flexibilitet och innovation.

Och det är just här en märklig paradox uppstår. Du behöver en anständig nivå av disciplin och grus för att upprätthålla kontinuerlig, kontinuerlig prestation. Det är dock disciplin och motståndskraft mot förändring som gör processer oflexibla! Om du gör samma sak på samma sätt om och om igen, kommer inget innovativt någonsin att träffa dig.

Eftersom effektivitet i detta sammanhang är relaterad till verifiering innebär det att verifiering kan bli en statisk aktivitet.

Prestanda, å andra sidan, är mycket mer anpassningsbar till förändringar och kräver mer flexibilitet. För att nå bra resultat måste innovation uppmuntras, för då kommer människor att fundera över vad de gör just nu, och om det är värt att göra detta i ett visst sammanhang och under påverkan av specifika faktorer. Denna flexibilitet och anpassningsförmåga leder dock till för många val och en potentiell oförmåga att göra medvetna rutininsatser som kan replikeras utanför den aktuella situationen.

Eftersom prestation i vårt sammanhang är kopplat till validering innebär allt ovanstående att validering kan bli en alltför dynamisk aktivitet.

Det är här smart beslutsfattande kommer in i bilden, bryter denna onda cirkel och ger dig möjligheten att utvärdera din effektivitet och effektivitet, se på det med andra ögon. Elegans av lösningar svarar inte bara på frågorna, har vi gjort något bättre, eller har vi tänkt på något bättre, utan ger snarare ett svar, har vi blivit mer medvetna om vad som händer, har vi skapat underlag för framtida aktiviteter?

Finesse kan också ses som minimering av komplexitet. I utvecklingsvärlden delar människor ofta in beslutskomplexitet i obligatoriska och slumpmässiga. Därför, för att lösningar i testning ska vara eleganta, måste de endast bestå av "obligatorisk komplexitet" och praktiskt taget ingen slumpmässig komplexitet. Låter mystiskt, eller hur? Ja, det är möjligt, för det finns så många åsikter om var "komplexiteten" börjar. För mig uppstår komplexiteten i beslut i testning när det inte finns några valmöjligheter i systemet och det är hög osäkerhet.

Om du tillåter testning att vara innovativ och flexibel (dvs effektiv) samtidigt som du bibehåller en viss nivå av rigoritet och disciplin (effektivitet), bör du ha en uppsättning regler om hur valet hanteras (i betydelsen hur man ger det valet) och osäkerhet (hur man förstör det).

Jag ska inte tråka ut det här ämnet, utan bara ge exempel på vad jag pratar om. I mina exempel vill jag försöka få testteam att tänka på sina tester i termer av "effektivitet", "effektivitet" och "elegans". Jag börjar med några axiom (jag väljer inte ett ord till) och försöker göra mina exempel så korta och tydliga som möjligt. Det finns saker som hela laget måste tro på – eller åtminstone agera som om de tror på dem. Och mitt första axiom bekräftar det jag talade om ovan!

• Testning kan göras effektivt, effektivt och graciöst.
• Testning kräver aktiv, professionell, teknisk forskning.
• Syftet med testningen är en tydlig presentation av nödvändig information i tid.
• Testare är på sätt och vis författare och redaktörer. Därför är en etik av nåd och yrkesstolthet oumbärliga egenskaper för gott, motiverat arbete med rätt uppmärksamhet.

Här är några exempel för att illustrera dessa punkter. Låt oss först titta på alla dessa begrepp i relation till testet.

• Effektiv testet ska fokusera på input, process, output.
• Produktiv Testet ska vara uttrycksfullt och visa syftet med testet.
• Effektiv Testet bör fokusera på ett sammanhängande resultat av en viss åtgärd, och inte på flera samtidigt.
• Produktiv Testgrupperna relaterade observationer.
• Effektiv testet ger ett konkret exempel på önskad data.
• Produktiv testet berättar om de allmänna villkoren under vilka de testade data ska falla.
• Elegant testet beskriver systemets specifika beteende och dess funktionalitet.

Låt oss nu tillämpa dessa koncept på testsviten:

• Effektiv testsviten avgör vilka data som är giltiga och vilka som inte är det.
• Effektiv testsviten kontrollerar både giltiga och ogiltiga data.
• Produktiv testsviten grupperar datatyper i klasser.
• Elegant en testsvit kan utformas för att studera affärsmål och processer.

Låt oss slutligen tillämpa dessa definitioner på testning som en aktivitet:

• Effektiv testning använder skript som strukturerar forskningsprocessen.
• Produktiv testning tillämpar utforskande metoder som gör skripten varierande.
• graciös testning använder skriptbaserade utforskande metoder för att visa värdet av en applikation för en konsument genom att undersöka hur den används.
• Effektiv testning använder scenarier för att visa hur en produkt uppfyller sitt syfte.
• Produktiv testning använder scenarier som visar vad som måste hända för att en användare ska bli nöjd.
• graciös testning beskriver kraven och visar applikationens kapacitet.

Det är viktigt att vara medveten om allt detta, för det du gör och hur du gör det är grunden för vad och hur du kommer att göra i framtiden. Det stödjer också gruppdynamik och reflektioner kring ovanstående begrepp. Så här menar jag:

• Vissa testare föredrar att referera till testfall som "testförhållanden". Vissa är motsatsen. Vissa människor ignorerar båda termerna. Jag tror att prestationstestning grupperar testförhållanden och gör dem till variationer av testfall. Prestandatestning använder testförhållanden som specificeras av specifika parametrar för önskad data.

• Terminologin "positiv/negativ testning" har länge gått ur modet för erfarna testare. Graciösa tester koncentrerar sig på att beskriva giltiga och ogiltiga förhållanden. Detta innebär att testare måste testa effektivt och effektivt genom att identifiera alla testförhållanden som kan förändras (vilket i sin tur leder till en gruppering av giltiga och ogiltiga villkor), samt se till att de fattar välgrundade beslut genom att välja vissa datamängder och ignorera resten.

• Fina tester är mästarna i dina tester. Om du har en grupp tester som faktiskt kontrollerar liknande saker, och din tid är begränsad, kommer du bara att hinna köra några av dem. Använd i sådana fall tester som är mer benägna att avslöja ett helt lager av fel. Sådana tester kan vara extremt eleganta.
• Ett effektivt test bör varken vara för enkelt eller för komplext. Naturligtvis är det möjligt att klämma in en hel serie tester i ett fall, men de möjliga bieffekterna av detta sätt att skapa tester kan maskera en massa buggar. Därför måste resultatfall inkludera olika synpunkter (eller en annan väg till samma synvinkel) och exekveras separat.
• Vissa testtekniker är extremt effektiva för att välja specifika data och organisera dessa data i kombination eller sekvens. Men en elegant lösning kommer när testare väljer denna data baserat på interaktionen mellan olika funktioner och dataflöden, och utforskar vägarna genom användargränssnittet med en förståelse för hur en levande person kommer att använda detta system.
• Ett framgångsrikt fall bör kunna ge dig information. Du behöver tester som svarar på frågorna du ställer. Syftet med testet är inte nödvändigtvis att hitta en bugg, dess syfte är att samla in information. Ett test är inte värdefullt när det kan hitta en bugg - det borde kunna ge dig information (även om den informationen också kan vara närvaron av en bugg om något går fel med applikationen). En elegant lösning syftar alltid till att få viss information under testning.

• Effektiva tester kräver att man förstår kraven och hur de relaterar till hur användarna uppfattar värdet av vår produkt. Vi måste förstå våra användare, inte bara läsa specifikationer och krav! Graciös testning använder heuristik för att strukturera denna förståelse. Det tvingar också tester att berätta övertygande historier om verkliga människors handlingar.

Jag kanske borde ha påpekat redan från början att mitt mål inte var att presentera mig själv som den ultimata sanningen när det gäller att svara på frågan om vilken typ av testning som skulle vara effektiv, effektiv och elegant. Jag ville bara få fram min poäng: Jag tror att testteam som förstår skillnaden mellan dessa koncept kan

V. V. Odintsova

Med hjälp av många psykodiagnostiska metoder tänker vi sällan på kvaliteten på dessa arbetsverktyg. Och förgäves. När allt kommer omkring vet vilken praktiserande psykolog som helst att inte en enda psykologisk undersökning är möjlig utan bra diagnostiska verktyg.

Samtidigt kan populära samlingar av psykologiska tester som har publicerats i stor utsträckning nyligen, tyvärr, inte uppfylla kraven från en sann professionell som måste vara säker på de diagnostiska kapaciteterna hos verktyget som han använder i sitt arbete. Det är därför, problemet med att hitta en väldesignad och tillförlitlig diagnostisk teknik är fortfarande relevant.

Huvuduppgiften för Human Technologies HR-Laboratory är utvecklingen av kvalitetsprodukter. Ett av villkoren för att skapa sådana produkter är periodiska kontroller av testmetoder för att de uppfyller ett antal psykometriska krav (validitet, tillförlitlighet, representativitet, tillförlitlighet). För att göra detta, efter att ha samlat in ett tillräckligt antal protokoll, utförs en statistisk analys av testmetoder.

Överväg en psykometrisk analys (vars totala urval var 660 personer).

Detta test, utvecklat på 90-talet, är avsett för uttrycklig diagnostik av uttrycksnivån för de fem så kallade "stora" faktorerna för temperament och karaktär och används för att studera vuxnas personlighet i syfte att professionellt urval, professionell konsultation , bestämma områden för psykologisk hjälp, rekryteringsgrupper, självkännedom mm.

Grunden för universaliteten av "de fem stora faktorerna" är deras korssituation: faktorerna för den globala funktions- och aktivitetsbedömningen av en person är tillämpliga på nästan alla situationer av socialt beteende och objektiv aktivitet där stabila skillnader mellan människor finns. .

Enkäten innehåller 75 frågor med tre svarsalternativ vardera.

SKALA tester är en exakt återgivning av faktorerna för "Big Five" i deras internationella version (med undantag för den femte faktorn, som i ett antal västerländska versioner av B5 benämns "öppenhet för ny erfarenhet - begränsad praktisk funktion") :

• extraversion - introversion
• samtycke - oberoende
• organisation - impulsivitet
• emotionell stabilitet - ångest
• lärbarhet - tröghet

1. Giltighetskontroll

Vid kontroll av de befintliga skalorna på traditionellt sätt - genom att beräkna korrelationerna mellan svaren på frågorna och totalpoängen på skalan - fann vi att nästan alla poster korrelerar signifikant med "sina" skalor med en genomsnittlig korrelationskoefficient på 0,35.

Vid kontroll meningsfull testets giltighet analyserade vi formuleringen av testobjekten som på ett meningsfullt sätt återspeglar det relevanta ämnesområdet (beteendeområdet) och har en signifikant (positiv eller negativ) korrelation med totalpoängen:

Skala	Exempel på testobjekt	Korrelationskoefficient
EXTRAVERSION	Det är viktigt för mig att uttrycka min åsikt till andra	(0,31)
	Jag gillar att delta i alla typer av tävlingar, tävlingar osv.	(0,41)
	Jag gillar att besöka och träffa nya människor	(0,5)
AVTAL	De flesta människor går inte att lita på	(-0,23)
	Mina intressen är framför allt för mig	(-0,22)
	"Den som hjälper människor slösar bort tid förgäves, man kan inte bli känd för goda gärningar"	(-0,3)
	"Alla är för sig själv" - detta är principen som inte kommer att misslyckas	(-0,4)
SJÄLVKONTROLL	När jag går och lägger mig vet jag redan säkert vad jag ska göra imorgon.	(0,37)
	När jag tar upp en bok lägger jag alltid tillbaka den på sin plats.	(0,35)
	Inför ansvarsfulla ärenden gör jag alltid upp en plan för deras genomförande.	(0,37)
STABILITET	Jag rodnar lätt	(-0,28)
	Om jag upptäcker förekomsten av en oönskad situation på jobbet, orsakar detta alltid mig smärtsamt tvivel tills situationen är klar	(-0,3)
	I slutet av dagen brukar jag bli så trött att varje liten sak börjar göra mig förbannad.	(-0,32)
	Det är lätt att förstöra mitt humör	(-0,42)

Analys av ovanstående formuleringar indikerar en ganska hög innehållsvaliditet hos testet.

2. Tillförlitlighetskontroll

Testets tillförlitlighet som mätmedel bestäms av den låga sannolikheten för mätfel av testresultat och i vilken utsträckning mätresultaten reproduceras när testet används upprepade gånger i förhållande till denna grupp av försökspersoner. För att bedöma olika källors bidrag till mätfelet är det nödvändigt att använda olika metoder för att bedöma tillförlitligheten. Av särskilt intresse är bedömningen av testets interna konsistens, den bestämmer den del av felet som är associerad med valet av uppgifter.

Testets interna konsistens bedömdes genom att beräkna Cronbachs alfakoefficient. Denna koefficient är ett mått på reliabilitet baserat på skalans homogenitet eller summan av korrelationerna mellan försökspersoners svar på frågor inom samma testform.

I vårt fall visade Cronbachs alfa-tillförlitlighetskoefficient, beräknad för varje skala, på det hela taget en ganska anständig nivå av intern konsistens, traditionell för personliga uttryckliga frågeformulär, där subskalor innehåller ett begränsat antal poster (mindre än 20):

Kom ihåg att de strikta psykometriska kraven för ett effektivt fungerande personlighetstest motsvarar värdet av alfakoefficienter över 0,8.

I vårt fall kan den relativt låga nivån av Cronbachs tillförlitlighetskoefficienter förklaras av den meningsfulla volymen av dessa skalor: varje skala har 15 olika frågor, vilket gör det möjligt att utöka omfattningen av de studerade faktorerna, samtidigt som man offra en hög nivå av intern konsekvens.

Detta hade en särskilt akut effekt på faktorskalorna "SAMTYCKE" och "LÄRANDE FÖRMÅGA", enligt vilka alfakoefficienten var under 0,6.

3. Kontrollera representativitet

När man går från ett standardiseringsurval (fig. 1 - 300 personer) till ett befolkningsurval (fig. 2 - 660 personer), manifesteras stabiliteten i testresultatfördelningskonfigurationen, vilket indikerar testmetodens representativitet:

Figur 1. Standardiseringsurval (300 personer)

Fig.2. Befolkningsurval (660 personer)

Förutom den visuella likheten mellan dessa fördelningar, visade det statistiska chi-kvadrat-Pearson-testet vi använde följande grad av likhet mellan distributioner:

Dessa värden på chi-kvadraten faller in i osäkerhetsintervallet: när det är omöjligt att otvetydigt acceptera eller otvetydigt förkasta hypotesen om fördelningarnas konsistens.

Detta resultat kan bero på snabbtestets huvudsakliga egenskap, nämligen ett litet antal frågor som arbetar på varje skala. Med tanke på detta faktum kan resultaten av representativitetstestet anses vara tillfredsställande.

4. Validering

Eftersom försökspersonerna som testades på platsen befann sig i klientens situation (de var intresserade av tillförlitliga resultat) kan de erhållna resultaten anses vara tillförlitliga med hög sannolikhet.

Men i en undersökningssituation (när en tredje part är intresserad av testresultaten) kan data förvrängas genom ingripande av medvetna förfalskningar (lögner, försökspersonens ouppriktighet) eller omedvetna motivationsfaktorer. För att undvika detta lades en lögnskala till versionen avsedd för sådana fall (B5splus) (denna version testas för närvarande på vår hemsida) .

De erhållna resultaten är bevis på metodikens höga kvalitet och effektivitet, vilket är viktigt, eftersom en specialists professionella nivå ofta bestäms av det verktyg han använder.

Man bör dock komma ihåg att även ett kraftfullt modernt verktyg inte garanterar fullständig frånvaro av fel. För att undvika dem räcker det inte med en dator och ett testprogram för det. Du behöver också en erfaren psykolog för att övervaka testet. Så närvaron av tester som har genomgått en allvarlig psykometrisk anpassning upphäver inte alls professionaliteten och erfarenheten hos en psykolog som uppmanas att kontrollera sannolikheten av testresultat med hjälp av parallella informationskällor (inklusive hans egen observation, konversation, etc.) .

Att vägra att testa är ofta förknippat med en kritisk inställning till det hos reklam (särskilt kreativa) arbetare, samt spara pengar och tid. Testning kan bromsa lanseringen av en reklamkampanj, och därmed själva produkten. Samtidigt är det uppenbart att med stora budgetar hjälper testning till att undvika mångmiljonfel. Det kan också vara användbart för små annonsörer, för vilka det är lätt att hitta enkla, billiga tester. Som reklamklassikerna säger, "testning kan vara begränsad eller till och med misslyckad, men det kommer fortfarande att ge något att bygga på, att vägleda."

Forskare har flera tusen typer av tester. Det finns inte färre åsikter om nyttan och riktigheten av att genomföra vissa tester.

En av huvudfrågorna för utvärderingsstudier forskning: "Vad ska man faktiskt testa?" Samma reklamklassiker hävdade att ”effekten av reklam (med undantag för avsändarannonsering) är i grunden omätbar ... Annonsörer vill förstås kunna redovisa, men reklam måste ofta mätas med metoder som är mer blygsamma och mer immateriella än vi skulle vilja. Jag är rädd att vi måste komma överens med det faktum att den mesta reklam bara kan betala sig helt över en lång tidsperiod, och återbetalningsgraden kan inte verifieras med någon säkerhet.

Det är faktiskt mycket svårt att identifiera den avgörande faktorn i förhållandet mellan själva reklambudskapet och dess inverkan (eller avsaknad av denna påverkan) på en individ. Till exempel, i en studie, ombads en grupp produktchefer, annonstjänstchefer, uppgiftshanterare för reklambyråer, annonsmaterial, mediespecialister och forskningstjänstespecialister att välja ut de bästa annonserna bland dem som redan finns på marknaden. i marknaden. Resultat? Även om experterna i allmänhet kunde avgöra vilka annonser som borde ha lockat flest läsare, kunde de inte avgöra vilka annonser som hjälpte till att sälja mest produkt." Som tidigare nämnts, förutom reklam, finns det för många andra olika faktorer som påverkar försäljningen. Och enligt de mest auktoritativa experterna "finns inte metoder för snabb och enkel kontroll av många faktorer som påverkar försäljningen."

Enligt C. Sandage, W. Freiburger och K. Rozzoll, "påverkas reaktionen av många olika "skäl", och varje variabel av stimulansen genererar många "effekter". Samma meddelande kan till exempel irritera, informera, roa, stärka förtroendet, uppmuntra till handling, kan helt ignoreras vid kontakttillfället, och senare kan det snabbt glömmas bort eller delvis komma ihåg, det kan också orsaka en attitydförändring eller medvetenhet. Därför är det helt klart att forskaren i många avseenden bör vägledas av sunt förnuft när han bestämmer vilka parametrar för svaret som ska användas.

I samband med ovanstående framstår det som självklart att kungörelsen (innan den reageras på) måste ses. Efter kontakt med reklam måste en person också känna till varumärket eller företagsnamnet, förstå produktens egenskaper, fördelar och fördelar. En person kan ha ett rationellt eller känslomässigt anlag att köpa en viss produkt. Till detta kan vi lägga åsikten från ledningen för en av världens största annonsörer, General Motors: "Effektivitet kommer i första hand att mätas av trovärdigheten, förmågan att använda känslor och övertalningsförmågan i reklam."

Testning kan utsättas för exakt vissa mänskliga reaktioner. I det här fallet bör antingen enstaka parametrar eller en minimiuppsättning utvärderas, eftersom försök att analysera för många aktiva reklamparametrar samtidigt kan förvirra resultaten. Men ju fler parametrar som testas generellt, desto mer exakt blir det slutliga resultatet. "Med en noggrann analys av bara en eller två perifera aspekter av reklameffektivitet kan resultaten av testningen verka för sterila och orealistiska för dem som kommer att behöva använda dem i beslutsprocessen. Om han okritiskt sätter likhetstecken mellan graden av minnesbarhet och genomslagskraft, eller förändring av attityd och försäljning, lämnas han med möjligheten att förlita sig på en tro som inte ger några garantier.

Så olika utvärderingsstudier eller tester utförs för att testa effektiviteten av avslutad eller nästan avslutad reklam. De sparar pengar genom att anpassa annonseringen innan media finansieras. Testning hjälper alltså till att undvika mångmiljonfel. Utvärderingsstudier kan också vara användbara efter att reklam har placerats, till exempel när man utvärderar processerna för reklampåverkan på nuvarande försäljning.

Men ur praktikernas synvinkel har inte all forskning och inte alltid ett värde. Ibland kan de inte bara hjälpa, utan också skada arbetet. Utövarnas intuition kan vara ett mer korrekt verktyg än vetenskaplig forskning. Tester och deras resultat är inte själva beslut, de ger bara utövare information som, i kombination med reklamarbetarens empiriska erfarenhet, gör det möjligt för dem att fatta välgrundade beslut.

Det här kapitlet har täckt de olika typerna av tester som används i reklam, olika testmetoder, testkriterier och teststeg. Funktionerna med att testa reklam i olika medier övervägdes också, för vilka olika tillvägagångssätt ofta används.

Särskild uppmärksamhet ägnades åt det preliminära förtestning, eftersom det ökar sannolikheten att förbereda de mest effektiva texterna innan pengarna spenderas på reklam.

En annan typ av testning - eftertestning (eller slutlig testning), å sin sida, har inte den huvudsakliga nackdelen som är inneboende i förtestning - en viss artificiellhet. Under den slutliga testningen är människors beteende inte förvrängt, det är naturligt, realistiskt. Vid den slutliga testningen tas ett antal faktorer i beaktande som också allvarligt påverkar resultatet. Först och främst är detta detaljerna i sättet för reklamdistribution, tidpunkten för reklamplacering, frekvensen av dess presentation för konsumenter, etc.

Om hela reklambudskapet som regel testas för förmågan att stimulera försäljning, för övertygelse, igenkänning och minnesbarhet av produkten eller varumärket, så testas reklamtexten vanligtvis endast för övertygelse. I sådana test uppmärksammas främst förståelsen av titeln, slogan, kod, nyckelord.

Idag får vi nya verktyg för att testa. Till exempel kan rubriker, sökord testas framgångsrikt med ett kontextuellt reklamsystem.

Varje värderingsmetod har en specifik kombination av för- och nackdelar, samt olika kostnader. Ett viktigt och väldigt enkelt, och viktigast av allt, billigt sätt att kontrollera annonstexternas effektivitet är checklistor (checklistor med frågor).

Videoversion av föreläsningen " Testa effektiviteten av modern reklam"

(förbereder för publicering)

Mer detaljerad information om detta ämne finns i boken av A. Nazaikin