La prueba de software es la evaluación de un software / producto que se está desarrollando para verificar sus capacidades, capacidades y cumplimiento con los resultados esperados. Existen diferentes tipos de métodos utilizados en el campo de las pruebas y el aseguramiento de la calidad y se discutirán en este artículo.
Las pruebas de software son una parte integral del ciclo de desarrollo de software.
¿Qué son las pruebas de software?
Las pruebas de software no son más que probar un fragmento de código en condiciones de funcionamiento controladas y no controladas, observar la salida y luego examinar si cumple con las condiciones predefinidas.
Varios conjuntos de casos de prueba y estrategias de prueba tienen como objetivo lograr un objetivo común: eliminar errores y errores en el código y garantizar un rendimiento del software preciso y óptimo.
Metodología de prueba
Los métodos de prueba comúnmente utilizados son las pruebas unitarias, las pruebas de integración, las pruebas de aceptación y las pruebas del sistema. El software se somete a estas pruebas en un orden específico.
3) Prueba del sistema
4) Pruebas de aceptación
En primer lugar, se realiza una prueba unitaria. Como sugiere el nombre, este es un método de prueba a nivel de objeto. Los componentes de software individuales se prueban para detectar errores. Esta prueba requiere un conocimiento preciso del programa y de cada módulo instalado. Por lo tanto, esta verificación la realizan los programadores y no los probadores. Para hacer esto, se crean códigos de prueba que verifican si el software se comporta según lo previsto.
Los módulos individuales que ya han sido probados en la unidad se integran entre sí y se comprueban en busca de fallas. Este tipo de prueba detecta principalmente errores de interfaz. Las pruebas de integración se pueden realizar utilizando un enfoque de arriba hacia abajo, siguiendo la arquitectura del sistema. Otro enfoque es un enfoque de abajo hacia arriba, que se toma desde la parte inferior del flujo de control.
Prueba del sistema
En esta prueba, se comprueba todo el sistema en busca de errores y fallos. Esta prueba se realiza emparejando los componentes de hardware y software de todo el sistema y luego probándolo. Esta prueba se conoce como el método de prueba de "caja negra", que prueba las condiciones de funcionamiento esperadas por el usuario para el software.
Prueba de aceptacion
Esta es la última prueba que se realiza antes de que el software se entregue al cliente. Se lleva a cabo para garantizar que el software desarrollado cumple con todos los requisitos del cliente. Hay dos tipos de pruebas de aceptación: una que realizan los miembros del equipo de desarrollo se conoce como prueba de aceptación interna (prueba Alpha) y la otra que realiza el cliente se conoce como prueba de aceptación externa.
Cuando la prueba se realiza con posibles clientes, se denomina prueba de aceptación del cliente. Cuando la prueba la realiza el usuario final del software, se conoce como prueba de aceptación (prueba beta).
Hay varios métodos de prueba básicos que forman parte del régimen de prueba de software. Estas pruebas generalmente se consideran autosuficientes para encontrar errores y errores en todo el sistema.
Prueba de caja negra
Las pruebas de caja negra se realizan sin ningún conocimiento del funcionamiento interno del sistema. El probador estimulará el software para el entorno del usuario proporcionando varias entradas y probando las salidas generadas. Esta prueba también se conoce como prueba de caja negra, prueba de caja cerrada o prueba funcional.
Prueba de caja blanca
La prueba mediante el método de "caja blanca", a diferencia de la "caja negra", tiene en cuenta el funcionamiento interno y la lógica del código. Para realizar esta prueba, el probador debe tener conocimiento del código para encontrar la parte exacta del código que tiene errores. Esta prueba también se conoce como prueba de caja blanca, caja abierta o caja de vidrio.
Prueba de caja gris
La prueba de caja gris o la prueba de caja gris es un cruce entre la prueba de caja blanca y la de caja negra, donde el probador solo tiene conocimiento general del producto requerido para realizar la prueba. Esta verificación se realiza a través de la documentación y los diagramas de flujo de información. Las pruebas las realiza el usuario final o los usuarios que se presentan como usuarios finales.
Pruebas no funcionales
La seguridad de las aplicaciones es una de las principales preocupaciones del desarrollador. Las pruebas de seguridad verifican la confidencialidad, integridad, autenticación, disponibilidad y confiabilidad del software. Se realizan pruebas individuales para evitar el acceso no autorizado al código del programa.
La prueba de estrés es una técnica mediante la cual el software se expone a condiciones que están fuera de las condiciones normales de funcionamiento del software. Después de alcanzar el punto crítico, se registran los resultados. Esta prueba determina la estabilidad de todo el sistema.
Se prueba la compatibilidad del software con interfaces externas como sistemas operativos, plataformas de hardware, navegadores web, etc. La prueba de compatibilidad verifica si un producto es compatible con cualquier plataforma de software.
Como sugiere el nombre, esta técnica de prueba prueba la cantidad de código o recursos que usa un programa en una sola operación.
Esta prueba verifica el aspecto de usabilidad y usabilidad del software. La facilidad con la que el usuario puede acceder al dispositivo constituye el punto principal de la prueba. Las pruebas de usabilidad cubren cinco aspectos de las pruebas: capacidad de aprendizaje, efectividad, satisfacción, memorización y error.
Pruebas en el proceso de desarrollo de software
El modelo en cascada adopta un enfoque de arriba hacia abajo, ya sea que se utilice para el desarrollo o la prueba de software.
Los principales pasos involucrados en esta técnica de prueba de software son:
- Necesita analisis
- Prueba de diseño
- Prueba de implementación
- Probar, depurar y validar su código o producto
- Implementación y mantenimiento
En esta técnica, solo pasa al siguiente paso después de haber completado el anterior. El modelo utiliza un enfoque no iterativo. La principal ventaja de esta técnica es su enfoque simplificado, sistemático y ortodoxo. Sin embargo, tiene muchas desventajas, ya que los errores y errores en el código no se descubrirán hasta la fase de prueba. A menudo, esto puede provocar una pérdida de tiempo, dinero y otros recursos valiosos.
Modelo ágil
Esta metodología se basa en una combinación selectiva de enfoques secuenciales e iterativos, además de una variedad bastante grande de nuevos métodos de desarrollo. El desarrollo rápido y progresivo es uno de los principios clave de esta metodología. El énfasis está en conseguir salidas rápidas, prácticas y visibles. La interacción y el compromiso continuos con el cliente es una parte integral de todo el proceso de desarrollo.
Desarrollo rápido de aplicaciones (RAD). Metodología de desarrollo rápido de aplicaciones
El nombre habla por sí solo. En este caso, la metodología adopta un enfoque evolutivo acelerado utilizando el principio del diseño de componentes. Después de comprender los diversos requisitos de un proyecto determinado, se prepara un prototipo rápido y luego se compara con un conjunto esperado de condiciones y estándares de salida. Los cambios y modificaciones necesarios se realizan después de una discusión conjunta con el cliente o el equipo de desarrollo (en el contexto de las pruebas de software).
Si bien este enfoque tiene su parte de ventajas, puede que no sea apropiado si el proyecto es grande, complejo o de naturaleza extremadamente dinámica en el que los requisitos cambian constantemente.
Modelo espiral
Como sugiere el nombre, el modelo en espiral se basa en un enfoque en el que hay una serie de ciclos (o espirales) de todos los pasos sucesivos en el modelo de cascada. Una vez finalizado el ciclo inicial, se realiza un análisis y una revisión exhaustivos del producto o rendimiento obtenido. Si la salida no cumple los requisitos especificados o los estándares esperados, se realiza un segundo ciclo y así sucesivamente.
Proceso unificado racional (RUP). Proceso racional unificado
La metodología RUP también es similar al modelo en espiral, en el sentido de que todo el procedimiento de prueba se divide en varias rondas. Cada ciclo tiene cuatro etapas: creación, desarrollo, construcción y transición. Al final de cada ciclo, se revisa el producto / rendimiento y se sigue un ciclo (que consta de las mismas cuatro fases) según sea necesario.
El uso de la tecnología de la información crece día a día y la importancia de las pruebas de software correctas ha crecido exponencialmente. Muchas empresas mantienen una plantilla de equipos especiales para esto, cuyas capacidades están al nivel de los desarrolladores.
Economía
Prueba de la efectividad del sistema de control interno
Rakhmankulov I.Sh.
Doctor en Economía, Profesor del Departamento de Organización de la Producción del Instituto Estatal de Finanzas y Economía de Kazán
El documento muestra la necesidad de probar la efectividad del sistema de control interno para la preparación de estados financieros, muestra el procedimiento para su implementación. El autor da una valoración de los elementos del control automatizado y manual.
Para demostrar la efectividad del control interno sobre la preparación de los estados financieros, la administración debe determinar qué tan efectivamente están funcionando los controles en la empresa. De acuerdo con los requisitos de la Ley Sarbanes-Oxley (SOX), las pruebas deben cubrir cada uno de los cinco elementos del sistema de control interno (entorno de control, evaluación de riesgos, procedimientos de control, información y comunicación, seguimiento) en relación con los requisitos de información financiera. para todos sus componentes materiales por separado, cada unidad de negocio clave. Las pruebas de desempeño también deben cubrir áreas asociadas con riesgos específicos en el resto de las unidades de negocio. Las pruebas se pueden dividir en cuatro etapas principales:
1. Determinación de los controles a ensayar.
2. Determinación de los empleados que realizarán las pruebas.
3. Desarrollo e implementación de planes de prueba.
4. Evaluación de los resultados de las pruebas.
Por lo general, estos pasos se realizan de forma secuencial, pero a veces el orden está fuera de orden porque los resultados de la prueba pueden forzar cambios en el plan o requerir que se vuelvan a probar los elementos revisados. Coordinando
El comité del proyecto debe revisar y aprobar los planes de prueba que detallan el enfoque de principios del procedimiento de prueba. La gerencia no debe subestimar la cantidad de tiempo requerido para probar y la complejidad que puede surgir durante la fase de prueba de un proyecto.
Le recomendamos que establezca un diálogo abierto con el auditor externo de la empresa sobre la estrategia de prueba de eficacia operativa de la dirección. El auditor externo también debe evaluar los planes de prueba detallados. La evaluación de la administración de la efectividad de los controles internos sobre la preparación de los estados financieros da como resultado un nivel de seguridad. Un aseguramiento adecuado es fundamental tanto para evaluar el control interno sobre la preparación de los estados financieros como para los propósitos del informe de auditoría. Una garantía adecuada implica que es poco probable que las incorrecciones materiales no se prevengan o detecten de manera oportuna. Si bien la certeza suficiente no es absoluta, es un alto grado de certeza. Para lograr un alto grado de confianza, la administración debe obtener evidencia suficiente del diseño correcto y la efectividad operativa de los controles para cubrir los requisitos financieros.
"Boletín de Economía, Derecho y Sociología", Nº 1, 2007
Economía
presentación de informes para todos los componentes materiales de los estados financieros en cada unidad de negocio clave. Si bien la evidencia de auditoría de la efectividad operativa generalmente se basa en pruebas tradicionales (es decir, muestreo y verificación del control), la administración tiene más discreción sobre cómo se obtendrá la evidencia necesaria.
Por ejemplo, la administración puede obtener evidencia del diseño correcto y la efectividad operativa de los controles a través de un proceso de autoevaluación, auditorías internas o monitoreo continuo. Esto no significa que la gerencia pueda evitar probar los controles clave. Más bien, significa que la gerencia puede usar fuentes alternativas de evidencia (si están disponibles) junto con pruebas de muestra detalladas para obtener un mayor grado de confianza. Como tal, la administración puede no probar cada control en detalle de la forma en que lo hace el auditor. Al desarrollar su plan de prueba, la gerencia debe determinar si tiene fuentes de evidencia distintas a las obtenidas de las pruebas detalladas de la muestra. Cuando la administración determina que existe tal evidencia, puede decidir reducir el tamaño de la muestra de la muestra del auditor, lo que el auditor considera necesario para proporcionar un alto grado de seguridad.
Junto con la realización de otras pruebas (p. Ej., Autoevaluación, etc.), la administración debe usar tamaños de muestra tales que el número total de elementos probados para evaluar la efectividad operativa de los controles clave no sea menor que el presentado en la tabla. Si la administración no tiene otras fuentes de evidencia, el tamaño de muestra utilizado por la administración para las pruebas debe exceder los tamaños mínimos que se muestran en la tabla. Cuando uno o más requisitos de información financiera con respecto a material
Solo hay un control asociado con los componentes individuales de los estados financieros, cuando el control se considera más importante o cuando se requiere un mayor grado de certeza, el tamaño de la muestra también debe aumentarse. Las pruebas continuas ayudan a reducir el riesgo de que las deficiencias significativas o significativas en el sistema de control interno se identifiquen demasiado tarde y no puedan corregirse hasta el final del año.
La gerencia debe demostrar que los controles, que cubren los cinco componentes del modelo COSO, funcionan de manera efectiva en todos los componentes de informes financieros, procesos comerciales y unidades comerciales. La naturaleza de las pruebas realizadas en los procedimientos de control es generalmente más simple que la naturaleza de las pruebas realizadas en otros componentes del control interno. La evaluación de la eficacia de los controles relacionados con los componentes de COSO, como el entorno de control, la evaluación de riesgos, la información y la comunicación y el seguimiento, generalmente requiere más confianza en el juicio profesional y el análisis cualitativo que en la evaluación de los procedimientos de control.
Las decisiones tomadas durante las etapas de determinación del alcance y documentación determinan la elección de las unidades de negocio y las pruebas a realizar (que se muestran en la Tabla 1). Para las unidades de negocio de la primera categoría, las pruebas cubrirán los controles a nivel de transacción para los componentes materiales de los procesos e informes financieros, así como los controles a nivel corporativo. Para las unidades de negocio de la tercera categoría, no se requieren pruebas específicas de los controles. En las unidades de negocios de la segunda categoría, la gerencia debe documentar y probar la efectividad de los controles a nivel corporativo. Por ejemplo, para determinar si se están siguiendo las políticas contables de una empresa, la gerencia debe realizar pruebas en las unidades de negocio individuales de Categoría 2 para determinar si las acciones del personal son consistentes con las políticas contables aprobadas. La gerencia también puede obtener prueba de funcionamiento
"Boletín de Economía, Derecho y Sociología", Nº 1, 2007
Economía
la efectividad de los procedimientos de control que se llevan a cabo en estas unidades de negocio a través de herramientas como la autoevaluación, la auditoría interna y el seguimiento.
La Tabla 2 presenta sugerencias para seleccionar el mínimo requerido de unidades de negocios de la categoría 2 en las que se deben probar los controles a nivel empresarial.
Si no se puede confiar en los controles a nivel corporativo para las unidades de negocios en la segunda categoría, entonces se deben realizar pruebas detalladas de los controles que cubren los componentes materiales de los estados financieros.
De acuerdo con un estándar interno de control, la administración puede evaluar la efectividad operativa de los controles basándose en procedimientos tales como probar los controles por auditoría interna, probarlos por otros según lo indique la administración, usar informes de terceros, examinar la evidencia de que se han ejercido los controles, o probándolos a través de la autoevaluación. Algunos de estos tipos de evaluaciones pueden llevarse a cabo como parte del seguimiento continuo de la gestión. En todos los casos, la gerencia es responsable de (1) la competencia y objetividad del personal que evalúa los controles; (2) obtener, como resultado de las pruebas, evidencia suficiente para justificar una evaluación de la efectividad del sistema de control interno. Para obtener un nivel suficiente de confianza en los resultados del proceso de autoevaluación, es posible que la dirección deba ser revisada de forma independiente. La norma establece que en los casos en que la persona que ejerce ese control proporcione evidencia de la efectividad operativa del control, el auditor externo no podrá utilizarla para reducir el alcance de la prueba, ya que la persona que prueba el control no será objetiva. suficiente.
Para la revisión y aprobación de los resultados de las pruebas por parte de varias partes interesadas, el plan de pruebas debe incluir descripciones y resultados de las pruebas. Los planes de prueba deben cubrir todos los controles seleccionados para la prueba y contener los siguientes elementos clave:
Controles clave que se deben probar: generalmente, la administración proporciona un resumen de los controles que se deben probar al nivel de los requisitos de información financiera.
Métodos de prueba: hay cuatro métodos de prueba: confirmación, observación, revisión de documentos o nueva ejecución.
Muestra de prueba: los planes deben indicar la cantidad de evidencia del procedimiento de control que se probará, y los métodos y razones para su selección.
Momento de los procedimientos: los planes deben indicar el momento de las pruebas y el intervalo de tiempo que cubren, incluida la prueba de una muestra adicional de documentos planificados desde el momento de las pruebas intermedias hasta el final del año.
Descripción del procedimiento de prueba: los planes deben detallar los procedimientos de prueba y los requisitos de informes financieros que están cubiertos por los procedimientos de control que se están probando.
Organización del procedimiento de prueba: los planes deben indicar quién realizará la prueba y cuándo, qué evidencia se analizará y dónde se realizará el control.
Documentación: los planes deben describir la documentación requerida.
Excepciones: los planes deben describir cómo investigar y abordar las exclusiones de muestras (inconsistencias), así como cuándo deben realizarse pruebas adicionales.
Hay 4 métodos de prueba: confirmación, observación, revisión de documentos y re-ejecución. Usar dos o más de estos métodos de prueba al mismo tiempo proporciona un mayor grado de confianza que usar solo uno de ellos. Cuanto mayor sea la materialidad de un componente de información financiera o proceso comercial y mayor sea el riesgo, más importante es garantizar que la evidencia se obtenga a través de múltiples métodos de prueba.
"Boletín de Economía, Derecho y Sociología", Nº 1, 2007
Economía
Alcance de las propuestas de trabajo
tabla 1
Categoría Balance mínimo Cobertura de la cuenta Unidades de negocio Procedimientos planificados
1 60 - 70% Unidades de negocio clave y componentes de informes financieros asociados con riesgos específicos Evaluación detallada y prueba de controles en cuentas y divulgaciones materiales (o de riesgo específico) en sitios relevantes, así como prueba de controles a nivel corporativo.
2 25 - 35% Unidades de negocio que son clave en el agregado Evaluar y probar los controles a nivel corporativo, si es posible, y considerar obtener otra evidencia, o realizar algunas pruebas sobre los controles en las unidades de negocio si no existen controles a nivel corporativo.
3 < 5% Объекты, не являющиеся ключевыми ни по отдельности, ни в совокупности Тестирование не требуется.
Tabla 2
Propuestas de selección de unidades de negocio
Número de unidades de negocio Número de unidades de negocio en las que se probarán los controles a nivel empresarial
Menos de 20 2-4
100 o más 10-20 o más
niya. La naturaleza del control también influye en la elección del método de prueba.
La confirmación de la información relacionada con la efectividad operativa de los controles no constituye en sí misma evidencia del funcionamiento efectivo de los controles.
La observación de los controles proporciona un mayor grado de confianza y puede ser un método aceptable para evaluar los controles automatizados.
La revisión de documentos se utiliza a menudo para determinar si se están realizando controles manuales.
La realización repetida del procedimiento de control proporciona el mayor grado de confianza. La mayoría de los controles manuales se prueban utilizando una combinación de métodos de prueba: confirmación, observación, revisión de documentos y re-ejecución.
La medida en que se prueba un procedimiento de control particular dependerá de una serie de factores, como si el control es automático o manual. El tamaño de la muestra para probar controles automatizados puede ser mínimo (uno o más elementos), siempre que
"Boletín de Economía, Derecho y Sociología", Nº 1, 2007
Economía
que los controles informáticos generales aplicados en el sistema de TI han sido probados y han demostrado su eficacia.
Uno de los controles automatizados más comunes son los controles de edición y entrada de datos. Con base en las combinaciones permitidas de servicios y precios proporcionados en la base de datos, el control de los resultados de la edición no permite que el empleado que ingresa al pedido indique el precio incorrecto del servicio. Debe probarse la eficacia operativa de cada elemento de control automatizado. En este ejemplo, para demostrar la efectividad operativa del control, se deben ingresar varias combinaciones incorrectas diferentes de precio y tipo de servicio. A veces, los derechos de acceso extendidos de la administración le permiten editar los datos ingresados y, por lo tanto, eludir el control automatizado. Esta capacidad de edición del manual debe probarse para evaluar una deficiencia potencial en el sistema de control interno.
Al probar los controles automatizados, la gerencia debe (1) asegurarse de que los controles informáticos generales sean efectivos y (2) realizar una revisión detallada de los controles en la empresa (por ejemplo, revisiones previas y posteriores a la implementación). En el ejemplo anterior, la dirección debería haber hecho comprender a los empleados que el control sobre la entrada y edición de datos debería ser eficaz en todas las circunstancias. Si la gerencia nunca ha realizado pruebas detalladas de los controles en el software de una empresa, ni antes ni después de la implementación, o los controles sobre los cambios de software son débiles, la gerencia debe probar los controles automatizados contra su diseño original.
Hay varias formas de realizar esta tarea, desde la emergencia, al analizar el código del programa, hasta las pruebas de un extremo a otro, lo que da la confianza de que el control cubre todas las cadenas lógicas relevantes. Para software de desarrolladores externos que no ha sido modificado,
La administración debe confirmar que las configuraciones predeterminadas se hayan configurado correctamente y proporcionar control sobre los cambios que se realicen. Las aplicaciones desarrolladas externamente para la empresa, o desarrolladas por especialistas internos, pueden requerir procedimientos más extensos para validar la efectividad de los diseños de control.
Principales conclusiones:
1. Garantía de calidad. Si la gerencia cree que se requiere mayor objetividad para realizar las pruebas, entonces se puede asignar una persona o departamento independiente para realizar las pruebas. El candidato más apropiado y objetivo para esta tarea es el departamento de auditoría interna, que puede aprobar planes de prueba y evaluar sus resultados.
2. La estructura de los planes para las pruebas. En la mayoría de los casos, se pueden probar múltiples controles basados en una sola muestra de operaciones que refleja el flujo del proceso comercial, lo que permite al evaluador comprender mejor cómo interactúan los diversos procedimientos de control. Por ejemplo, un método para probar los controles como parte del proceso de contabilidad de ingresos es identificar una muestra de nuevos contratos de venta. La autorización de los contratos se puede probar verificando que las firmas requeridas estén presentes en el contrato. La exactitud de los precios puede verificarse evaluando (a) la conformidad del procedimiento de cambio de precio con las instrucciones aprobadas de la empresa, y (b) la existencia de una autorización adecuada de estos precios.
3. Diferencias entre controles automáticos y manuales. En la mayoría de los casos, es fácil determinar si el control es automático o manual. A veces, sin embargo, identificar esta diferencia puede resultar difícil. El mecanismo de control puede depender de un proceso automatizado, pero su componente clave será manual. Por ejemplo, un ejemplo común de inspección es la comparación sistemática de los informes de entrada de mercancías,
"Boletín de Economía, Derecho y Sociología", Nº 1, 2007
Economía
órdenes de compra y facturas de proveedores. El sistema genera automáticamente un informe de discrepancias para todos los elementos no coincidentes. Estas inconsistencias son luego analizadas y corregidas por el departamento de cuentas por pagar. Este mecanismo de control consta de dos elementos (1) emparejamiento automático de tres vías y (2) análisis manual.
por empleados del departamento de contabilidad de cuentas por pagar. Los controles automáticos y manuales deben evaluarse por separado utilizando las pautas de prueba adecuadas.
Literatura:
1. Una guía práctica para la gestión. Ley Sarbanes-Oxley (Sección 404). Editorial: пю х. 2005 .-- 138 p.
Traducción: Olga Alifanova
En el aseguramiento de la calidad, se hace una distinción entre verificación y validación. La verificación responde a la pregunta de si estamos creando el producto correctamente y la validación responde a la pregunta, o si estamos creando lo que se necesita. Algunas personas trazan la línea divisoria entre la garantía de calidad y las pruebas basándose en estas definiciones.
Desde mi punto de vista, el uso de los términos "verificación" y "validación" puede conducir a falsas dicotomías. Para mí, las pruebas son una actividad relacionada con el diseño y, por lo tanto, cubre un área bastante amplia. Creo que las pruebas pueden convertirse en una especie de "lenguaje común". Creo que las pruebas pueden codificar especificaciones y requisitos directamente. Y creo que las pruebas son la fuente de conocimiento sobre un área o un producto. Demasiado énfasis en la diferencia entre verificación y validación es una forma ineficaz e ineficaz de entender cómo las pruebas complementan la garantía de calidad.
En mi opinión, la incapacidad de percibir las pruebas y la garantía de calidad como dos procesos distintos y complementarios es una percepción que claramente carece de gracia.
De hecho, estoy de acuerdo en que la distinción entre verificación y validación está perfectamente justificada. Después de todo, la eficiencia es la capacidad de hacer algo bien. La eficacia, por otro lado, es la capacidad de ofrecer el resultado correcto. La eficiencia se centra en el proceso y tiene como objetivo llevarlo al final, y la eficacia está en el producto (es decir, de hecho, en el resultado de este proceso). Puede decirlo de esta manera: la eficiencia se centra principalmente en evitar errores y la eficacia, en el éxito, independientemente de la cantidad de errores cometidos a lo largo del camino.
Sin embargo, me parece que hay una manera de distinguir entre eficiencia y efectividad que es mucho mejor que comprender la diferencia entre verificación y validación. Las pruebas realmente requieren flexibilidad e innovación.
Y este es precisamente el punto en el que surge una curiosa paradoja. Necesitas un nivel decente de disciplina y tenacidad para ser consistentemente efectivo. Sin embargo, es la disciplina y la resistencia al cambio lo que hace que los procesos sean flexibles. Si hace lo mismo de la misma manera una y otra vez, nunca se sentirá abrumado por nada innovador.
Dado que la eficiencia en este contexto está relacionada con la verificación, esto significa que la verificación puede convertirse en una actividad estática.
La eficacia, por otro lado, es mucho más adaptable al cambio y requiere mucha flexibilidad. Para lograr buenos resultados, es necesario fomentar la innovación, porque entonces la gente pensará en qué están haciendo exactamente ahora y si vale la pena hacerlo en un contexto específico y bajo la influencia de factores específicos. Sin embargo, esta flexibilidad y adaptabilidad conduce a una abrumadora cantidad de opciones y a una posible incapacidad para realizar esfuerzos rutinarios y conscientes que puedan reproducirse fuera de la situación actual.
Dado que la eficiencia en nuestro contexto está ligada a la validación, todo lo anterior significa que la validación puede convertirse en una actividad demasiado dinámica.
Y aquí es donde deben entrar en juego las decisiones acertadas, rompiendo este círculo vicioso y brindándole la oportunidad de evaluar su efectividad y desempeño desde una perspectiva diferente. La gracia de las soluciones no solo responde a las preguntas de si hicimos algo mejor o pensamos en algo mejor, sino que da una respuesta, ¿hemos mejorado en la comprensión de lo que está sucediendo, hemos creado una base para actividades futuras?
También se puede considerar que la gracia minimiza la complejidad. En el mundo del desarrollo, la gente suele dividir la complejidad de las soluciones en obligatorias y aleatorias. Por lo tanto, para que las soluciones en las pruebas sean elegantes, deben consistir solo en "complejidad obligatoria" y prácticamente no contener aleatorias. ¿Suena misterioso? Sí, es posible, desde cuántas personas - tantas opiniones sobre dónde comienza la "complejidad". Para mí, la complejidad de las decisiones en las pruebas surge cuando no hay opciones en el sistema y hay una gran incertidumbre.
Si permite que las pruebas sean innovadoras y flexibles (es decir, efectivas), pero aún mantiene un cierto nivel de rigidez y disciplina (eficiencia), debe tener un conjunto de reglas sobre cómo administrar las opciones (en el sentido de cómo proporcionar esas opciones) e incertidumbre (cómo eliminarla).
No me aburriré con este tema, solo daré ejemplos de lo que estoy hablando. En mis ejemplos, quiero intentar que los equipos de prueba piensen en sus pruebas usando los términos eficiencia, efectividad y gracia. Comenzaré con algunos axiomas (no encuentro otra palabra) y trataré de que mis ejemplos sean lo más breves y comprensibles posible. Hay cosas en las que todo el equipo debe creer, o al menos actuar como si creyeran en ellas. ¡Y mi primer axioma afirma lo que dije anteriormente!
- Las pruebas se pueden realizar de manera eficiente, eficiente y elegante.
- Las pruebas requieren una investigación técnica, profesional y activa.
- El propósito de las pruebas es una entrega clara de la información necesaria a tiempo.
- Los probadores son, en cierto sentido, escritores y editores. En consecuencia, la ética de la gracia y el orgullo profesional son atributos indispensables de un trabajo bueno, motivado y con el nivel adecuado de atención.
A continuación se muestran algunos ejemplos para ilustrar estos puntos. Primero, veamos todos estos conceptos según se aplican a una prueba.
- Eficaz la prueba debe concentrarse en la entrada, el proceso y la salida.
- Eficaz la prueba debe ser expresiva y demostrar el propósito de la prueba.
- Eficaz la prueba debe enfocarse en un resultado inteligible de una acción en particular, y no en varios al mismo tiempo.
- Eficaz la prueba agrupa las observaciones relacionadas.
- Eficaz la prueba da un ejemplo concreto de los datos que desea.
- Eficaz la prueba informa sobre las condiciones generales bajo las cuales deben caer los datos probados.
- Elegante la prueba describe el comportamiento específico del sistema y su funcionalidad.
Ahora, apliquemos estos conceptos al conjunto de pruebas:
- Eficaz la suite de pruebas determina qué datos serán válidos y cuáles no.
- Eficaz la suite de pruebas comprueba tanto los datos válidos como los no válidos.
- Eficaz la suite de pruebas agrupa los tipos de datos en clases.
- Elegante se puede diseñar un conjunto de pruebas para investigar tareas y procesos comerciales.
Finalmente, apliquemos estas definiciones a las pruebas como una actividad:
- Eficaz Las pruebas utilizan secuencias de comandos para estructurar el proceso de investigación.
- Eficaz Las pruebas aplican prácticas exploratorias que aportan variabilidad a los scripts.
- Agraciado Las pruebas utilizan prácticas de investigación escritas para demostrar el valor de una aplicación para el consumidor al examinar cómo se usa.
- Eficaz Las pruebas utilizan secuencias de comandos que muestran cómo el producto logra su propósito.
- Eficaz Las pruebas utilizan secuencias de comandos que demuestran lo que debe suceder para que un usuario esté satisfecho.
- Agraciado Las pruebas describen los requisitos y demuestran las capacidades de la aplicación.
Es importante tener en cuenta todo esto, ya que lo que haces y cómo lo haces es la base de qué y cómo harás en el futuro. También apoya la dinámica de grupo y las reflexiones sobre los conceptos anteriores. Esto es lo que quiero decir:
- Algunos evaluadores prefieren referirse a los casos de prueba como "condiciones de prueba". Algunos son al revés. Alguien ignora ambos términos. Creo que los grupos de pruebas de rendimiento prueban las condiciones y las convierten en variaciones de los casos de prueba. Las pruebas de rendimiento utilizan condiciones de prueba especificadas por parámetros específicos de los datos deseados.
- El término "prueba positiva / negativa" ha pasado de moda entre los probadores experimentados. Las pruebas agradables se centran en describir condiciones válidas e inválidas. Esto significa que los evaluadores deben realizar pruebas de manera efectiva y eficiente, identificando todas las condiciones de prueba que pueden cambiar (lo que a su vez conduce a un grupo de condiciones válidas e inválidas) y también asegurarse de que toman decisiones informadas al elegir conjuntos de datos específicos e ignorar el resto.
- Las pruebas elegantes son los campeones de sus pruebas. Si tiene un grupo de pruebas que realmente verifican cosas similares y su tiempo es limitado, tendrá tiempo para ejecutar solo una parte de ellas. En tales casos, utilice pruebas que tengan más probabilidades de revelar una capa completa de errores. Tales pruebas pueden ser extremadamente elegantes.
- Una prueba eficaz no debe ser ni demasiado simple ni demasiado compleja. Por supuesto, es posible agrupar toda una serie de pruebas en un caso, pero los posibles efectos secundarios de esta forma de crear pruebas pueden enmascarar un montón de errores. En consecuencia, los casos de resultados deben incluir diferentes puntos de vista (o una ruta diferente al mismo punto de vista) y se deben ejecutar por separado.
- Varias técnicas de prueba son extremadamente efectivas para seleccionar datos específicos y organizarlos en combinación o secuencia. Pero surgirá una solución elegante cuando los evaluadores seleccionen estos datos basándose en la interacción de diferentes funcionalidades y flujos de datos, y exploren los caminos a través de la interfaz de usuario con una comprensión de cómo una persona viva usará este sistema.
- Un caso exitoso debería poder brindarle información. Necesita pruebas que respondan a las preguntas que hizo. El propósito de la prueba no es necesariamente encontrar un error, su propósito es recopilar información. Una prueba no es valiosa cuando puede encontrar un error; debe poder proporcionarle información (aunque esta información también puede ser un error si hay algún problema con la aplicación). Una solución elegante siempre tiene como objetivo obtener información específica durante las pruebas.
- Las pruebas efectivas requieren comprender los requisitos y cómo se relacionan con la forma en que los usuarios perciben el valor de nuestro producto. ¡Necesitamos comprender a nuestros usuarios, no solo leer las especificaciones y requisitos! Las pruebas elegantes utilizan la heurística para estructurar esta comprensión. También obliga a las pruebas a contar historias convincentes sobre las acciones de personas reales.
Quizás debería haber notado desde el principio que no tenía el objetivo de convertirme en la verdad última en términos de responder a la pregunta de qué pruebas serán efectivas, eficientes y elegantes. Solo quería transmitir mi posición: creo que los equipos de prueba que comprenden la diferencia entre estos conceptos son capaces de
V. V. Odintsova
Utilizando numerosas técnicas de psicodiagnóstico, rara vez pensamos en la calidad de estas herramientas de trabajo. Y en vano. Después de todo, cualquier psicólogo en ejercicio sabe que ningún examen psicológico es posible sin buenas herramientas de diagnóstico.
Al mismo tiempo, las colecciones populares de pruebas psicológicas que han sido ampliamente publicadas recientemente, lamentablemente, no pueden cumplir con los requisitos de un profesional real, que debe confiar en las capacidades diagnósticas de la herramienta que utiliza en su trabajo. Es por eso, el problema de encontrar una técnica de diagnóstico bien desarrollada y confiable sigue siendo relevante.
La tarea principal del Laboratorio de RR.HH. de Human Technologies es desarrollar productos de calidad. Una de las condiciones para la creación de tales productos es la verificación periódica de los métodos de prueba para verificar su cumplimiento con una serie de requisitos psicométricos (validez, confiabilidad, representatividad, confiabilidad). Para ello, después de haber establecido un número suficiente de protocolos, se lleva a cabo un análisis estadístico de los métodos de prueba.
Considere un análisis psicométrico (cuya muestra total fue de 660 personas).
Esta prueba, desarrollada en los años 90, está destinada a diagnósticos expresos del nivel de gravedad de los cinco factores denominados "grandes" de temperamento y carácter y se utiliza para estudiar la personalidad de los adultos con fines de selección profesional, asesoramiento profesional, determinar las direcciones de la asistencia psicológica, reclutamiento de grupos, autoconocimiento, etc.
La base de la universalidad de los "Cinco Grandes Factores" es su situación cruzada: los factores de la evaluación global de la actividad funcional de una persona son aplicables a casi cualquier situación de comportamiento social y actividad objetiva, en la que las diferencias persistentes entre las personas son fundar.
El cuestionario incluye 75 ítems con tres opciones de respuesta cada uno.
ESCAMAS Las pruebas representan una reproducción exacta de los Cinco Grandes factores en su versión internacional (con la excepción del quinto factor, que en varias versiones occidentales de B5 se designa como "apertura a nuevas experiencias - practicidad limitada"):
- extraversión - introversión
- consentimiento - independencia
- organización - impulsividad
- estabilidad emocional - ansiedad
- capacidad de aprendizaje - inercia
1. Comprobación de la validez
Al verificar las escalas existentes de la manera tradicional, calculando las correlaciones entre las respuestas a las preguntas y la puntuación total en la escala, encontramos que casi todos los ítems están significativamente correlacionados con "sus" escalas con un coeficiente de correlación promedio de 0.35.
Al comprobar significativo La validez de la prueba, se analizó la redacción de los ítems de la prueba, reflejando significativamente el área temática correspondiente (área de conducta) y teniendo una correlación significativa (positiva o negativa) con la puntuación total:
| Escala | Ejemplo de elementos de prueba | Coeficiente de correlación |
| EXTRAVERSIÓN | Es importante para mí expresar mi opinión a los demás. | (0,31) |
| Me gusta participar en todo tipo de concursos, concursos, etc. | (0,41) | |
| Disfruto visitando y conociendo gente nueva. | (0,5) | |
| CONVENIO | No se puede confiar en la mayoría de las personas | (-0,23) |
| Mis intereses son sobre todo para mi | (-0,22) | |
| "El que ayuda a la gente está perdiendo el tiempo; uno no puede volverse famoso por sus buenas obras". | (-0,3) | |
| "Todos - por sí mismos" - este es el principio que no te defraudará | (-0,4) | |
| AUTOCONTROL | Cuando me acuesto, ya sé con certeza lo que haré mañana. | (0,37) |
| Tomando un libro, siempre lo pongo en su lugar | (0,35) | |
| Antes de los asuntos responsables, siempre hago un plan para su implementación. | (0,37) | |
| ESTABILIDAD | Me sonrojo facilmente | (-0,28) |
| Si capto (a) la aparición de una situación indeseable en el trabajo, siempre me genera dudas dolorosas hasta que la situación se aclara | (-0,3) | |
| Al final del día, por lo general me canso tanto que todo empieza a enloquecer. | (-0,32) | |
| Es fácil estropear mi estado de ánimo | (-0,42) |
Un análisis de las formulaciones anteriores indica una validez sustancial bastante alta de la prueba.
2. Comprobación de la fiabilidad
La fiabilidad de la prueba como medio de medición está determinada por la baja probabilidad de errores en la medición de las puntuaciones de la prueba y por el grado en que se reproducen los resultados de la medición cuando la prueba se utiliza repetidamente en relación con un grupo determinado de sujetos. Para evaluar la contribución de diferentes fuentes al error de medición, es necesario utilizar diferentes métodos para evaluar la confiabilidad. De particular interés es la evaluación de la consistencia interna de la prueba, determina la parte del error que se asocia a la selección de ítems.
La consistencia interna de la prueba se evaluó mediante el cálculo del coeficiente alfa de Cronbach. Este coeficiente es una evaluación de confiabilidad basada en la homogeneidad de la escala o la suma de las correlaciones entre las respuestas de los sujetos a las preguntas dentro del mismo formulario de prueba.
En nuestro caso, el coeficiente de confiabilidad alfa de Cronbach calculado para cada escala mostró un nivel de consistencia interna generalmente bastante decente, tradicional para los cuestionarios personales express, en los que las subescalas contienen un número limitado de ítems (menos de 20):
Recuerde que los estrictos requisitos psicométricos para una prueba de personalidad que funcione eficazmente corresponden al valor de los coeficientes alfa por encima de 0,8.
En nuestro caso, el nivel relativamente bajo del valor de los coeficientes de confiabilidad de Cronbach puede explicarse por el volumen significativo de estas escalas: cada escala tiene 15 preguntas diversas, lo que nos permite ampliar el alcance de los factores en estudio, sacrificando al mismo tiempo tiempo un alto nivel de consistencia interna.
Esto tuvo un efecto especialmente agudo en las escalas de factores "CONSENTIMIENTO" y "ENTRENAMIENTO", según las cuales el coeficiente alfa resultó ser inferior a 0,6.
3. Comprobación de la representatividad
En la transición de la muestra de estandarización (Fig.1 - 300 personas) a la muestra de la población (Fig.2 - 660 personas), aparece la estabilidad de la configuración de la distribución de puntos de prueba, lo que indica la representatividad de la método de prueba:
Figura 1. Muestra de estandarización (300 personas)
Figura 2. Muestra de la población (660 personas)
Además de la similitud visual de estas distribuciones, la prueba de chi-cuadrado de Pearson que usamos mostró el siguiente grado de similitud de distribuciones:
Estos valores de chi-cuadrado caen en el intervalo de incertidumbre: cuando es imposible aceptar o rechazar sin ambigüedades la hipótesis sobre la consistencia de las distribuciones.
Tal resultado puede deberse a la propiedad principal de la prueba rápida, a saber, el pequeño número de preguntas que funcionan en cada escala. Teniendo en cuenta este hecho, los resultados de la prueba de representatividad pueden considerarse satisfactorios.
4. Verificación de plausibilidad
Dado que los sujetos que fueron evaluados en el sitio se encontraban en la situación del cliente (estaban interesados en resultados confiables), los resultados obtenidos pueden considerarse confiables con una alta probabilidad.
Sin embargo, en una situación de pericia (cuando un tercero está interesado en los resultados de la prueba), los datos pueden estar distorsionados por la intervención de falsificaciones conscientes (mentiras, falta de sinceridad del sujeto) o factores motivacionales inconscientes. Para evitarlo, se ha añadido una escala de mentiras a la versión diseñada para estos casos (B5splus) (esta versión se está probando actualmente en nuestro sitio web).
Los resultados obtenidos evidencian la alta calidad y eficacia de la metodología, lo cual es importante, porque el nivel profesional de un especialista suele estar determinado por la herramienta que utiliza.
Sin embargo, debe recordarse que incluso una poderosa herramienta moderna no garantiza la ausencia total de errores. Para evitarlos, no es suficiente tener una computadora y un programa de prueba para ello. También se requiere un psicólogo experimentado para supervisar la prueba. Por lo tanto, la presencia de pruebas que han sufrido una seria adaptación psicométrica no niega en absoluto la profesionalidad y la experiencia de un psicólogo, a quien se le pide que verifique la plausibilidad de los resultados de las pruebas utilizando fuentes de información paralelas (incluida su propia observación, conversación, etc. ).
La negativa a realizar la prueba a menudo se asocia con una actitud crítica hacia ella por parte de los trabajadores publicitarios (especialmente creativos), además de ahorrar dinero y tiempo. Las pruebas pueden ralentizar el lanzamiento de una campaña publicitaria y, por lo tanto, el producto en sí. Al mismo tiempo, es obvio que con grandes presupuestos, las pruebas ayudan a evitar errores multimillonarios. También puede ser útil para los pequeños anunciantes que encuentran fácil encontrar pruebas sencillas y económicas. Como dicen los clásicos de la publicidad, "las pruebas pueden ser limitadas o incluso infructuosas, pero aún darán algo sobre lo que construir, lo que pueda guiarse".
Los investigadores cuentan varios miles de tipos de pruebas. No hay menos opiniones sobre la utilidad y corrección de realizar determinadas pruebas.
Una de las principales cuestiones de la investigación evaluativa Downgrade: "¿Qué probar exactamente?" Los mismos clásicos de la publicidad argumentaron que “el efecto de la publicidad (con la excepción de la publicidad por correo) es en gran medida inconmensurable ... Los anunciantes, por supuesto, quieren poder rendir cuentas, pero la publicidad a menudo debe medirse de maneras que sean más modestos e intangibles de lo que les gustaría. Me temo que tendremos que aceptar el hecho de que la mayoría de la publicidad podrá amortizarse completamente solo después de un largo período de tiempo, y el grado de retorno es imposible de verificar con certeza ".
De hecho, es muy difícil identificar el factor decisivo en la relación entre el mensaje publicitario en sí y su impacto (o falta de este impacto) en una persona individual. Por ejemplo, en un estudio, se pidió a un grupo de gerentes de productos y publicidad, líderes de grupos de trabajo de agencias de publicidad, profesionales creativos, profesionales de la publicidad y profesionales de la investigación que “seleccionaran los mejores anuncios de entre los que ya existen, probados exhaustivamente en el mercado. ¿Resultado? Aunque los expertos en general pudieron determinar qué anuncios se suponía que atraían a la mayor cantidad de lectores, no pudieron determinar qué anuncios ayudaron a vender más productos ". Como se mencionó anteriormente, además de la publicidad, hay muchos otros factores que afectan las ventas. Y según los expertos más autorizados, "no existen métodos de control rápido y sencillo de numerosos factores que afectan las ventas".
Según C. Sandage, V. Freiburger y K. Rotzoll, “la reacción está influenciada por muchas“ razones ”diferentes, y cada variable del estímulo genera muchos“ efectos ”. Un mismo anuncio puede, por ejemplo, irritar, informar, divertir, reforzar la confianza, inducir a la acción, se puede ignorar por completo en el momento del contacto, y luego se puede olvidar rápidamente o recordar parcialmente, también puede provocar un cambio de actitud. o conciencia. Por lo tanto, está bastante claro que al decidir qué parámetros de la respuesta utilizar, el investigador debe guiarse en gran medida por el sentido común ".
En vista de lo anterior, parece claro que el anuncio debe verse (antes de que se pueda responder). Después del contacto con la publicidad, una persona también debe conocer la marca comercial o el nombre de la empresa, comprender las propiedades, ventajas y beneficios del producto. Una persona puede desarrollar una disposición racional o emocional para comprar un producto en particular. A esto se puede agregar la opinión de la gerencia de uno de los mayores anunciantes del mundo, General Motors: "La efectividad se medirá principalmente por la confiabilidad, la capacidad de usar las emociones y la persuasión de la publicidad".
Se pueden probar respuestas humanas específicas. En este caso, se deben evaluar parámetros individuales o un conjunto mínimo, ya que los intentos de analizar demasiados parámetros publicitarios activos a la vez pueden confundir los resultados. Sin embargo, cuantos más parámetros se prueben en general, más preciso será el resultado final. “Con un análisis cuidadoso de solo uno o dos aspectos periféricos de la efectividad de la publicidad, los resultados de sus pruebas pueden parecer demasiado estériles y poco realistas para aquellos que tendrán que usarlos en el proceso de toma de decisiones. Si equipara acríticamente el grado de memorabilidad y el impacto o cambio en la actitud y las ventas, se queda con la oportunidad de confiar en una fe que no ofrece ninguna garantía ".
Entonces, para verificar la efectividad de la publicidad terminada o casi terminada, se llevan a cabo varios estudios o pruebas evaluativas. Le permiten ahorrar dinero ajustando su anuncio antes de que se financien los fondos de distribución. Por lo tanto, las pruebas ayudan a evitar errores multimillonarios. Además, la investigación evaluativa puede ser útil después de la colocación publicitaria, por ejemplo, al evaluar los procesos de influencia de la publicidad en las ventas actuales.
Sin embargo, desde el punto de vista de los profesionales, no todas las investigaciones y no siempre tienen valor. A veces, no solo pueden ayudar, sino también dañar el trabajo. La intuición de los profesionales puede ser una herramienta más precisa que la investigación científica. Las pruebas y sus resultados no son decisiones en sí mismas; solo brindan a los profesionales información que, cuando se usa junto con la experiencia empírica del anunciante, les permite tomar decisiones informadas.
Este capítulo ha cubierto los diferentes tipos de pruebas utilizadas en publicidad, diferentes métodos de prueba, criterios de prueba y pasos de prueba. También se consideraron las características de las pruebas publicitarias en varios medios, para lo cual a menudo se utilizan diferentes enfoques.
Se prestó especial atención a los preliminares t estilo (pruebas preliminares), ya que aumenta la probabilidad de preparar los textos más efectivos antes de gastar el dinero en publicidad.
Otro tipo de prueba, la prueba posterior (o prueba final), por su parte, no tiene la principal desventaja inherente a la prueba preliminar: una cierta cantidad de artificialidad. En la prueba final, el comportamiento de las personas no se distorsiona, es natural, realista. Durante la prueba final, se tienen en cuenta una serie de factores que también afectan seriamente los resultados. En primer lugar, se trata de las particularidades de los medios de distribución de publicidad, el momento de la colocación de la publicidad, la frecuencia de su presentación a los consumidores, etc.
Si todo el mensaje publicitario, por regla general, se prueba para determinar la capacidad de estimular las ventas, la persuasión, el reconocimiento y la memorabilidad de un producto o marca, entonces el texto publicitario generalmente se prueba solo para determinar su capacidad de persuasión. En tales pruebas, la atención se centra principalmente en la comprensión del título, el eslogan, los códigos y las palabras clave.
Hoy estamos obteniendo nuevas herramientas de prueba. Por ejemplo, los titulares, las palabras clave se pueden probar con éxito utilizando un sistema de publicidad contextual.
Cada método de valoración tiene una combinación específica de ventajas y desventajas, así como diferentes costos. Un medio importante y muy simple, y lo más importante, económico de comprobar la eficacia de los textos publicitarios son las listas de verificación (listas de verificación de preguntas).
Versión en video de la conferencia " Probando la efectividad de la publicidad moderna"
(preparándose para publicación)
Se puede encontrar información más detallada sobre este tema en el libro de A. Nazaykin
