Principios y métodos básicos para realizar un estudio piloto
Tras la selección de métodos psicológicos para llevar a cabo las medidas de PPO, se debe comprobar su previsibilidad, es decir, se debe evaluar su capacidad para resolver las tareas que se les asignan: diferenciación de todos los sujetos en cuanto a la gravedad de la CVP y previsión de la probabilidad de éxito en actividades profesionales. Para este propósito, se lleva a cabo un llamado estudio piloto.
El concepto de "estudio piloto" (a veces también llamado estudio piloto) está bastante extendido en psicología. Además, estos conceptos muy a menudo implican eventos completamente diferentes llevados a cabo con diferentes objetivos. Sin embargo, si generalizamos todo lo que se entiende por este concepto, entonces su significado se reduce a realizar un estudio “de prueba”, “evaluativo” o “indicativo”.
La esencia del estudio piloto, realizado para evaluar la previsibilidad de los métodos de psicodiagnóstico, es examinar un grupo de personas que ya están realizando actividades profesionales para las cuales se planea realizar una selección. Al mismo tiempo, se asume que las personas que se desempeñan en esta especialidad tienen características individuales psicológicas y personales que dificultan o, por el contrario, contribuyen al desempeño exitoso de las funciones profesionales. Por lo tanto, si las cualidades profesionalmente importantes se identificaron correctamente, si los métodos se eligieron correctamente, entonces los resultados del estudio deberían tener una estrecha relación con los indicadores de éxito.
Al realizar un estudio piloto, siempre hay dos problemas que resolver:
- cómo determinar los criterios para el éxito de las actividades, en relación con los cuales se evaluará el valor predictivo de los métodos seleccionados;
- cómo formar un grupo de personas que serán examinadas.
Por regla general, cuando se forma un grupo de sujetos para comprobar la previsibilidad de los métodos seleccionados, se toma una de dos decisiones fundamentales: examinar dos grupos de personas que tienen indicadores polares del éxito de sus actividades profesionales, o realizar una encuesta basado en el principio de muestreo aleatorio, es decir, examinar a todos los que sea posible.
Si la evaluación del valor predictivo de los métodos seleccionados se lleva a cabo sobre la base de los resultados de una encuesta de grupos polares, el trabajo experimental se lleva a cabo en el siguiente orden.
- Sobre la base de criterios claramente definidos para el éxito de las actividades, se forman dos grupos de empleados: exitosos y no exitosos, y los grupos encuestados deben ser comparables en edad y género.
– En la etapa final, se realiza un análisis matemático y estadístico de los resultados.
Para implementar este enfoque en la práctica, en primer lugar, es necesario asegurar la representatividad de la muestra, lo que requerirá un grupo de personas suficientemente grande. Hablando de la cantidad de grupos, debemos recordar los requisitos que se mencionaron anteriormente (ver Capítulo 8). Con base en estos requisitos, se puede argumentar que para garantizar la confiabilidad estadística de los resultados, ambos grupos de empleados exitosos y no exitosos en comparación entre sí deben tener al menos 30 personas cada uno. Sin embargo, es extremadamente raro proporcionar un tamaño de muestra de este tipo, aunque solo sea porque es poco probable que la administración de una organización o empresa tolere una cantidad tan grande de empleados sin éxito. Por lo tanto, si bien una encuesta de grupos polares es ideal, cuando se realiza un estudio piloto durante el desarrollo de un sistema PSA, los desarrolladores encuestan a una muestra aleatoria de empleados en una empresa.
Al realizar un estudio piloto sobre el principio del muestreo aleatorio, por regla general, se examinan todos los empleados que desempeñan las mismas funciones profesionales, es decir, representantes de la misma profesión. En este caso, el orden de trabajo es el siguiente:
- se realiza una encuesta a los empleados de la empresa que desempeñan funciones profesionales para el puesto respecto del cual se supone que debe realizar una selección psicológica profesional;
– en la etapa final, se realiza un análisis matemático y estadístico de los resultados obtenidos.
Sin embargo, debe tenerse en cuenta que hay casos en los que ninguno de los dos métodos para realizar un estudio piloto mencionado anteriormente es adecuado para su implementación en condiciones específicas. Por ejemplo, esto sucede cuando se está desarrollando un sistema de selección profesional para profesiones de nueva creación. Además, hay situaciones en las que no es posible seleccionar el número de personas necesario para realizar un estudio piloto. En este caso, el psicólogo tiene que modelar una muestra de sujetos; Entonces las etapas del estudio experimental serán las siguientes:
- en la primera etapa, se modela una muestra experimental de sujetos y se realizan pruebas psicológicas;
- en la segunda etapa se realiza un análisis matemático y estadístico de los resultados obtenidos.
La etapa más difícil en esta versión del estudio piloto es la etapa de modelado de la muestra experimental, ya que de ella depende la precisión de evaluar el cumplimiento de los métodos seleccionados con las condiciones para realizar las tareas del PES. Al modelar una muestra experimental, se debe tener en cuenta la edad esperada de las personas que deberán desempeñar las funciones profesionales pertinentes, así como su género y educación. Al mismo tiempo, es deseable que la actividad profesional que realmente realicen presente requisitos de contenido muy cercano a que los empleados tengan las cualidades profesionales apropiadas y necesarias para trabajar con éxito en un nuevo puesto. También es deseable tener en cuenta que el tamaño de la muestra simulada debe ser de al menos 55 a 60 personas, e idealmente al menos 100.
Cabe señalar que todas las opciones para realizar un estudio piloto para evaluar la predictibilidad de los métodos que se supone que se utilizarán en las actividades del Ministerio Público tienen una etapa muy similar: un análisis matemático y estadístico de los resultados obtenidos. Sin embargo, el contenido y el procedimiento para implementar esta etapa pueden ser diferentes. Consideremos esta etapa con más detalle.
^
Análisis matemático y estadístico de los resultados del estudio piloto
Al realizar un análisis matemático y estadístico de los resultados de un estudio piloto, realizado sobre la base de pruebas de grupos polares (contrastantes), por regla general, no se evalúa la distribución normal de los resultados, ya que se supone que los resultados del dos grupos examinados diferirán significativamente. Por lo tanto, en primer lugar, se realiza una búsqueda de diferencias en los resultados de las pruebas realizadas por representantes de los grupos estudiados. Para esto, se usa con mayor frecuencia. t- Criterio del alumno. Al mismo tiempo, primero se evalúa el grado de diferencia en todo el grupo y luego en función de la edad y el género. En el transcurso de este análisis se identifican métodos en los que los grupos encuestados tienen diferencias bastante claras, así como aquellos en los que no se encontraron diferencias significativas. Es bastante natural que los métodos que enfatizan las diferencias entre los grupos comparados de trabajadores exitosos y no exitosos se incluyan en la lista de métodos recomendados para su uso en actividades de selección profesional.
Es algo más difícil tomar una decisión sobre el uso de métodos en las actividades de selección profesional que no nos permitieron detectar diferencias en los grupos de trabajadores comparados. ¿A qué debe prestar atención al analizar los resultados de tales pruebas? En primer lugar, por la presencia en la lista de pruebas ensayadas de dos o tres métodos que evalúan la misma calidad psicológica. Si así se hizo y se establecieron diferencias para algunos métodos, pero no para otros, entonces solo aquellos métodos que confirmaron la existencia de diferencias entre los grupos comparados quedan en la lista de métodos que serán recomendados para la selección profesional. En consecuencia, aquellos métodos para los que no se encontraron diferencias deben ser excluidos de la lista.
Si, para estudiar alguna cualidad profesionalmente importante, solo se incluyó un método en la lista de métodos probados durante el estudio piloto y, según los resultados de su implementación, no se encontraron diferencias entre los grupos comparados de trabajadores exitosos y no exitosos, entonces la decisión sobre la conveniencia de su uso en actividades de selección profesional es aún más complicada. En primer lugar, se valora el grado de importancia de esta cualidad de importancia profesional en la estructura global del PVK. Si esta cualidad es secundaria, entonces en algunos casos esta cualidad puede ser descuidada y la prueba, que no permitió establecer diferencias entre grupos, puede ser excluida de la lista de métodos recomendados para su uso en eventos de selección profesional. En segundo lugar, la magnitud de la desviación de la obtenida t- criterio a partir de los valores de las diferencias significativas. Como sabes, en estadística hay una variedad de niveles de confiabilidad de los valores que caracterizan el grado de probabilidad de un evento. Según la mayoría de autores que desarrollan una metodología para utilizar diversos métodos de análisis estadístico en psicología, como indicadores confiables t- Los criterios de Student, que caracterizan las diferencias entre dos grupos de personas, deben tomarse aquellos que correspondan a un nivel de probabilidad de al menos el 95%, es decir. R < 0.05. En consecuencia, los indicadores por debajo de este valor deben clasificarse como poco fiables.
Este punto de vista está bastante justificado en relación con varios estudios psicológicos. Sin embargo, al desarrollar un sistema PPO, se debe tener en cuenta la naturaleza de una u otra cualidad profesionalmente importante. Por lo tanto, existen tales PVK que pueden manifestarse completamente solo cuando se realizan actividades profesionales reales. Por ejemplo, muchos métodos para evaluar la resistencia al estrés de una persona demuestran el mejor rendimiento para diferenciar sujetos en términos del desarrollo de esta cualidad solo cuando los sujetos se encuentran en una situación estresante. Por lo tanto, siempre se debe tener en cuenta que durante las pruebas psicológicas, el sujeto se encuentra en condiciones de solo prueba, y no de actividad real. Es esta circunstancia la que determina la necesidad de evaluar la magnitud de la desviación del indicador obtenido t- criterio a partir de valores caracterizados como confiablemente significativos. En algunos casos, los indicadores t- los criterios que ni siquiera han alcanzado el nivel de indicadores confiablemente significativos pueden evaluarse como suficientes. Por ejemplo, al comparar los resultados de dos grupos de 30 personas en cada uno, el indicador se considera significativamente significativo t- criterios de 2042 o más, pero cómo tratar t = 1.711 o 1.800? El valor de este indicador t- criterio no alcanza el nivel de significancia en el que se acostumbra en psicología hablar de alta confiabilidad. Sin embargo, desde un punto de vista estadístico, es bastante significativo. En el caso de comparar los resultados de un examen psicológico de dos grupos comparados de 30 personas en cada uno, el valor t- criterio más de 1.697 y menos de 2.042 indica que hay un 90% (R < 0.1) la probabilidad de que estos grupos realmente tengan diferencias en la severidad de las características psicológicas correspondientes. En este caso, es costumbre en psicología hablar de tendencias existentes. Dado que se ha identificado una tendencia, no es posible rechazar el uso o, por el contrario, recomendar dicha técnica para su uso en eventos de selección profesional sin un análisis adicional.
Un análisis más detallado es identificar la relación entre los puntajes de las pruebas y las tasas de éxito. Para esto, se utiliza el análisis de correlación, un método de estadística matemática que le permite detectar una relación entre las características individuales de un objeto. En este caso, se supone que si el éxito de la actividad se debe realmente a algunas cualidades psicológicas, entonces debería existir una estrecha relación entre los indicadores del desarrollo de esta cualidad (evaluados mediante pruebas) y los indicadores del éxito de la actividad. Si en el curso del análisis de correlación se estableció tal relación para los indicadores de prueba, según la cual solo se reveló una tendencia a lograr diferencias significativas (es decir, las diferencias en los indicadores según este método entre los dos grupos corresponden a R < 0.1), entonces puede ser utilizado en eventos de selección profesional. Si el coeficiente de correlación no ha alcanzado el nivel de significación significativa, entonces no se recomienda utilizar dicha prueba en eventos de selección profesional.
Cabe señalar que los resultados del análisis de correlación actúan como determinantes para evaluar cuál de los dos o tres métodos que caracterizan el nivel de desarrollo de la misma cualidad psicológica es recomendable utilizar en la estructura de las medidas de la PPO. Como se mencionó anteriormente, al realizar un estudio piloto, es posible, y en ocasiones muy recomendable, utilizar varios métodos psicológicos (pruebas paralelas) que evalúen la misma calidad, ya que las pruebas psicológicas a veces demuestran diferente confiabilidad y validez en diferentes muestras y bajo diferentes condiciones. . Si durante el análisis matemático y estadístico de los resultados de la encuesta piloto se encontró que las pruebas paralelas tienen indicadores iguales al comparar grupos polares, entonces se da preferencia al método que tiene indicadores más altos en el análisis de correlación. Se supone que todos los coeficientes (y t- criterio y coeficiente de correlación) debe alcanzar el nivel de significación significativa, de lo contrario no tiene sentido comparar los métodos. Siempre debe recordarse que la consideración principal en la selección de métodos se da a los indicadores de significancia estadística.
A diferencia de la versión anterior del estudio piloto, cuando se examina una muestra aleatoria de empleados de una empresa u organización, utilizando un análisis matemático y estadístico de los resultados, en primer lugar, se determina la proximidad de los indicadores de prueba obtenidos a una distribución normal. juzgado. Si se cumple este requisito, entonces se puede argumentar que el método utilizado permite clasificar a las personas según el nivel de desarrollo de la cualidad psicológica que se pretende evaluar. Si no se obtiene una distribución normal, entonces se cuestiona la posibilidad de utilizar la prueba probada en la estructura de eventos de selección profesional. Por lo tanto, el análisis posterior se reduce a evaluar la naturaleza de la distribución de los indicadores de prueba obtenidos.
Como regla general, al analizar la distribución de los puntajes de las pruebas, se puede encontrar una de tres opciones:
– distribución cercana a la normal;
- la parte superior del gráfico de distribución se desplaza hacia la derecha o hacia la izquierda (asimetría derecha o izquierda);
- el gráfico de distribución tiene dos o más picos.
La primera opción de distribución es ideal y, como se señaló anteriormente, elimina en esta etapa del análisis todas las preguntas sobre la idoneidad del uso de la prueba en la estructura de eventos de selección profesional.
En la segunda opción, cuando se observa la asimetría izquierda o derecha de los indicadores, es necesario tener en cuenta las características de diseño de la prueba y las características de la muestra de sujetos. Por ejemplo, con un alto nivel de desarrollo de PVK, la mayoría de los sujetos tendrán asimetría correcta. A menudo, este fenómeno se observa si se realizó alguna selección en la etapa de contratación. Por tanto, ante una asimetría justa, es necesario analizar la experiencia laboral de los sujetos, la eficacia de sus actividades, el nivel de formación profesional, etc. Por regla general, dicho análisis permite detectar una regularidad en la ocurrencia de asimetría debido a las características de la muestra de sujetos.
Sin embargo, la asimetría también puede deberse a las características de diseño de la prueba. Desde este punto de vista, es necesario analizar la posibilidad de eliminar esta asimetría mediante el desarrollo de una escala normalizada, es decir, una escala que se forma al traducir los indicadores "en bruto" a los estándar (stans, stanins, etc.). Por ejemplo, al utilizar una escala normalizada se obtuvieron resultados asimétricos. En este caso, se intenta hacer ajustes a la escala normalizada existente. Si la asimetría se obtuvo en indicadores "en bruto", entonces se intenta eliminarla desarrollando una escala normalizada estándar apropiada.
Además, la decisión de utilizar la prueba en actividades de selección profesional se toma mediante la comparación mutua de los resultados del análisis de las características de la muestra y las características de diseño de la prueba. Sin embargo, si los intentos de crear una escala normalizada o realizar cambios en una escala existente no han tenido éxito y la asimetría no se puede compensar, entonces sigue siendo inapropiado recomendar dicha prueba para su uso en eventos de selección profesional.
Uno de los casos más difíciles de análisis de distribución es el caso de la presencia de varios picos en el gráfico de distribución de puntajes de prueba. Esta es la denominada variante de la distribución con curtosis negativa, lo que indica un sesgo en la mayoría de los resultados hacia valores polares. Esta distribución puede tener sus propias explicaciones. En primer lugar, todas las mismas características de la muestra. Sin embargo, si la curtosis negativa es realmente causada por las características de la muestra, entonces debería ser inherente no a una técnica, sino a varias a la vez. Es este fenómeno el que se puede observar en el análisis de los resultados obtenidos del examen de grupos polares bien elegidos. Si la curtosis negativa es inherente solo a uno o dos métodos, lo más probable es que se deba a las características de diseño de la prueba. En este caso, se debe abandonar el uso de la prueba en actividades de selección profesional o aumentar el tamaño de la muestra de los sujetos y realizar un segundo examen de los sujetos.
Después de analizar la naturaleza de la distribución de los indicadores de prueba durante una encuesta piloto de una muestra aleatoria, se lleva a cabo un análisis de correlación. En esta etapa se eliminan aquellos métodos que no tengan correlaciones significativas confiables con indicadores del éxito de la actividad profesional.
En la etapa final del análisis matemático y estadístico de los resultados de un estudio piloto realizado sobre una muestra aleatoria, se evalúa la capacidad de las pruebas para diferenciar todos los examinados en relación con los criterios de éxito. Para ello, entre los encuestados, se distinguen tres grupos de personas, con tasas de éxito altas, medias y bajas. Luego, los resultados de la prueba se comparan entre los grupos de alto y bajo éxito. Las pruebas para las que se obtuvieron diferencias significativas entre los grupos comparados y las pruebas que mostraron la presencia de tendencias positivas, pueden considerarse recomendadas para su inclusión en la lista de métodos previstos para su uso en eventos de selección profesional.
Sin embargo, la mayoría de las veces, al examinar una muestra aleatoria, los psicólogos se enfrentan a una situación en la que no es posible formar grupos de control con tasas de éxito altas o bajas. Esto se debe a un tamaño de muestra insuficiente. Por lo tanto, el análisis inverso es posible. Para ello, todas las asignaturas se dividen en varios grupos en relación con los indicadores de una sola prueba, tras lo cual se analizan los indicadores de éxito de las actividades entre los grupos seleccionados. Si se encuentran diferencias en los indicadores de desempeño entre grupos de personas (al menos a nivel de regularidades, es decir, R < 0.1 o superior), entonces la prueba puede recomendarse para su uso en eventos de selección profesional.
En el curso de un estudio piloto de una prueba, se debe realizar un trabajo similar para cada examinado. Además, también debe tenerse en cuenta que en la lista final de métodos recomendados para resolver los problemas de selección profesional, no deben existir pruebas paralelas. Por lo tanto, si se utilizan métodos paralelos en el estudio piloto, en la etapa final se debe elegir entre ellos aquellos que mostraron el mejor poder predictivo.
Otra opción para un estudio piloto es una encuesta de una muestra experimental simulada. Esta opción se lleva a cabo en situaciones en las que no es posible examinar a las personas que realizan actividades profesionales para las que está prevista la selección. El inconveniente más significativo en esta situación es la falta de indicadores de desempeño. Como resultado, no es posible obtener resultados de análisis altamente confiables que caractericen el valor predictivo de las pruebas evaluadas. Por lo tanto, cualesquiera que sean los resultados que se obtengan, pueden considerarse como preliminares, y después de la acumulación en el curso del uso práctico de las pruebas del material, todo el análisis debe llevarse a cabo de nuevo y en su totalidad. Sin embargo, incluso con esta versión del estudio piloto, se utilizan métodos de análisis matemático y estadístico. Se considera oportuno analizar la distribución de indicadores de las pruebas utilizadas. Los métodos, según los resultados de los cuales los indicadores de los examinados no corresponden a una distribución normal, por regla general, están excluidos de la lista de métodos recomendados para su uso en PES.
Concluyendo la conversación sobre el análisis de los resultados del estudio piloto, que es una de las etapas en el desarrollo del sistema PPO, se debe enfatizar que la revisión presentada considera solo las técnicas y métodos más comunes para analizar los resultados del encuesta de grupos experimentales. En las condiciones específicas de creación de un sistema de selección psicológica profesional, se pueden utilizar otros métodos de análisis. Por lo tanto, un psicólogo que resuelva los problemas de selección profesional no solo debe conocer las pruebas psicológicas, sino también estar bien versado en estadística matemática.
Tras la selección de métodos psicológicos para llevar a cabo las medidas de PPO, se debe comprobar su previsibilidad, es decir, se debe evaluar su capacidad para resolver las tareas que se les asignan: diferenciación de todos los sujetos en cuanto a la gravedad de la CVP y previsión de la probabilidad de éxito en actividades profesionales. Para este propósito, se lleva a cabo un llamado estudio piloto.
El concepto de "estudio piloto" (a veces también llamado estudio piloto) está bastante extendido en psicología. Además, estos conceptos muy a menudo implican eventos completamente diferentes llevados a cabo con diferentes objetivos. Sin embargo, si generalizamos todo lo que se entiende por este concepto, entonces su significado se reduce a realizar un estudio “de prueba”, “evaluativo” o “indicativo”.
La esencia del estudio piloto, realizado para evaluar la previsibilidad de los métodos de psicodiagnóstico, es examinar un grupo de personas que ya están realizando actividades profesionales para las cuales se planea realizar una selección. Se supone que las personas que trabajan en esta especialidad
tienen características psicológicas y personales individuales que interfieren o, por el contrario, contribuyen al desempeño exitoso de los deberes profesionales. Por lo tanto, si las cualidades profesionalmente importantes se identificaron correctamente, si los métodos se eligieron correctamente, entonces los resultados del estudio deberían tener una estrecha relación con los indicadores de éxito.
Al realizar un estudio piloto, siempre existe la necesidad de resolver dos problemas: cómo determinar los criterios para el éxito de la actividad, en relación con los cuales se evaluará el valor predictivo de los métodos seleccionados; cómo formar un grupo de personas que serán examinadas.
Por regla general, cuando se forma un grupo de sujetos para comprobar la previsibilidad de los métodos seleccionados, se toma una de dos decisiones fundamentales: examinar dos grupos de personas que tienen indicadores polares del éxito de sus actividades profesionales, o realizar una encuesta basado en el principio de muestreo aleatorio, es decir, examinar a todos los que sea posible.
Si la evaluación del valor predictivo de los métodos seleccionados se lleva a cabo sobre la base de los resultados de una encuesta de grupos polares, el trabajo experimental se lleva a cabo en el siguiente orden. Sobre la base de criterios claramente definidos para el éxito de las actividades, se forman dos grupos de empleados: exitosos y no exitosos, y los grupos encuestados deben ser comparables en edad y género. A continuación, se realiza una encuesta y se procesan los resultados primarios. En la etapa final, se lleva a cabo un análisis matemático y estadístico de los resultados.
Para implementar este enfoque en la práctica, en primer lugar, es necesario asegurar la representatividad de la muestra, lo que requerirá un grupo de personas suficientemente grande. Hablando de la cantidad de grupos, debemos recordar los requisitos que se mencionaron anteriormente (ver Capítulo 8). Con base en estos requisitos, se puede argumentar que para garantizar la confiabilidad estadística de los resultados, ambos grupos de empleados exitosos y no exitosos en comparación entre sí deben tener al menos 30 personas cada uno. Sin embargo, es extremadamente raro proporcionar un tamaño de muestra de este tipo, aunque solo sea porque es poco probable que la administración de una organización o empresa tolere una cantidad tan grande de empleados sin éxito. Por lo tanto, si bien una encuesta de grupos polares es ideal, cuando se realiza un estudio piloto durante el desarrollo de un sistema PSA, los desarrolladores encuestan a una muestra aleatoria de empleados en una empresa.
Al realizar un estudio piloto sobre el principio del muestreo aleatorio, por regla general, se examinan todos los empleados que desempeñan las mismas funciones profesionales, es decir, representantes de la misma profesión. En este caso, el orden de trabajo es el siguiente: se realiza una encuesta a los empleados de la empresa que desempeñan funciones profesionales para el puesto respecto del cual se supone que debe realizar una selección psicológica profesional; además, se determinan los criterios para el éxito de la actividad profesional y, si es posible, se desarrolla un indicador integral de éxito; en la etapa final se realiza un análisis matemático y estadístico de los resultados obtenidos.
Sin embargo, debe tenerse en cuenta que hay casos en los que ninguno de los dos métodos para realizar un estudio piloto mencionado anteriormente es adecuado para su implementación en condiciones específicas. Por ejemplo, esto sucede cuando se está desarrollando un sistema de selección profesional para profesiones de nueva creación. Además, hay situaciones en las que no es posible seleccionar el número de personas necesario para realizar un estudio piloto. En este caso, el psicólogo tiene que modelar una muestra de sujetos; luego, las etapas del estudio experimental serán las siguientes: en la primera etapa, se modela una muestra experimental de los sujetos y se realizan pruebas psicológicas; en la segunda etapa se realiza un análisis matemático y estadístico de los resultados obtenidos.
La etapa más difícil en esta versión del estudio piloto es la etapa de modelado de la muestra experimental, ya que de ella depende la precisión de evaluar el cumplimiento de los métodos seleccionados con las condiciones para realizar las tareas del PES. Al modelar una muestra experimental, se debe tener en cuenta la edad esperada de las personas que deberán desempeñar las funciones profesionales pertinentes, así como su género y educación. Al mismo tiempo, es deseable que la actividad profesional que realmente realicen presente requisitos de contenido muy cercano a que los empleados tengan las cualidades profesionales apropiadas y necesarias para trabajar con éxito en un nuevo puesto. También es conveniente tener en cuenta que el volumen de la muestra simulada debe ser de al menos 55-60 personas, e idealmente de al menos 100.
Cabe señalar que todas las opciones para realizar un estudio piloto para evaluar la predictibilidad de los métodos que se supone que se utilizarán en las actividades de los SPE tienen una etapa muy similar: un análisis matemático y estadístico de los resultados obtenidos. Sin embargo, el contenido y el procedimiento para implementar esta etapa pueden ser diferentes. Consideremos esta etapa con más detalle.
Más sobre el tema Principios y métodos básicos para realizar un estudio piloto:
- 3. Conceptos básicos y experiencia en investigación de mercados 3.1. Contenido y direcciones de la investigación de mercados.
Un estudio piloto puede llevarse a cabo con varios propósitos: probar las principales hipótesis del programa, identificar las características individuales de un objeto para determinar las más estables para su posterior desarrollo en profundidad, clarificar la eficacia de la metodología en su conjunto o sus partes individuales, verificación preliminar de la confiabilidad de los resultados de la encuesta, etc.
Hay varias formas de realizar un estudio piloto. Se puede realizar en muestras pequeñas y grandes. Si esto es requerido por el programa de investigación, entonces el pilotaje del cuestionario puede llevarse a cabo con una muestra representativa grande. En esencia, dicho pilotaje a veces actúa como un estudio empírico independiente, que no requiere menos esfuerzo y tiempo que el estudio principal.
Sin embargo, normalmente se lleva a cabo un estudio piloto en una matriz pequeña. No se establece el número exacto de sujetos en este caso, ya que en cada caso puede ser diferente. La práctica muestra que el número de encuestados con mayor frecuencia no supera las 50-100 personas. Este número de encuestados es suficiente para resolver los problemas que enfrenta el estudio piloto. Una condición necesaria es que el objeto de la investigación sean aquellas personas que, en sus características principales, correspondan al objeto principal de la investigación. Al mismo tiempo, la encuesta piloto no se lleva a cabo en el objeto principal, sino en otro "campo", cercano en sus características al principal. Esto se hace para no estropear el "campo" principal del estudio, ya que cualquier estudio, incluso el más pequeño, obtiene una respuesta y, de una forma u otra, puede tener un impacto en el estudio principal. Entonces, si el objeto principal de la investigación son los trabajadores de una empresa industrial, entonces en una encuesta piloto, el objeto también debería ser los trabajadores de una empresa industrial, pero de una empresa diferente.
El orden de la encuesta piloto es muy importante. A pesar de que el cuestionario se está preparando para una encuesta a distancia, en un estudio piloto es mejor presentarlo en forma de entrevista formalizada. La ventaja de una entrevista formalizada es que, además del hecho de que los resultados de la encuesta piloto se analizarán en la totalidad de las respuestas, también proporciona observaciones directas de los entrevistadores sobre la reacción de los encuestados a una pregunta en particular y a todo el cuestionario. cuestionario en su conjunto. Los entrevistadores suelen ser miembros del grupo de investigación o personas especialmente capacitadas para este fin. Al final de la encuesta, los entrevistadores escriben breves informes sobre los resultados de cada entrevista. Dichos informes escritos, aunque toman mucho tiempo y esfuerzo y no son agradables para todos los entrevistadores, juegan un papel importante en el estudio piloto. Son de gran interés como documento de observación directa, y su análisis es de suma importancia para la finalización del cuestionario. Así es como uno de los entrevistadores describe su impresión de la encuesta en el estudio piloto.
La investigación de inteligencia a menudo se conoce como estudio piloto. Aunque es más correcto considerarlo un tipo independiente de investigación sociológica. Los estudios de reconocimiento y piloto son similares en dos aspectos:
♦ Objetivo - obtener datos aproximados sobre un fenómeno en particular o probar la aplicación de la metodología a estudios de mayor escala.
« Un objeto - Para realizar ambos estudios se necesita un conjunto insignificante de objetos, por lo que se realizan en un tiempo limitado.
Pero a diferencia del reconocimiento, un estudio piloto está diseñado para elaborar procedimientos y técnicas técnicas, con mayor frecuencia para probar un cuestionario. Según J. Mannheim y R. Rich, una verificación preliminar del instrumento de la encuesta es tan importante para el éxito del estudio como lo es una prueba de manejo para la compra exitosa de un automóvil usado. Ayuda a detectar problemas que solo pueden manifestarse plenamente en el campo.
Al realizar un estudio piloto, es necesario tener en cuenta las reglas:
4 El tamaño de la muestra en el estudio piloto no tiene una justificación metodológica clara. Por lo general, se considera suficiente entrevistar a unos 30 encuestados. Solo es importante que representen todas las categorías esenciales del objeto de estudio planificado.
Una pequeña muestra piloto no necesariamente tiene que ser representativa de la población general. Mucho más importante es su otra cualidad, la diversidad: debe incluir aquellos grupos de encuestados que pueden responder al instrumento. diferentemente. Si las personas con poca educación constituyen una pequeña proporción de la muestra futura, deben ser entrevistadas en primer lugar precisamente porque es posible que no respondan sus preguntas inteligentes de la manera esperada.
“La muestra piloto incluye a aquellos encuestados que representan las características sociodemográficas más importantes para el tema de la encuesta (género, edad, educación, experiencia laboral, contenido del trabajo, etc.).
En psicología social, se utiliza un estudio piloto (el término de trabajo es "sondeo") para establecer el tamaño de muestra requerido, aclarar el contenido y el número de preguntas en el cuestionario, el tiempo de la encuesta, etc. En la práctica nacional y extranjera de el uso de pruebas (testología) de pilotaje (el término de trabajo es “prueba previa”) sirve como medio para identificar algunos de los estándares de la prueba principal.
En sociología, las acrobacias aéreas se realizan antes del estudio principal y actúan como una forma de probar la validez de las hipótesis y tareas, así como el nivel profesional y la sofisticación metodológica de las herramientas. El pilotaje ayuda a evaluar la corrección del modelo de muestreo y hacer las correcciones apropiadas, si es necesario; aclarar algunas características del objeto y sujeto del estudio, justificar los costos financieros y el tiempo del estudio principal. La prueba piloto también es útil para capacitar a un grupo de entrevistadores (cuestionarios).
Los sociólogos modernos se adhieren a la regla: antes de enviar un cuestionario de gran circulación, es recomendable probarlo en una encuesta de circulación pequeña (piloto) para aclarar si los encuestados entienden las preguntas correctamente, si es demasiado largo y tedioso , cuánto tiempo se tarda en llenar (o entrevistar), y en el caso de envío por correo, cuántos días transcurren desde el momento en que se envía el cuestionario hasta la recepción de las respuestas.
Shmerlina I.A. Principios procedimentales de la sociología de la investigación. proc. tolerancia // http://www.unn.ac.ru/ras/fl4/k2/courses/shmern.htm
Un estudio piloto es un estudio de acuerdo con un plan "acortado": utiliza muestras pequeñas, la información no se recopila en su totalidad, la información recibida se analiza solo de acuerdo con los criterios más significativos. Si se lleva a cabo un estudio piloto en el ciclo de estudio de un problema bien estudiado, le permite "perfeccionar" las herramientas de investigación, identificar y eliminar sus defectos y defectos en los enfoques del análisis matemático. La realización de un estudio piloto en este caso permite evitar la recopilación de información sobre preguntas “vacías”, cuyas respuestas de los encuestados no están sujetas a análisis o son interpretadas inadecuadamente (ambiguamente) por los propios encuestados. Para un estudio exploratorio (investigación en un área subdesarrollada), un estudio piloto proporciona información para aclarar muchos puntos del programa, lo que además proporciona un ahorro considerable en recursos.
El pilotaje es útil para: a) probar la instrumentación en la que el investigador confía bastante, b) mejorar la instrumentación en una situación en la que el investigador conoce menos al sujeto de la investigación. En el primer caso, la caja de herramientas pasa una prueba preliminar en su versión final. En el segundo, el investigador puede querer experimentar con diferentes versiones (diseños) de la herramienta para descubrir cuál es más conveniente para su trabajo. Este tipo de prueba previa puede incluir:
1. Prueba de varias formulaciones verbales y formas de preguntas.
2. Probar el cuestionario, que está destinado a que el encuestado lo complete por sí mismo, en una entrevista personal, de modo que en el proceso de comunicación en vivo con el encuestado, se revelan posibles dificultades para completarlo.
3. El uso de preguntas abiertas para identificar respuestas típicas, que luego pueden incluirse en un conjunto de respuestas a preguntas cerradas para usar estas últimas en la versión final.
4. Probar diversos tipos de instrumentos (cuestionarios por correo, entrevistas presenciales, entrevistas telefónicas) para determinar la idoneidad de cada uno de ellos 2 .
Arroz. 28. Probando diferentes tipos de herramientas
El pilotaje puede considerarse un ensayo general para el estudio principal. Le permite sacar las primeras conclusiones sobre qué tan exitosamente ha pasado el etal de preparación, cuáles pueden ser los resultados esperados. En el curso de una encuesta de este tipo, se recopila información metodológica, es decir, información sobre la calidad de las herramientas desarrolladas. Se comprueban todas las condiciones organizativas y metodológicas para futuras investigaciones, y sobre todo: la disponibilidad de los medios necesarios
Mannheim J.B., Rich R.K. Ciencias Políticas. Métodos de búsqueda. M.: Ves Mir, 1997. S. 211-212.
documentos, la actitud de los encuestados hacia la encuesta y su reacción a las preguntas del cuestionario. Al evaluar la calidad de la metodología de la encuesta, el sociólogo registra cualquier dificultad del encuestado causada por la técnica de llenado, malentendidos en el significado de las preguntas, palabras individuales. También se tienen en cuenta todos los comentarios y observaciones de los entrevistadores sobre las falencias metodológicas que lograron detectar.
Después de regresar de la encuesta, es mejor sentarse inmediatamente en su cuestionario, ver las respuestas a todas las preguntas, marcar las más problemáticas y luego ir al sitio y chatear con los encuestados.
El pilotaje se realiza en dos versiones. En el primero, se invita a todo el grupo de encuestados a una sala separada, donde se colocan los cuestionarios sobre mesas. Los encuestados son "introducidos" en una situación de practicaje, es decir, explican sus metas y objetivos, instruyen sobre la técnica de llenado del cuestionario y les piden que hagan comentarios críticos después de llenarlo, hablan sobre ambigüedades y aquellas cuestiones que dificultan el trabajo con el cuestionario. Los cuestionarios completados se colocan en cajas selladas, después de lo cual comienza una discusión grupal sobre el contenido de la encuesta en su conjunto. Los indicadores que permiten evaluar la idoneidad de una pregunta del cuestionario son el número de personas que no respondieron la pregunta y la naturaleza de la distribución de las respuestas en la escala utilizada en la pregunta.
La segunda versión de la encuesta piloto consiste en invitar a un grupo de 3 o 4 encuestados a discutir el cuestionario a medida que se completa: los encuestados toman notas sobre la calidad de las preguntas. Antes del inicio del pilotaje, se les introduce en la situación de una encuesta de expertos, explicando que no se analiza el contenido de las respuestas, ya que la encuesta persigue únicamente objetivos metodológicos.
¿Qué es un estudio piloto? ¿Con qué finalidad se lleva a cabo? ¿A qué tareas están dirigidas?
información general
Para empezar, definamos qué es un estudio piloto. Esta designación se utiliza para hacer referencia a comprobaciones de prueba o de búsqueda pequeña (reconocimiento) del estado de cosas existente. Entonces, si necesita aclarar problemas, establecer la tarea de manera más correcta y presentar hipótesis razonables, entonces un estudio piloto es la mejor opción para esto. Una necesidad especial puede ser en los casos en que no haya literatura sobre el tema de interés. Luego se lleva a cabo un estudio piloto para llenar el vacío de información.
¿Que representa?
Un estudio piloto es un tipo de análisis en sociología en el que el rango de tareas es significativamente limitado, el número de personas entrevistadas es pequeño, los datos no son representativos y las herramientas y el programa están extremadamente simplificados. Debido a esto, el investigador recibe solo información aproximada sobre cuál es el objeto de investigación. Este conocimiento se utiliza para la orientación general. La consigna principal de los estudios piloto es barato, rápido y aproximado. Por lo tanto, se utilizan en los casos en que el problema no se estudia en absoluto o el conocimiento al respecto es muy miserable.
¿Cómo se lleva a cabo?
Entonces, ya sabemos que un estudio piloto es un estudio sociológico. Pero, ¿cómo se lleva a cabo? Hay una gran cantidad de opciones diferentes aquí. Lo más óptimo es una entrevista informal con posibles encuestados. Pero, por desgracia, la subjetividad de las personas puede afectar sus respuestas. Para corregir los datos, se utiliza la observación de especialistas. Para ello, se puede formar un grupo focal. Pero entonces deberías concentrarte en algo específico. La encuesta de expertos también es muy popular. Estos incluyen especialistas o personas comunes, pero que necesariamente deben tener cierta actitud hacia el área del problema que interesa al investigador. Como complemento, se puede estudiar la documentación y datos estadísticos, donde se encuentra la información necesaria para confirmar/refutar la hipótesis o solucionar el problema. Las encuestas exprés también son muy populares. Es cierto que, por regla general, a pesar de su alfabetización, no se plantean la solución de problemas científicos profundos y el desarrollo de la ciencia fundamental. Con su ayuda se reconoce la importancia momentánea de algo para la sociedad. Al mismo tiempo, no importa qué actúe como objeto: la elección de Trump como presidente de los Estados Unidos, la prohibición del aborto u otra cosa. Sea como fuere, los datos se obtienen para imponerlos a procesos más grandes.
Acerca de la confiabilidad
¿Qué tan confiable es la información recibida? Considerando que un estudio piloto es un estudio piloto, este mismo hecho implica una alta cuota de riesgos. Y si todavía no lo llevan a cabo especialistas, sino un grupo de aficionados (que puede ser un departamento de personal, una revista, un círculo, el propietario de un sitio web), entonces en este caso, aunque hay información fresca y necesaria, es no obstante, no es representativo y su fiabilidad es cuestionable. A primera vista, puede ser bastante fiable. Pero si lo aborda desde un punto de vista científico, se revelarán sus fallas. Por lo tanto, tiene sentido utilizar estudios piloto solo en el caso en que no se presenten requisitos estrictos con respecto a la confiabilidad. Inicialmente, la muestra debe verse afectada. No hay requisitos metodológicos claros aquí. Como regla general, se cree que una encuesta de 3 docenas de encuestados proporcionará la información requerida. Pero al mismo tiempo, se debe tener cuidado para garantizar que entre ellos haya representantes de todas las categorías de personas que se incluyen en el estudio. Al mismo tiempo, debe esforzarse por lograr la máxima diversidad. Además, se debe tener cuidado para asegurarse de que entre los encuestados haya personas para quienes el tema tenga al menos cierta importancia. Los criterios de selección son género, educación, edad, experiencia laboral y otros criterios similares.
La importancia de los estudios piloto
En general y en general, este aspecto se consideró anteriormente. Ahora vamos a detenernos en esto con más detalle. Del nombre en sí está claro que el piloto se lleva a cabo antes del inicio del estudio principal. Es necesario para probar la validez de las tareas e hipótesis. Aunque también se puede utilizar para pruebas metodológicas de herramientas. Si es necesario, un estudio piloto ayuda a realizar ajustes al modelo que mejorarán su desempeño, le permitirán aclarar las características, el tema, justificar los costos financieros y las fechas de finalización. Después de todo, si se lleva a cabo un control completo de los estados de ánimo en la sociedad y un error se cuela en alguna parte, entonces su presencia estará plagada de problemas importantes. Este enfoque tiene un efecto beneficioso en términos de ahorro de recursos. También se pueden realizar estudios piloto para probar la efectividad y viabilidad del uso de las herramientas disponibles. También son adecuados como ensayo general para el estudio principal. En este caso, se comprueba el éxito de la primera etapa y se evalúan los resultados. Además, al estudiar un objeto nuevo, esto te permite desarrollar material metodológico. Las condiciones organizativas también se verifican al mismo tiempo: cómo se relacionan los encuestados con la encuesta, si todos los documentos necesarios están disponibles y se evalúa la calidad del material. En este caso, se registran todas las dificultades que surgen en el curso del caso.
Conclusión
El estudio piloto en sí tiene lugar, por regla general, en grupos. La única pregunta es qué tan grandes son. Hay dos opciones más populares. El primero implica invitar a todos los encuestados a una sala separada donde completan los cuestionarios. Antes de eso, se informa a las personas sobre las acrobacias aéreas, se informan y explican sus tareas y objetivos, se inspeccionan los matices de cómo completar el cuestionario y se les pide que expresen todos los comentarios. La segunda opción se basa en grupos pequeños, que constan de 3-4 personas. Al mismo tiempo, se discuten los cuestionarios a medida que se completan. De mayor interés para los investigadores es la calidad de las preguntas formuladas. En tales casos, por regla general, los objetivos metodológicos proporcionan el mayor interés.
