performance - saber - cómo limitar una red de wifi para ciertos dispositivos

¿Cómo puedo evitar que las personas usen mi código para el mal? (9)

No estoy seguro de si este es el lugar correcto, pero parece un lugar decente para preguntar.

Mi trabajo actual implica el análisis manual de grandes conjuntos de datos (en varios niveles, cada uno más refinado y realizado por analistas cada vez más experimentados). Hace aproximadamente un año, comencé a desarrollar algunas utilidades para rastrear el desempeño de los analistas mediante la comparación de los resultados en los niveles anteriores a los niveles finales. Al principio, funcionó bastante bien: lo usamos en la tienda como un indicador simple para ayudar a enfocar los esfuerzos de capacitación y hacer un mejor trabajo en general.

Recientemente, sin embargo, los resultados se han sacado de contexto y se han utilizado de una manera que nunca pensé. Parece que la gerencia (una persona en particular) ha comenzado a usar los resultados de estas herramientas para afectar directamente los EPR (informes de desempeño alistados - es una cuestión de la fuerza aérea, pero supongo que algo similar existe en otras áreas) y documentos similares. El problema no es quién está usando estos resultados, sino cómo. He dejado en claro a todos que los resultados son, simplemente, propensos a errores.

Existen numerosos obstáculos inevitables para generar estos datos, que he trabajado para minimizar con algunas ingeniosas heurísticas y demás. Tomados en el contexto adecuado, son una herramienta útil. Fuera de contexto, sin embargo, como ahora se usan, hacen más daño que bien.

Los gerentes en cuestión toman los resultados como indicadores literales de si un analista está funcionando bien o mal. Los resultados se promedian y los puntajes individuales se clasifican según el promedio anterior (bueno) o inferior (malo). Esto se hace sin tener en cuenta los márgenes de error inherentes y el sesgo de la muestra, sin tener en cuenta ningún tipo de interpretación adecuada. Conozco al menos a una persona cuya calificación de desempeño se redujo para un "porcentaje de precisión" inferior a un punto porcentual por debajo del promedio (cuando el margen de error típico del método de cálculo solo es de dos a tres por ciento).

Estoy en el proceso de escribir un informe formal sobre los errores presentes en el sistema ("Guía para principiantes para el análisis estadístico significativo" incluido), pero todos los signos indican que esto no tiene ningún efecto.

A menos que deliberadamente rompa las herramientas (una ruta que preferiría evitar pero que estoy considerando seriamente dadas las circunstancias), me pregunto si alguien aquí ha lidiado efectivamente con situaciones similares anteriormente. Cualquier idea sobre cómo abordar esto sería muy apreciada.

Actualización: gracias por las respuestas, muchas buenas ideas por todas partes.

Si alguien tiene curiosidad, me estoy moviendo en la dirección de ''refinar, educar y tomar el control de la interpretación''. Empecé a reconstruir mis herramientas para tratar de negar o rastrear mejor el error y generar automáticamente los números y gráficos que quisieran, con la documentación incluida (mientras se ocultaban como referencias oscuras a los datos brutos que actualmente parecen tan ansiosos por importar al '' mágico ''hojas de Excel).

En particular, tengo la esperanza de que las representaciones visuales del error y los sistemas de clasificación creados correctamente (teniendo en cuenta el error, las desviaciones estándar, etc.) ayudarán a la situación.

El problema es que el código no es tuyo, pertenece a tu empresa. Realmente pueden hacer lo que quieran con eso.

Odio decir esto, pero si tiene un problema con la ética de su empresa, tendrá que abandonar esa empresa.

Me gustaría repetir el consejo de @ paxdiablo, como primer paso:

Trabajar en el informe sobre los errores inherentes. De hecho, conviértelo en la introducción de cada copia generada.
Cuando se refiera a los errores de medición, indique que son el límite inferior de los errores (a menos que en realidad no los haya).
Trata de educar a los gerentes sobre el error de sus caminos.
Si es posible, analice el problema con su gerente. Y tal vez con la administración de los gerentes ofensores, dependiendo de qué tan familiarizado esté con ellos, probablemente lo limite a solo "expresar algunas preocupaciones" y dar un aviso.
Consulte a su departamento de recursos humanos, o quien esté a cargo de la equidad en las revisiones de desempeño.

Buena suerte.

Modifique la salida para incluir información de error (de modo que si el error es +/- 5%, no genere 22%, produzca entre 17% y 27%), o eduque a quienes están siendo utilizados para que cometan el error de modo que puede defenderse cuando se usa contra ellos.

Realmente creo que la clave aquí es una buena comunicación con sus gerentes.

Además, me gusta la idea de PatrickV. También podría probar otras formas de diseñar su herramienta alrededor del problema para que parezca una tontería / sea difícil usarlo como medida de rendimiento: cambie el nombre de las estadísticas para que signifiquen algo diferente a "qué tan bueno es el programador X", hace que sea difícil obtener datos por persona, muestra estadísticas de errores.

También puede tratar de mostrar los datos de otra manera (esto puede hacer que sus gerentes piensen que está tratando de ayudarlos). Muestre un gráfico: una diferencia de varios píxeles en la posición puede ser más difícil de identificar que un resultado numérico (supongo, sus gerentes están usando Excel y coloreando rojo todo lo que está por debajo del promedio). Dibuje el margen de error para que no tenga sentido obsesionarse con fracciones de porcentajes. Dé el resultado como una escala: margen bajo y alto que tenga en cuenta su información de error; es más difícil de comparar.

Editar: Ah sí, y lee sobre "interfaces sociales". Puede comenzar con Spolsky no solo de usabilidad y crear comunidades con software .

Todo lo que puede hacer es tratar de educar a los gerentes sobre por qué lo que están haciendo es incorrecto.

Más allá de eso, no puedes evitar que los idiotas sean idiotas, y te enloquecerás por intentarlo.

Definitivamente no "romperé" el código en el que las personas confían, incluso si no es un entregable específico. Eso solo hará que se quejen de ti, un movimiento que puede afectar tu propio EPR :-)

Bueno, parece que has estado en desacuerdo con la Ley de las Consecuencias Inintencionadas en el contexto del comportamiento humano .

Desafortunadamente, una vez que el gato está fuera de la bolsa, es bastante difícil volver a colocarlo. Tiene algunas opciones (que no son mutuamente excluyentes, por cierto) que considerar, que incluyen:

Modifique los informes para que sus datos ya no se puedan abusar de la manera que usted describe.
Trabaje con la administración para ayudarlos a comprender por qué el uso de sus datos es inadecuado o engañoso.
Trabaje con aquellos cuyo desempeño se está midiendo para presionar a la gerencia a repensar su política sobre el tema.
Trabajar con la administración / los analistas para llegar a un medio viable para medir el desempeño de una manera que sea justa para todos.
Divida el informe de una manera que los haga inutilizables para cualquier propósito.

Claramente, existe un deseo por parte de la gerencia de obtener análisis sobre el desempeño de los analistas. Probablemente haya una necesidad real de esto ... y sus informes llenaron un vacío en la información disponible. La mejor opción para todos sería encontrar la manera de llenar esta necesidad de forma efectiva y justa. Hay muchas formas posibles de lograr esto: desde reducir los rankings densos a favor de los niveles de rendimiento hasta usar la variación de tiempo en el tiempo para refinar las mediciones de rendimiento.

Ahora, es muy posible que los informes existentes que usted proporcionó simplemente no se puedan aplicar de manera justa y precisa para abordar este problema. En ese caso, debe trabajar con su equipo de gestión para asegurarse de que entienden por qué es este el caso, y redefinir la forma en que se mide el rendimiento o tomarse el tiempo para desarrollar una metodología adecuada y justa.

Uno de los medios más sólidos para convencer a la administración de que su (ab) uso de los datos en su informe es imprudente es recordarles el concepto de incentivos perjudiciales . Es muy posible que, con el tiempo, los analistas modifiquen su comportamiento de una manera que resulte en clasificaciones más altas en los informes de rendimiento a costa del rendimiento real o la calidad de los resultados que de otro modo no se capturan o expresan. Parece que tiene una buena comprensión de su dominio, por lo que espero que pueda proporcionar ejemplos específicos y dramáticos de tales consecuencias para ayudar a defender su caso.

Una cosa que podrías hacer es implementar la comparación tú mismo. Si realmente quiere verificar si alguien está desempeñando significativamente menos que el resto, también debe probarse formalmente.

Ahora, elegir la prueba correcta es un poco complicado sin conocer los datos y la estructura, por lo que no puedo aconsejarle sobre eso. Simplemente tenga en cuenta que si hace comparaciones por parejas, o compara múltiples puntajes con un promedio, se encontrará con el problema de múltiples pruebas . Una forma clásica de corregir es usar Bonferroni. Si implementa eso, puede estar seguro de que en cierto punto, nadie saltará más. La corrección de Bonferroni es muy conservadora. Otra opción es usar Dunn-Sidak, que se supone que es menos conservador.

La implementación correcta sería un ANOVA -si se cumplen los supuestos y los datos son adecuados fuera del curso- con una comparación post hoc como una prueba de diferencia significativa honesta de Tukey. De esta forma, al menos, se tiene en cuenta la incertidumbre sobre los resultados.

Si no tiene una pista sobre qué prueba usar, describa sus datos en detalle en stats.stackexchange.com y solicite ayuda sobre qué prueba usar.

Aclamaciones

Joris Meys tiene razón. Necesitas mirar los valores estadísticos.

Pero ANOVA es un exceso. Necesitas mirar la desviación estándar. Específicamente, en la gestión (gestión de la calidad), una desviación sobre la desviación estándar de seis veces (seis sigma pobre) es significativa.

En mi opinión personal, si excede 3 veces stddev, entonces definitivamente (cerca del 100% de probabilidad) tiene un problema, y si excede 6 veces stddev, entonces tiene un problema que necesita ser manejado con urgencia (cerca del 400% de probabilidad - Lo sé, lo sé, 100% es máximo).

Todavía puede ser un poco más indulgente o no mediante la aplicación de la fórmula matemática o de muestreo aleatorio para el stddev.

Solo quería profundizar en la respuesta de Perverse Incentives de LBushkin. Puedo ver fácilmente que su problema se extiende hasta donde los analistas evitarán temas difíciles por temor a reducir su puntaje. O tal vez proporcionen la misma respuesta que las etapas anteriores para evitar dañar el puntaje de un amigo, incluso si eso no es correcto. Una pregunta interesante es qué sucede si la respuesta posterior es incorrecta; no tiene verdad, solo opiniones analíticas sucesivas; en este caso, supongo que la primera respuesta está marcada como "incorrecta", ¿no?

Quizás sea útil presentar algunas de estas extensiones al gerente.