01 Evaluación Sistemas Informáticos 2013-B

Asignatura: Evaluación Sistemas Informáticos Aldemaro Madrid Cel: 0414 – 3862212 Correo: [email protected]

Septiembre, 2013 Evaluación Sistemas Informáticos

INTRODUCCION

1.- Expectativas respecto a la materia 2.- Contenido 3.- Importancia de la materia 4.- Nivelación de información  Simulación  Teoría de colas  Estadística (media, varianza, ANOVA, Intervalos de confianza, etc.

Evaluación Sistemas Informáticos

CONTENIDO El contenido cubre tres bloques claramente definidos:

 Proceso de desarrollo de una evaluación.  Certificación de la calidad de los datos  Técnicas de auditoría.

Evaluación Sistemas Informáticos

SINOPSIS

En esta asignatura se tratan los siguientes tópicos:  Técnicas de Evaluación

 Métricas de desempeño  Técnicas y herramientas de medición  Técnicas para procesar las mediciones  Elementos de Simulación y Modelos de Colas  Diseño y Análisis de Experimento

Evaluación Sistemas Informáticos

OBJETIVOS Al finalizar el curso los estudiantes tendrán el conocimiento básico sobre las principales técnicas usadas en la evaluación del desempeño de sistemas de computación

Ofrecer una visión global de los métodos y técnicas necesarios para desarrollar un proceso de evaluación a un sistema de información, que permita identificar fallas de control y producir recomendaciones.

Presentar herramientas de validación de datos que permiten certificar la calidad de los resultados obtenidos, antes de que éstos se conviertan en la base para la toma de decisiones. Evaluación Sistemas Informáticos

BIBLIOGRAFIA

Art of Computer Systems Performance Analysis Techniques For Experimental Design Measurements Simulation And Modeling by Raj Jain

Evaluación y Modelado del Rendimiento de los Sistemas Informáticos Xavier Molero Carlos Ruiz Miguel Rodeño Capacity Planning and Performance Modeling Daniel Menascé. Virgilio Almeida. Larry W. Dowdy. Prentice Hall Measuring Computer Performance David Lilja. Cambridge University Press.

Tópicos Especiales en Evaluación de Desempeño Mariela J. Curiel H.

Evaluación Sistemas Informáticos

Perfil del egresado: el Ingeniero Informático Los alumnos inscritos en la Escuela de Ingeniería Informática recibirán una sólida formación científica y técnica, de manera que estén preparados para el ejercicio profesional de una manera integral, con conocimientos generales y fundamentales en el área de las Ciencias de la Computación, la Ingeniería del Software, la Telemática, acompañadas de formación en el área gerencial, que les permita trabajar en las diferentes vertientes y con la capacidad de seleccionar cualquiera de esas áreas para continuar con su aprendizaje hacia una especialización. El ingeniero en informática requiere de un nivel de inteligencia superior al promedio, con elevada aptitud para el razonamiento numérico abstracto y espacial; una adecuada capacidad de atención, concentración, análisis y comprensión de sistemas; igualmente, es indispensable la capacidad organizativa y de trabajo en equipo. Se espera del ingeniero en informática que logre desarrollar condiciones de liderazgo, con una expresión fluida y correcta, e interesado por realizar estudios, proyectos, construcciones, inspecciones, operaciones de mantenimiento de obras, instalaciones, máquinas y/o equipos. Evaluación Sistemas Informáticos

Ingeniero Informático. competencias Autodeterminación Capacidad de las personas de decidir de manera autónoma sus acciones. Se tiene el control de lo que se hace y dice y por lo tanto asumen responsabilidad personal por sus actos. Orientación al Logro Conjunto de pensamientos y afectos relacionados con el desarrollo personal, mediante el uso exigente de las capacidades para alcanzar metas. Exigirse al máximo para alcanzar lograr la excelencia en lo que se proponen. Fortaleza Interior Capacidad para superar positivamente las adversidades y vivir los triunfos. Se necesita fortaleza para no dejarse derrumbar ante el fracaso y también para no dejarse arrastrar y seducir por el éxito. Asertividad Ser firme en los puntos de vista sin llegar a ser rígido y terco. Es hacerse respetar sin irrespetar o invadir a otro usando argumentos firmes y convincentes. No callar por temor a equivocarse o molestar a otro. Evaluación Sistemas Informáticos

Evaluación Sistemas Informáticos

CALENDARIO

Evaluación Sistemas Informáticos

EVALUACION

Semana 7

Fecha 5/11/13

Tipo evaluación

-

Según cronograma

12

12/12/13

-

Según cronograma

(*)

Ponderación

Examen parcial I

30

Exposición

20

Examen parcial II (*)

30

Exposiciones final

20

Teórico, Practico

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción

Que pensamos? Evaluación Sistema Informático

Rendimiento Evaluación Sistemas Informáticos En que etapa está involucrada la Evaluación de Sistemas Informáticos?

Evaluación Sistemas Informáticos

PROFESIONAL IT Tecnología Verde

Brecha digital Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción Herramientas

Técnicas

Objetivos

Evaluación

Procesos y estadísticas

Medición

Modelos

TECNOLOGÍA VERDE Evaluación Sistemas Informáticos

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción Evaluación del rendimiento y ciclo de vida. A lo largo de las distintas fases del ciclo de vida de un sistema informático es necesario llevar a cabo una evaluación objetiva de las prestaciones de éste en las etapas de: Diseño: Por que es necesario saber, a priori, cuales van a ser las prestaciones que se requerirán al sistema.

Desarrollo e implantación: Será necesario evaluar cuál es la configuración necesaria, y elegir entre varias posibles. Explotación y ampliación de un sistema: hay que examinar cuáles son los problemas que se presentan y solucionarlos sobre la marcha, qué componentes del sistema es necesario cambiar para maximizar el aumento de prestaciones.

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción  El rendimiento es un criterio clave en el diseño, adquisición y uso de sistemas informáticos.  El objetivo de ingenieros informáticos, científicos, analistas y usuarios es conseguir el mayor rendimiento a un costo determinado.

 Para lograr ese objetivo, los profesionales de sistemas necesitan, al menos, un conocimiento básico de evaluación de los resultados, la terminología y las técnicas. Cualquier persona relacionada con los sistemas informáticos debe ser capaz de indicar los requisitos de rendimiento de sus sistemas y también de comparar las diferentes opciones para encontrar la que mejor se adapte a sus necesidades  Para medir el rendimiento de un sistema informático, necesita al menos dos herramientas: una herramienta para “cargar” el sistema (generador de carga) y una herramienta de medida para los resultados (monitor).

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción  El propósito del curso es explicar la evaluación del desempeño, la terminología y técnicas.

 El objetivo es hacer hincapié en técnicas sencillas que ayudan a resolver la mayoría de los problemas cotidianos.  Seleccionar las técnicas de evaluación apropiadas, las medidas de rendimiento y carga de trabajo para un sistema.

 Las técnicas que se pueden utilizar para la evaluación son la medición, simulación y modelado analítico.  La métrica se refiere a los criterios utilizados para evaluar el rendimiento del sistema. Por ejemplo, el tiempo de respuesta, las transacciones por segundo (TPS), la carga de trabajo del procesador o un manejador de BD

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción Desempeño. El factor desempeño evalúa las características dinámicas del "software", tales como fiabilidad y eficiencia, desde el punto de vista de operadores y administradores de sistema. Eficiencia en el consumo de recursos (ineficiente, limitada, aceptable, sólida, excelente): este sub-factor evalúa el consumo de tiempo y recursos (espacio de memoria, etc.) en el sistema. Operación adecuada y su eficacia (descontrolada, limitada, aceptable, bajo control, excelente): este sub-factor evalúa la operación del sistema, la posibilidad de controlar y contabilizar sus resultados y la interoperabilidad del sistema en el ambiente operativo. Consideraciones sobre fallas en el sistema (una falla se convierte en desastre, gran cantidad de recursos para recuperarse, se recupera sin graves penalidades, fácil de recuperar, recuperación automática): este subfactor evalúa la confiabilidad y posibilidad de recuperación del sistema.

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción ¿Qué medidas de rendimiento debe ser utilizada para comparar los siguientes sistemas?

• Dos unidades de disco • Dos sistemas de procesamiento de transacciones • Dos algoritmos de retransmisión de paquetes El número de paquetes perdidos en dos enlaces se midió durante cuatro tamaños de archivo como se muestra a continuación: File Size: 1000 1200 1300 50

Link A 5 7 3 0

Link B 10 3 0 1

Cual es mejor?

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Introducción El promedio de tiempo de respuesta de un sistema de base de datos es de 3 segundos. Durante un intervalo de observación de 1 min, el tiempo de

inactividad en el sistema es 1s. Determinar lo siguiente: • Utilización del sistema • El promedio de tiempo de servicio por consulta • Número de consultas realizadas durante el intervalo • Número promedio de Jobs en el sistema • P [N º de Jobs en el sistema ]> 10

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Errores habituales 1. No hay objetivos: Los objetivos son una parte importante de todos los esfuerzos. Cualquier iniciativa sin objetivos está condenada al fracaso. Los proyectos de evaluación de resultados no son una excepción. 2. Objetivos sesgados: mostrar que “nuestro” sistema es “mejor” que el de “ellos” 3. Enfoque no sistemático: la selección de parámetros, factores, indicadores, y cargas de trabajo de manera arbitraria lleva a conclusiones inexactas 4. Análisis sin entender el problema: Un problema bien planteado está medio resuelto. 40% es la definición del problema, el 60% es buscando las alternativas, la obtención de resultados, interpretarlos y concluir. Desarrollo del modelo en sí es una pequeña parte de la resolución de problemas de proceso. 5. Incorrectas métricas de rendimiento: Comparar Mips para procesadores de diferente arquitectura.

6. Carga de trabajo no representativa: Las cargas de trabajo tienen un alto impacto en los resultados. Es frecuente construir una carga de trabajo favorables para una evaluación Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Errores habituales 7. Técnica de evaluación incorrecta: • Medición • Simulación • Modelado Analítico La gente tiende a elegir lo que saben mejor, en lugar de lo que funciona mejor para el problema. Las tres técnicas tienen diferentes fortalezas y limitaciones 7. Vista a los parámetros importantes: listar las características de la carga de trabajo y asegurarse de que no se olvide ninguna característica que podría ser importante. 8. Ignorar factores importantes: No todos los parámetros tienen el mismo efecto sobre el desempeño. Es importante identificar aquellos parámetros cuya variación genera un significativo impacto en el rendimiento. A menos que haya motivos para creer lo contrario, estos parámetros deben ser utilizados como factores en el estudio de rendimiento. 9. Diseño inapropiado: El diseño experimental se refiere al número de la medición o experimentos de simulación llevados a cabo y los valores de los parámetros utilizados en cada experimento. Adecuada selección de estos valores puede dar lugar a más información desde el mismo número de experimentos. selección incorrecta puede resultar en una pérdida de tiempo Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Errores habituales 11. Inapropiado nivel de detalles: el nivel de detalle utilizado en el modelo tiene un significativo impacto en la formulación del problema. Se debe evitar formulaciones demasiado estrechas o demasiado amplias. Un modelo detallado que incorpora las variaciones puede ser más útil que un modelo de alto nivel. Por otro lado, para comparación de alternativas que son muy diferentes, modelos simples de alto nivel puede permitir analizar varias alternativas a con rapidez y a bajo costo. Un error común es tomar el enfoque detallado cuando un modelo de alto nivel es requerido y viceversa. 12. Sin análisis: el estudio termina con una avalancha de datos, pero sin ningún tipo de análisis 13. Análisis erróneo: hay algunos errores clásicos como tasas promedio, simulaciones demasiado cortas etc.

14. No hay análisis de sensibilidad: los analistas en computación pueden poner demasiado énfasis en el resultado como un hecho y no que en las pruebas de qué tan fuerte es. Sin un análisis de sensibilidad, no se puede estar seguro si las conclusiones cambiarían en un ambiente ligeramente diferente.

Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Errores habituales 15. Tratamiento inadecuado de los valores atípicos: la decisión sobre qué valores atípicos son inherentes al sistema y cuáles son no relacionados es muy difícil. La decisión sobre los valores extremos que se deben ignorar o incluirse es parte de la técnica de evaluación del desempeño y requiere una comprensión cuidadosa del sistema que está siendo modelado. 16. Suponer que no hay cambios en el tiempo: es un error suponer que la carga de trabajo futuro y el comportamiento del sistema es el mismo que el medido. El futuro puede ser diferente, un buen análisis se debe hacer frente al cambio. 17. Ignorar la variabilidad: Centrarse en la media, máximo o mínimo, es insuficiente esfuerzo para conseguir la variabilidad bajo control.

18. Análisis demasiados complejos: un análisis simple que lleva a la misma conclusión, con la misma certeza, es siempre mejor que el complejo. 19. Inadecuada presentación de los resultados: El objetivo final de todos los estudios de rendimiento es ayudar a la toma de decisiones. Un análisis que no puede ser comprendido por quienes toman las decisiones es un fracaso. Esto requiere el uso prudente de las palabras, imágenes y gráficos para explicar los resultados y el análisis. Evaluación Sistemas Informáticos

Evaluación de Sistemas Informáticos. Errores habituales 20. Ignorar los aspectos sociales: modelado y análisis son habilidades técnicas. Escribir y hablar son las habilidades sociales. La aceptación de los resultados del análisis requiere el desarrollo de una confianza entre los tomadores de decisiones y el analista, los resultados deben presentarse considerando el perfil de los tomadores de decisiones 21. La omisión de hipótesis y limitaciones: estos son a menudo omitidos, debido a que son inconvenientes de explicar. Esto puede llevar a aplicar los resultados fuera de contexto.

Evaluación Sistemas Informáticos