User Acceptance Testing

User Acceptance Testing

User User Ac Acce cept pt ance Tes Testt in g  N e ed e d a n i n f o r m a t i o n m a n a g em e m e n t u s e r a c ce c e p t a n c e t e st st i n g   c h e ck ck l i s t a n d w a n t p r a ct c t i c a l s u g g es es t i o n s t o e n s u r e r a p i d p r o j e c t   delivery?  W h a t i s q u a l i t y a s s u r a n ce ce t e s t i n g ?   T h e o b j e c t i v e s o f t h e q u a l i t y a s su su r a n c e t e s t i n g p h a s e i s t o e n s u r e   t h a t a l l s o f t w a r e co c o m p o n e n t s m e e t r e q u i r e m e n t s an an d a r e r e a d y t o   transition to production. W h a t i s a t e st st p l a n ?   A p l a n i s a c om o m m u n i c a t i o n s t o o l , w h i c h c l ea ea r l y   sets testing expectation s for all team  m e m b e r s . Th Th e p l a n s h o u l d i d e n t i f y :   ● ● ● ● ● ● ●

T es es t s t r a t e g y ;   T es es t p l a n ;   T es es t d a t a s t r a t e g y ;   T es es t d e l i v e r a b l e s ;   R e so so u r c e p l a n ;   Training considerations; and  T e st st s c h e d u l e . Cl i c k h e r e t o s e e a s a m p l e t e s t p l a n t e m p l a t e  

W h a t i s u s er e r a c ce c e p t a n c e t e s t i n g ( U A T) T) ?   T h e o b j e c t i v e o f u s e r a c ce ce p t a n c e t e s t i n g i s t o c e r t i f y t h a t a r e l e a s e   m e et et s u s e r e x p e c t a t i o n s a n d i s r e a d y f o r p r o d u c t i o n . U se se r a c c e p t a n c e t e s t c h e c k l i s t   Scope  U AT A T t e st s t i n g s h o u l d f o c u s on o n t e st s t i n g a s et et o f r e q u i r e m e n t s ( t h a t   i s ex e x p e c t e d t o m o v e t o p r o d u c t i o n a s a Pr P r o d u c t i o n R e l ea ea s e ) t o   e n s u r e t h a t t h e r e l e a se s e m e e t s u s e r ex ex p e c t a t i o n s . U AT A T t e st st i n g s h o u l d c e r t i f y t h a t t h e r e q u i r e m e n t s m e e t u s e r   expectations. En t r a n c e C r i t e r i a   The follow ing entr ance criteria should be verified before UAT  commences:  U se s e r a c ce ce p t a n c e t e s t i n g t e s t i n g s h o u l d c o m m e n c e u p o n a p p r o v a l   o f t h e u s e r a c c e p t a n c e Te Te s t L e a d , Q u a l i t y A s s u r a n c e Te Te s t L e a d a n d   D at a t a A r c h i t e c t / P r o j e c t M a n a g e r w h o s h a l l en e n s u r e t h a t U AT A T t e st st   http://www.information-management-architect.com/user-acceptance-testing.html (1 of 5) [6/14/2012 6:32:43 PM]

User Acceptance Testing

e n t r a n c e cr cr i t e r i a h a v e b e e n m e t . A co c o n f i g u r a t i o n m a n a g e m e n t p r o c e ss s s h a s b e e n e st st a b l i s h e d a n d   d o c u m e n t e d t o h a n d l e r e q u e st st e d c h a n g e s t o p r o j e c t d o c u m e n t a t i o n   T h e co co d e m i g r a t i o n p r o c e s s h a s b e e n d o cu cu m e n t e d a n d   a r r a n g e m e n t s m a d e t o a c co c o m m o d a t e t e st st i n g . A t u r n o v e r p a c k a g e h a s b e en e n p r e p a r e d a n d a l l c o d e ch ch a n g e s a r e   i d e n t i f i e d i n a n d m a d e a v a i l a b l e t o t h e Re Re q u i r e m e n t s M a n a g e r a n d   t e s t t e a m . T h i s i n c l u d e s d a t a b a s e ch ch a n g e s , c h a n g e s t o i n s t a l l   s c r i p t s a n d i n s t r u c t i o n s , st s t r u c t u r e ch ch a n g e s , e t c . Co d e t o b e t e s t e d i s l o ck ck e d - d o w n a n d r e a d y t o b e m o v e d i n t o   t h e t e st st a r e a . A u s e r a cc cc e p t a n c e t e s t i n g e n v i r o n m e n t b a s e l i n e h a s b ee ee n   u p d a t e d w i t h t h e r e l e a se s e b a se s e l i n e . ( i . e. e . t h e co co d e a n d p r o g r a m   v e r s i o n s i n t h e U AT AT t e s t e n v i r o n m e n t " m i r r o r " t h e p r o d u c t i o n   environment). U AT A T t e st s t t e a m m e m b e r s h a v e b e en e n i n v o l v e d i n p r o j e ct ct m e e t i n g s   s i n c e t h e r e q u i r e m e n t s a n a l y s i s p h a s e. e. A t l e a s t o n e UA U A T t e s t t e a m m e m b e r i s o n a l l ap ap p l i c a b l e p r o j e c t   c o m m u n i c a t i o n s l i st st s . T h e r e q u i r e m e n t s s p e c i f i c at a t i o n h a s b e e n b a s e l i n e d , is is u n d e r   c o n f i g u r a t i o n c o n t r o l , a n d h a s b e en e n m a d e a v a i l a b l e t o t h e U AT AT   t e am a m f o r r e v i ew ew . A l l d e si si g n d o c u m e n t a t i o n h a s b e e n b a s e l i n e d , i s u n d e r   c o n f i g u r a t i o n c o n t r o l , a n d h a s b e en e n m a d e a v a i l a b l e t o t h e U AT AT   t e am a m f o r r e v i ew ew . A business system s analyst has been identified and assigned to  s u p p o r t t h e t e s t i n g e f f o r t a n d i s l i s t e d i n t h e T e st st P l a n . I n d e p e n d en en t c o d e r e v i e w s & r e v i e w / c h e ec c k p o i n t s h av a v e b ee ee n   completed and documented. U n i t t e s t i n g r e s u l t s h a v e b e e n d o cu cu m e n t e d a n d r e v i e w e d b y t h e   t e s t i n g t e am am . U n i t t e s t d e f e c t s h a v e b ee e e n f i x e d , v a l i d at at e d o r o t h e r w i s e   p r o p e r l y f i n a l i z e d , an an d d o c u m e n t e d . I n t e g r a t i o n t e s t i n g r e s u l t s h a v e b e e n d oc oc u m e n t e d a n d r e v i e w e d   b y Q A T e st st T e a m . I n t e g r a t i o n t e st s t d e f e c t s h a v e b ee e e n f i x e d , v a l id id a t e d o r o t h e r w i s e   p r o p e r l y f i n a l i z e d , an an d d o c u m e n t e d . Q u a l i t y a s su s u r a n c e t e s t i n g r e s u l t s h a v e b e e n d o cu cu m e n t e d a n d   r e v i e w e d b y t h e U A T T es e s t T e am am . Quality assurance test defects have been fixed, validated or  o t h e r w i s e p r o p er er l y f i n a l i z e d , a n d d o c u m e n t e d . A d e v el e l o p m e n t t e a m r e p r e s en e n t a t i v e f r o m e a ch ch s u b j e c t a r e a h a s   bee en n i d e n t i f i e d a n d a s s ig ig n e d t o s u p p o r t t h e U A AT T testing effort ( and  i s l i s t e d i n t h e T e s t Pl Pl a n ) . A QA Q A Te Te s t t e a m t e a m r e p r e s e n t a t i v e h a s b e en en i d e n t i f i e d a n d   a s si s i g n e d t o s u p p o r t t h e U AT A T t e s t i n g e f f o r t ( a n d i s l i st s t e d i n t h e T es es t   Plan).

http://www.information-management-architect.com/user-acceptance-testing.html (2 of 5) [6/14/2012 6:32:43 PM]

User Acceptance Testing

A l l r e q u i r e d s u p p o r t f i l e s ( s u c h a s a cc cc o u n t l i s t s , f l a t f i l e i n p u t s , i n i f i l e s , e t c . ) h a v e b e e n d o c u m e n t e d i n t h e U AT A T Ob Ob j e c t M i g r a t i o n   Plan. T h e UA UA T d e f e c t m a n a g e m e n t p r o c e ss s s h a s b e en en d o c u m e n t e d a n d   implemented. T h e UA UA T t e a m h a s b e e n t r a i n e d i n a n d h a v e a p p r o p r i a t e a cc c c e ss ss   t o t h e d e f e ct ct m a n a g em em e n t t r a c k i n g t o o l . A D e f e ct ct M a n a g e r h a s b e e n i d e n t i f i e d , a l l o ca ca t e d , a n d t r a i n e d . T es e s t Pl Pl a n ( s ) h a v e b e e n c o m p l e t e d a n d a p p r o v e d . U A T t e s t c a s e s an an d s c r i p t s h a v e b e e n c o m p l e t e d a n d a p p r o v e d . T es e s t c a s es e s h a v e b e e n t r a c e d t o t h e r e q u i r e m e n t s s p e c i f i ca ca t i o n   t h r o u g h a R e q u i r e m e n t s T r a c ea e a b i l it i t y M a t r i x ( R T M) M) . A u n i q u e U AT A T t e s t e n v i r o n m e n t h a s b e e n r e se se r v e d a n d u n d e r   Co n f i g u r a t i o n M a n ag ag e m e n t c o n t r o l . T h e UA U A T en e n v i r o n m e n t h a s b e e n v e r i f i e d a s a c ce ce s si si b l e a n d   f u n c t i o n i n g i n c l u d i n g c o n n ec e c t i v i t y t o a l l a p p l i ca c a b l e s y st st e m s . All applicable test tools have been in stalled, verified as  f u n c t i o n a l , a n d u se se r g u i d e / d o c u m e n t a t i o n u p - t o - d a t e . P r o p e r u s e r i d s a n d p e r m i s s i o n s r e q u i r e d f o r t e s t i n g h a v e b e en en   obtained and verified. T es e s t d a t a h a s b e e n r e c ei ei v e d a n d p r e - t e s t e d f o r v a l i d i t y . D e p l o y m e n t a n d i n s t a l l a t i o n i n s t r u c t i o n s h a v e b ee e e n s u cc c c e ss ss f u l l y   executed and validated. Co n t a c t s h a v e b e en en a s s i g n e d f o r t h e i r v a r i o u s c o m p o n e n t   r e s p o n s i b i l i t i e s a n d a r e l i s t e d i n t h e T e st st P l a n . A l l a p p l i c a b l e se se r v i c e l e v e l a g r e e m e n t s a r e i n p l a c e an an d u p d a t e d   i f n e e d e d , in i n c l u d i n g c l ea e a r o w n e r s h i p o f I n c i d en e n t R e so so l u t i o n . A n y t r a i n i n g r e q u i r e d b y t h e UA U A T T es e s t Te T e a m h a s b ee ee n   completed. A n y w a i v e r s or o r e x c e p t i o n s t o t h e a b o v e h a v e b ee ee n d o c u m e n t e d   and approved. A r e l e a s e sc sc h e d u l e h a s b e e n e s t a b l i s h e d a n d d o c u m e n t e d . T h i s   schedule m ust include periodic planned builds for defect fixes  w h i l e i n t e st st . Test Cases  En d u s e r s s h o u l d c r e a t e u s e r a c ce ce p t a n c e t e s t i n g t e s t c a s e s w i t h   s u p p o r t f r o m t h e Q u a li l i t y A s s u r a n ce ce t e s t t e a m . T h e Te T e s t L e a d s h a l l e n s u r e t h a t U A T t e s t c a s es es a r e r e c o r d e d i n   t h e t e s t m a n a g e m e n t t o o l e . g . R at a t i o n a l Te T e s t M a n a g e r o r T e st st   Director. O n e o r m o r e U A T t e s t c a s es e s s h a l l b e c r e a t e d f o r e a ch ch   r e q u i r e m e n t i n c l u d e d i n t h e r e l e as a s e a n d s h a l l sp sp e c i f y :   ● ●

T h e st st e p s n e e d e d t o e x e c u t e t h e t e s t ; a n d   T h e ex ex p e c t e d r e s u l t s o f t h e t e s t .

http://www.information-management-architect.com/user-acceptance-testing.html (3 of 5) [6/14/2012 6:32:43 PM]

User Acceptance Testing

T e st s t S cr cr i p t s   Re p e a t a b l e t e s t s c r i p t s s h o u l d b e c r e a t e d b y a n a s s i g n e d   r e s o u r ce c e , st s t o r e d i n t e s t m a n a g em em e n t t o o l a n d u s e d b y t h e U A AT T  Tester. T es e s t s c r i p t s s h o u l d b e r e t a i n e d f o r r e g r e s si si o n t e s t p u r p o s e s .

T e st s t Ex Ex e c u t i o n   U A T t e s t i n g s h a l l b e p er e r f o r m e d i n t h e u s e r a c c ep ep t a n c e t e s t i n g   e n v i r o n m e n t b y U A T t e a m m e m b e r s a s si si g n e d f r o m t h e e n d u s e r   team. T e st st D a t a   UAT test dat a should be created as part of the t est data  acquisition plan. UAT test dat a should be based on a sub-set of prod uction d ata, p r o d u c e d b y t h e p r o d u c t i o n su su p p o r t t e a m . T h e UA UA T t e s t e r s s h o u l d n o t a u g m e n t t h i s d a t a a s i t i s s h o u l d b e   a ss s s u m e d t h a t Q A t e s t i n g h a s c er e r t i f i e d t h a t t h e r e l e as as e m e e t s   specifications. D e f e ct ct M a n a g e m e n t   U se se r a c c e p t a n c e t e s t i n g  

    shall “d e f e c t s ”  ”

be identified, and 

r e c o r d e d i n t h e d e f e c t m a n a g e m e n t t r a c k i n g t o o l , e .g . g Cl Cl e a r Q u e st st , b y t h e U A T T es e s t L e a d ( o n b e h a l f o f t h e U A T T es es t e r s ) . D e f e ct ct s s h o u l d b e i d e n t i f i e d a s :  

●

●

R e q u i r e m e n t s D e f e ct c t s i . e. e . f u n c t i o n a l i t y m e e t s ap ap p r o v e d   r e q u i r e m e n t s b u t t h e r e q u i r e m e n t s d o n o t m e e t u se se r   expectation s; or  F u n c t i o n a l D ef e f e c t s i .e .e . f u n c t i o n a l i t y d o e s n o t m e e t a p p r o v e d   requirement s as determined by the users 

D ef ef e c ctt s s h o u l d b e a s si s i g n e d t o t h e p r o j e ct c t m a n a g er er w h o s h o u l d :  

● ● ●

D et e t e r m i n e i m p a c t o n p r o j e c t d e l i v e r a b l es es ;   A p p r o v e / r e j e c t ch ch a n g e ; a n d   Cr e a t e a n d m a n a g e Ch Ch a n g e R e q u e s t s a s a p p r o p r i a t e t o   e n s u r e t h a t r e q u i r e m e n t s a r e c h a n g e d , r e v i ew e w e d , an an d   a p p r o v e d b e f o r e co c o m m e n c i n g t e c h n i c a l an a n a l y s i s d e si si g n , b u i l d , test and deploy.

D e f e ct c t s sh sh a l l f o l l o w p r o j e c t m e t h o d o l o g y e . g . a n a l y s i s , d e s i g n , b u i l d , r e v i ew ew / c h e ec c k p o i n t p r o c es e s s b ef e f o r e d e f e ct ct s a r e c e r t i f i e d r e a d y   f o r r e - t e s t i n g i n t h e U A T T es e s t En En v i r o n m e n t . D ef ef e c ctt r e s o lu l u t i o n s h o u l d b e m o n i t o r e d b y t h e P r o j e c t M a n a g er er . T e st st R e s u l t s   http://www.information-management-architect.com/user-acceptance-testing.html (4 of 5) [6/14/2012 6:32:43 PM]

User Acceptance Testing

U AT A T t e st s t r e s u l t s s h o u l d b e s t o r e d i n t e s t m a n a g em em e n t t o o l , b y   ”  t o t h e U A T t e s t . t h e U A T Te Te s t L e a d , a s a n   “a t t a c h m e n t  ” 

U A T T e s t Ex Ex i t C r i t e r i a   U A T t e s t i n g s h a l l b e co co n s i d e r e d c o m p l e t e u p o n s i g n - o f f a n d   a p p r o v a l o f t h e P r o d u c t i o n Su S u p p o r t / R e l e a se s e Ma M a n a g e r , Pr Pr o j e c t   M a n a g e r , UA U A T T es e s t L e ad ad a n d b u s i n e s s o w n e r w h o s h a l l e n s u r e t h a t   UAT test exit cr iteria have been met . A n y u p d a t e s t o t e s t d o c u m e n t a t i o n h a v e b e e n c om om p l e t e d a n d   a r e u n d e r Co Co n f i g u r a t i o n M an an a g e m e n t c o n t r o l . U A T T es e s t C as a s e s h a s b e e n e x e c u t e d a c co co r d i n g t o t h e t e s t p l a n   and any deviations documented and approved. A l l r e q u i r e d t e s t t y p e s h a v e b e en en c o m p l e t e d . A l l d e f e c t s h a v e r e c e i v e d a f i n a l d i s p o s i t i o n ( i . e. e . o p e n , c l o se se d , postponed, invalid, duplicate) . A l l c l o se s e d d e f e c t s h a v e a n a s si s i g n e d d e f e c t r o o t c a u s e. e. Si g n - o f f h a s b e e n o b t a i n e d f r o m d e s i g n a t e d s t a k e h o l d e r s   i n d i c at at i n g t e s t c o m p l e t i o n . O t h e r t e s t c o m p l e t i o n a n d v a l i d a t i o n c o n d i t i o n s , a s sp sp e c i f i e d i n   t h e Te T e s t P l an an , h a v e b e e n m e t . Summary... U se s e r a c c ep ep t a n c e t e s t i n g s h o u l d f o c u s o n t e s t i n g a s e t o f   r e q u i r e m e n t s ( t h a t i s ex ex p e c t e d t o m o v e t o p r o d u c t i o n a s a   p r o d u c t i o n r e l e a se s e ) t o e n s u r e t h a t t h e r e l ea e a s e m e e t s u s er er   expectations. The proj ect test plan should ident ify UAT roles and responsibilities, t a s k s , d el e l i v e r a b l es es a n d e n t r a n c e / e x i t c r i t e r i a . Home  R et e t u r n t o S o f t w a r e T e st st i n g L i f e Cy Cy c l e f r o m U se s e r A c c ep ep t a n c e T Te esting 

http://www.information-management-architect.com/user-acceptance-testing.html (5 of 5) [6/14/2012 6:32:43 PM]