Drive Test Procedures_en

Tems Investigation Test Procedures

             

TEMS INVESTIGATION  TEST PROCEDURES            Drafted by:

Ufuk Yurtsever

Date:

12.01.2008

Reviewed by:

Kerem Özyetkin

Date:

21.05.2008

Reviewed by:

Orhan Uzgidim

Date:

23.05.2008

Reviewed by:

Zaid Salman

Date:

26.05.2008

Approved by:

Ufuk Yurtsever

Date:

27.05.2008

          OPTIMUM NETWORK SOLUTIONS INC.         

Optimum Network Solutions Inc. 1

Tems Investigation Test Procedures        

     

CONTENTS:      1‐ INTRODUCTION  2‐ SETTING UP THE EQUIPMENT  3‐ SETTING UP TEMS INVESTIGATION  4‐ GSM VOICE CALLS  5‐ SCANNER MODE  6‐ DEDICATED MODE  7‐ IDLE MODE  8‐ GPRS TESTS  9‐ HOTSPOT(LANDMARK) TESTS  10‐BENCHMARK TESTS  11‐SINGLE SITE CHECK  12‐GLOSSARY   

Optimum Network Solutions Inc. 2

Tems Investigation Test Procedures

  1‐INTRODUCTION:  This  document  is  prepared  to  be  used  as  a  manual  while  preparing  for  and  performing a GSM and/or GPRS‐EDGE test by the Drive Test Engineer/Technician.  The  drive  test  tool  described  throughout  this  document  is  TEMS  Investigation  version 7.1.3 and 8.1.3    By  completing  this  document,  reader  will  be  able  to  setup  a  drive  test  kit,  to  perform a GSM, GPRS, Hotspot (Landmark), Swap or Benchmark drive test.   

 

Typical DT Setup                                   Optimum Network Solutions Inc.

3

Tems Investigation Test Procedures

2‐SETTING UP THE EQUIPMENT  In order to be ready for a drive test, the following equipment should be ready:   1. A laptop PC with at least one USB port.(mandatory)  2. A USB HUB (1 to 4) (preferably a PCMCIA Express USB hub)   3. TEMS Investigation SW (7.1.3 and 8.1.3 are used as of today) (mandatory)  4. TEMS Investigation Dongle(mandatory)  5. An  MS  compatible  with  TEMS  SW  i.e.  Sony  Ericsson  W600i,  K600,  K790,  K800.. (mandatory)  6. Data cable for the MS(mandatory)  7. A  GPS  (Garmin  Etrex  Legend,  Delorme),  GPS  shall  have  NMEA  0183  interface. (mandatory)  8. RS232 to USB Converter (if GPS interface is RS232)  9. External antenna adapter for the MS (if needed)   10. External antenna for the MS (if needed)  11. Car Holder for the MS(optional)  12. Inverter (to supply power for PC during the test) (mandatory)  13. A simcard for the operator to be tested(mandatory, except scanner test)   

External Antenna Adapter   

PCMCIA Express 4 port USB HUB 

Car Holder for K790   

0 dB Gain External Antenna

 

Optimum Network Solutions Inc. 4

Tems Investigation Test Procedures

3‐SETTING UP TEMS INVESTIGATION 7.1.3:   The first thing to know is the communication port to the MS is connected,  the way to do  that is by opening device manager and looking for the connected modems. After finding  the correct modem related to our phone, go to properties, advanced tab, and advanced  port properties.     The below picture depicts this process, as easily seen the com port for the modem here  is Com13. 

Searching for the correct Com port for the Phone Modem.  Next step is opening TEMS Investigation program. There will be two consecutive ports in  the TEMS Port Configuration window, in the Ctrl & Config Tab. The smaller port will be  assigned to DC (Data Cable) and the bigger port will be assigned to MS (Mobile Station)  

Below is the example for that process: 

Optimum Network Solutions Inc. 5

Tems Investigation Test Procedures

3.1‐SETTING UP TEMS INVESTIGATION 8.1.3:   By connecting the USB cable to the PC. MS will be assigned as MS1 and DC will be  assigned as DC1 automatically.(There is no need for port configuration (manually))    Below is the example for that process:   

  After identifying the equipment, MS1, DC1, GPS, the test can be started.     

 

Optimum Network Solutions Inc. 6

Tems Investigation Test Procedures

4‐GSM TESTS:  An MS is always in CS Mode when performing Voice Call.  The steps of an ordinary  GSM Voice Call is listed below:    1. Idle Mode (MS is not in a call, only cell reselecting along the way)  2. Call Initialization (Number dialled)  3. Call Attempt   4. Dedicated Mode   5. Call Setup  6. Call Established  7. Handover  8. Call end  9. Idle Mode 

  GSM Voice Call Steps.        In GSM tests MS can be used in different modes:  • Scanner Mode  • Dedicated Mode  • Idle Mode   

4.1‐SCANNER MODE:    In scanner mode, we usually give a number of frequencies to be scanned by MS. e.g.  in Vodafone network it is 21‐30, 40‐79.     Let’s go over the steps to setup an MS in scanner mode. First of all, there is no need  to use a SIM card for an MS to be used in scanner mode. After connecting the MS to  TEMS  investigation  we  will  use  this  button  ( tested. The below window opens:   

)  to  enter  the  frequencies  to  be 

Optimum Network Solutions Inc. 7

Tems Investigation Test Procedures

  Check decode BSIC, and click channel selection. Decoded BSIC information is used for  identifying the transmitting base station   

  As depicted above enter the frequencies to be tested, e.g. this time it is entered 21‐ 30, 40‐79 for BCCH carriers of Vodafone.    After that click this button ( ) to start scanning. When you choose scanner tab in  TEMS Investigation the below screen appears.   

Optimum Network Solutions Inc. 8

Tems Investigation Test Procedures

    As  illustrated  above,  you  can  see  all  the  frequencies  under  test  from  strongest  to  weakest at the top window, all frequencies from 21 to 79 in the number order on the  middle window and the respective signal strengths of the strongest frequencies on  the bottom left window.    Only thing left is to push the record button and start frequency test while recording  the log files. This mode is usually used in Landmark (Hotspot) tests.   

4.2 ‐DEDICATED MODE:    In  dedicated  mode,  MS  performs  a  voice  call;  there  are  two  types  of  DEDICATED  MODE calls generally accepted long call and short call. 

4.2.1 – Long Call:    The usual way to start and stop the calls manually, but it is recommended do it is by  preparing  a  command  sequence  (with  long  call  Duration)  in  order  to  automatically  start and stop voice calls.   Also most of the operators usually ask for definite call duration during the tests.    In long call MS performs a call continuous duration, some Operators ask for a long  call that the MS performs a call (like 15 minutes) and waits 15 seconds to start the  second call.    

4.2.1 – Short Call:    The way to do this is that you should prepare a command sequence to automatically  start and stop voice calls.  Optimum Network Solutions Inc. 9

Tems Investigation Test Procedures   In short call MS performs a call with short call duration (like 180 seconds) and waits  15  seconds  to  start  the  second  call.  (Call  duration  is  depending  on  the  Operator  request)    Long  call  is  usually  preferred  to  check  the  drops  or  HO  failures  along  the  test,  whereas short calls usually preferred to check the call setup KPIs, like, Call Setup  Success rate, Blocking.                There are two examples for long and short calls below:   

 

Short call example     

Optimum Network Solutions Inc. 10

Tems Investigation Test Procedures

  Long Call example      Difference of `short call` and `long call` is only the duration (e.g. 3 minutes for short  call and 15 minutes for long call)  During the test, the process shall be as follows; 

( ) 

1‐ Push record    button and choose an appropriate filename for the log  file. i.e. 0608_2.log.  2‐ Start Command Sequence by pushing run button 3‐ Wait for the end of the sequence.  

( ) 

( ) 

4‐ Push the stop button       

5‐IDLE MODE :    In  idle  mode  tests  the  aim  is  to  record  the  behaviour  of  the  MS  while  it  is  in  idle  mode, it is not preferred to use idle mode for coverage recording. However, one can  have the cell reselection characteristics of the area if idle mode MS is used.    In idle mode test, there is no need for a command sequence.  Only thing to be done  is record and stop to save a log file.    Optimum Network Solutions Inc. 11

Tems Investigation Test Procedures

6‐GPRS TESTS    GPRS  tests  are  done  for  measuring  pocket  data  transmission  from  the  selected  locations or sectors by the customer.    GPRS SESSIONS:  

  The  normal  mode  MS  uses  for  voice  calls  are  “Circuit  Switching  Mode”.  However,  GPRS  Sessions  take  place  while  the  MS  is  in  “Packet  Switching  Mode”.  Hence,  in  every GPRS session MS has to switch to PS Mode, and get back to CS Mode when the  session finishes. The general description of a typical GPRS FTP Session is as follows:     1‐ PS Attach     2‐ PDP Context Activation     3‐ Session Start     4‐ Session end     5‐ PDP Context Deactivation     6‐ PS Detach     The  below  excerpts  from  TEMS  Investigation  8.1.3,  Signalling  Tab,  Events  window  shows two consecutive FTP sessions with all the above listed events occurring in  order. 

Optimum Network Solutions Inc. 12

Tems Investigation Test Procedures

Two consecutive FTP sessions from TEMS Investigation 8.1.3.    Usually FTP and Ping sessions are used to test the GPRS network performance. In FTP  test there are two files, one in the FTP server, one in the PC collecting the data in the  field. These two files are uploaded and downloaded through the MS using GPRS and  the  throughputs  are  recorded  in  the  logs.  In  Ping  test,  large  numbers  of  pings  are  sent from PC to server to see the success rate.    MS CONFIGURATION FOR GPRS TEST    MS shall be setup for the GPRS connection. These settings are available in the web  sites  of  all  GSM  operators.  A  data  account  shall  be  created  with  the  necessary  username and passwords. MS shall be in “CS Only” mode in order for us to see PS  attach and PS detach events in all the sessions. If the MS is left in “PS and CS” mode  there will be no PS Attach and PS Detach event in the GPRS sessions.    Below are the settings for Vodafone TR network for a Sony Ericsson K790 MS to be  enabled for GPRS service:  Data Account Name: Vodafone   Data Account Type: PS data  APN: Internet   Username: vodafone  

 

Optimum Network Solutions Inc. 13

Tems Investigation Test Procedures Password: vodafone   Login Request: OFF  Allow calls: Automatically   IP adress: …  DNS adres: …  Authantication: None, PAP, CHAP selected  Data Compression: Off  Header Compression: Off  After these settings are done in the MS, there is more to be done on the PC side.     • connect the MS to the PC,     • in network neighbourhood, create a new connection,     • connect to the network at my workplace,     • dial up connection,     • choose the modem related to the MS, i.e. Sony Ericsson K790 data modem,     • give the connection a name i.e. Vodafone,     • the number to be dialled is *99#.      After creating this new data connection, we shall try to connect to internet through  GPRS.  If  the  result  is  positive,  we  may  go  on  to  configure  out  test  equipment  with  TEMS Investigation.      EQUIPMENT CONFIGURATION FOR TEMS INVESTIGATION8.1.3 

 

Right click on MS1 Air Interface for reaching equipment properties         

      Optimum Network Solutions Inc. 14

Tems Investigation Test Procedures

                                               

        Check the “off” box in the GSM EDGE Capability tab.   

 

Doubleclick on  “Data” for opening properties window.   

Optimum Network Solutions Inc. 15

Tems Investigation Test Procedures

  Set Packet Capture to “On” and Packet size to “Full packetsize”      COMMAND SEQUENCE   After successfully connecting the MS to TEMS SW, the Command Sequence shall be  prepared. The below figures will depict the command sequence lines written for the  Vodafone TR Static GPRS Tests:    Three  types  of  GPRS  test  command  sequences  will  be  used  due  to  customer’s  request:  1‐ Comprises of 10 FTP Sessions(5 DL and 5 UL) and 1 ping Session(Stationary)  2‐ Comprises of 20 FTP Sessions(10 DL and 10 UL) and 1 ping Session(Stationary)  3‐ Comprises of 10 FTP Sessions(5 DL and 5 UL)(mobility) 

  1‐Command  sequence  below  comprises  of  10  FTP  Sessions  (5  DL  and  5  UL)  and  1  Ping Session (500 pings, 32KB each). In FTP DL, a 240k file is downloaded from FTP  server, while in FTP UL a 40k file is uploaded to FTP server. There are wait commands  lasting  for  5  seconds  in  between  all  the  sessions  and  wait  commands  lasting  for  3  seconds between all start and stop record commands.   

Optimum Network Solutions Inc. 16

Tems Investigation Test Procedures

Command sequence and FTP DL details   

 

 

FTP Uplink details 

Optimum Network Solutions Inc. 17

Tems Investigation Test Procedures

PING details    2‐  Same  command  sequence  with  only  FTP  session  count  difference  above  (10  UL  and 10 DL)    3‐ Command sequence below comprises of 10 FTP Sessions (5 DL and 5 UL). In FTP  DL, a 240k file is downloaded from FTP server, while in FTP UL a 40k file is uploaded  to  FTP  server.  There  are  wait  commands  lasting  for  5  seconds  in  between  all  the  sessions and wait commands lasting for 1 seconds between all start and stop record  commands. 

Command sequence and FTP DL details 

 

 

Optimum Network Solutions Inc. 18

Tems Investigation Test Procedures

FTP UL details    During the test, the process shall be as follows;    

 

1‐   Start Command Sequence by pushing run button( )    2‐   Wait for the end of the sequence.(for a static GPRS test)    3‐  Wait  for  a  wait  command  and  stop  sequance  by  pushing  stop  button  (

).(for a mobile GPRS test) 

  4‐ After finishing the test:  

‐

‐

There will be 3 log files with the name comprises of date and log number  for stationary tests. i.e  0521_01, 0521_02 and 0521_03.   First one is DL session log file, second is UL and the last one is Ping session  log file.     There will be several log files named as above. Log files ending with odd  numbers are DL and the others are UL log files. 

    For the sectorel tests, name the files using format below:  ‐ CLName_CellID_DDMMYY_LogNumber .   i.e “CL17_22198_21052008_01”    For the location tests, name the files using format below:  ‐ CLName_LocationName_DDMMYY_LogNumber.   i.e “CL17_Hacettepe_Tip_Fklts_21052008_02”  Optimum Network Solutions Inc. 19

Tems Investigation Test Procedures   For the mobile tests, name the files using format beolw:  ‐ Mob_CLName_StartingTime_DDMMYY_LogNumber  i.e “Mob_CL17_1435_21052008_03” 

 

                                                Optimum Network Solutions Inc. 20

Tems Investigation Test Procedures

9‐HOTSPOT (LANDMARK) TESTS    Hotspot tests are for measuring the strongest frequencies at the test location.    Before starting to the hotspot (landmark) test, tester has to set up 2 MS. One will be  used for Idle Mode and the other for Scanner Mode.      During the test, the process shall be as follows;  1‐ Push  record      ( )  button  and  choose  an  appropriate  filename  for  the  log  file using the format as shown below  ‐

MIPrinx_LocationName_MS_DDMMYY_LO1  i.e “227166_Esenboga Havaalani_MS3_21052008_01” 

2‐ Wait for at least 5 minutes.   3‐ Push the stop button (

) 

Test will be repeated in two or three places near the location as shown below if it’s  possible.   

 

                         

  Optimum Network Solutions Inc. 21

Tems Investigation Test Procedures

10‐BENCHMARK TESTS 

  Benchmark  tests  done  for  comparison  of  network  (Vodafone)  with  other  networks  (Turkcell and Avea) and measuring strongest frequencies in blacklisted locations.    There are two ways to make Benchmark tests:  ‐ With one MS and Scanner  Test repeats three times at the same route with each provider as   MS1 Vodafone MS3 Scanner (with scanner frequencies 21‐30, 40‐79)  MS1 Avea MS3 Scanner (with scanner frequencies 512‐586[1800],   1‐6, 33‐38)  MS1 Turkcell MS3 Scanner (with scanner frequencies 10‐19, 81‐120)  Name the logfiles using format as shown below  « siteID_MS1_VF_MS3_SCN_DDMMYY »  « siteID_MS1_AVEA_ MS3_SCN_ DDMMYY »  « siteID_MS1_TR_ MS3_SCN_ DDMMYY »   

  ‐

With two additional MS and Scanner  Only  one  test  shall  be  done  using  all  providers  at  same  time.  In  this  scenario,  three  MSs  will  have  three  different  simcards  and  scanner  will  scan all the frequencies belonging to the different operators.     Example: 1‐6, 10‐30, 33‐38, 40‐120 [900], 512‐586[1800]    Name the logfiles using format as shown below  « siteID_MS1_VF_MS2_TR_MS3_AV_MS4_SCN_DDMMYY »     

Optimum Network Solutions Inc. 22

Tems Investigation Test Procedures  

11‐SWAP TESTS  Swap  tests  are  done  for  checking  sites  after  swapping  that  has  been  done  by  the  operator for cabinets, antennas or equipment on sites for newer ones or for another  vendor.  Site  check  is  being  done  to  find  out  possible  problems  which  can  occur  during swap procedure.    Generic problems listed below;      ‐Cross connection (Or partial cross connection)      ‐Hardware problems      ‐Missing neighbours      ‐Database problems (Coordinate, Azimuth faults)    Swap test procedure consists of two kinds of tests: mobility and static. During swap  test, two command sequences are used, each for one type of test.    Mobile  test  is  done  by  making  dedicated  mode  test  on  a  route  around  the  site, command sequence should be as below,   

Optimum Network Solutions Inc. 23

Tems Investigation Test Procedures

 

Mobile test command sequence details (Dedicated 150 s / Idle 30 s) Static test is done by making dedicated mode test in points in front of every  sector on site, command sequence should be as below,   

Optimum Network Solutions Inc. 24

Tems Investigation Test Procedures

 

Static test command sequence details (Dedicate 20 s / Idle 10 s).   

Drive test routes and other important matters   

In mobile test, we should follow below procedures:      ‐Two circles around the site, one small and one big, if it is possible (Tester will  decide the range of circles, according to coverage of site).      ‐ Detailed test for every sector in coverage areas of sectors.      ‐DT Engineer should check HO from each sector to neighbour cells and back  (Neighbours here shall be cells in the other sites, collocated cells are always defined  neighbors).      In static test, we should follow below procedures:      ‐Static call point should be in front of the sector and signal strength should be  good (Between ‐45 dbm and ‐65 dbm). 

Optimum Network Solutions Inc. 25

Tems Investigation Test Procedures

 

Example for mobility and static swap test routes.    During mobility test, the process shall be as follows:  1‐ Push record   ( ) button and choose an appropriate filename for the log file  using the format as shown below  ‐

mobil_siteid_YYYY_MMDD_01  i.e “mobil_984_2008_0516_01” 

2‐ Start Command Sequence by pushing run button(

) 

  3‐ When  mobility  test  finish,  wait  for  a  wait  command  and  stop  sequence  by  pushing stop button (

). 

  4‐ Push the stop button (

) 

            Optimum Network Solutions Inc. 26

Tems Investigation Test Procedures During the stationary test, the process shall be as follows:  1‐ Push  record      ( )  button  and  choose  an  appropriate  filename  for  the  log  file using the format as shown below    ‐ static_siteid_YYYY_MMDD_01 (For first sector)    i.e “static_984_2008_0516_01”    2‐ Start Command Sequence by pushing run button(

) 

  3‐ When stationary test finish, wait for the end of the command sequence.    4‐ Push the stop button (

) 

  After finishing the test:    Tester  should  prepare  an  excel  report  for  each  site  which  has  been  tested  and  all  files copied under one folder. File names should be as below:    ‐Folder Name;      SW_siteid_MM.DD.YYYY logs      i.e“SW_984_05.16.2008 logs”    ‐Excel Sheet;      CLXX_siteid_MM_DD_YYYY      i.e”CL08_984_05_16_2008”    ‐Mobil Logs;  mobil_siteid_YYYY_MMDD_01  i.e “mobil_984_2008_0516_01”  ‐Static Logs;  static_siteid_YYYY_MMDD_01 (For first sector)  i.e “static_984_2008_0516_01” 

Optimum Network Solutions Inc. 27

Tems Investigation Test Procedures      

GLOSSARY     PDP Context 

A PDP (Packet Data Protocol) Context is a logical association between a MS (Mobile  Station) and PDN (Public Data Network) running across a GPRS network. The context  defines aspects such as Routing, QoS (Quality of Service), Security, Billing etc.     PS ‐ Packet Switched   In a packet switch networks, data may be transferred by dividing it into small blocks  or pieces known as packets. Each packet contains information in its header to allow  it to be routed by packet switches across the network. This is a more efficient means  of transferring data. An example of a packet switched network is the Vodafone.     Circuit Switching     Circuit switching is a process in which a dedicated physical circuit path must exist  between sender and receiver for the duration of the call. The switch is employed to  connect the various physical paths that make up the end to end connection.  Switching takes place within Layer 2 of the OSI (Open System Interconnection) 7  layer model.    Call Initialization    Call initializing is the step of dialling number for starting a GSM voice call.    Call Attempt    In  a  telecommunication system,  a  demand  by  a user for  a connection to  another  user. This is the second step of starting a GSM voice call. Note: In telephone traffic  analysis, call attempts  are  counted  during  a  specific time  frame.  The  call‐attempt  count includes all completed, overflowed, abandoned, and lost calls.    Call Setup    Call  setup  is  the  step  comes  after  call  attempt  that  caller  starts  to  hear  the  calling  tone until called user answers the call.    Call Established    

Optimum Network Solutions Inc. 28

Tems Investigation Test Procedures Call established is the step that the called user accepts the call. GSM voice call starts  with this step.    Handover  Handover (handoff) is switching of an on‐going call to a different channel or cell.   There are four types of handovers  • • • •

Switching channels in the same cell.  Switching cells under control of the same Base Station Controller (BSC)  Switching cells under the control of different BSCs, but belonging to the same  Mobil service Switching Center (MSC)  Switching cells under control of different MSCs.  

The first two types of handover, called internal because they involve only BSC, and  MSC is notified only on completion of the handover.   The last two types of handover, called external because they involve MSC.     MSC (Mobile services Switching Center)  The  MSC  performs  the  telephony  switching  functions  for  the  mobile  network.  It  controls  calls  to  and  from  other  telephony  and  data  systems,  such  as  the  Public  Switched  Telephone  Network  (PSTN),  Integrated  Services  Digital  Network  (ISDN),  public data networks, private networks and other mobile networks.     BSC (Base Station Controller)  The BSC manages all the radio‐related functions of a GSM network. It is a high  capacity switch that provides functions such as MS handover, radio channel  assignment and the collection of cell configuration data. A number of BSCs may be  controlled by each MSC.   

Optimum Network Solutions Inc. 29