Les services mobiles 3G et 4G : une qualité de service bien trop mobile

Ufc Que Choisir

Description

Contenu
I. UN PROTOCOLE FIDELE AUX USAGES ET ATTENTES DES CONSOMMATEURS .....................4
1. CADRAGE DE L’ETUDE ............................................................................................................................4
2. PROTOCOLE ...........................................................................................................................................4
II. SERVICES 3G : DES QUALITES TRES DISPARATES ET LE MAINTIEN DE PROBLEMES
SPECIFIQUES SUR L’ITINERANCE .........................................................................................................8
1. MESURER L’EFFICACITE DU TRANSFERT DE DONNEES : L’IMPORTANCE D’ADOPTER DES CRITERES
REELLEMENT DISCRIMINANTS.........................................................................................................................8
2. NAVIGATION SUR LE WEB : LA PERSISTANCE D’UN PROBLEME SUR L’ITINERANCE… ............................. 14
3. … QUI SE CONFIRME SUR LE STREAMING VIDEO .................................................................................... 16
4. LE SERVICE VOIX : DES DIFFERENCES PAS SI MARGINALES .................................................................... 17
III. LES PROMESSES DE LA 4G : UNE REALISATION A GEOGRAPHIE VARIABLE .................... 20
1. LE TRANSFERT DE DONNEES : D’IMPORTANTS ECARTS ENTRE OPERATEURS ......................................... 20
2. LA NAVIGATION SUR LE WEB EN 4G, OU LES ATTENTES DEÇUES........................................................... 25
3. UN CONFORT ACCRU SUR LE STREAMING VIDEO .................................................................................... 28
4. LE SERVICE VOIX : DES PERFORMANCES LOGIQUEMENT MOINDRES EN 4G QU’EN 3G ............................ 29
CONCLUSION ET DEMANDES DE L’UFC-QUE CHOISIR .................................................................... 32

Sujets

• Téléphonie mobile

Informations

• Publié par: Fil_HighTechWeb
• Publié le: 21 octobre 2014
• Nombre de lectures: 14
• Langue: Français
• Poids de l'ouvrage: 5 Mo

Extrait

Les services mobiles 3G et 4G : une qualité de service bien trop mobile

UFC-Que Choisir – octobre 2014

Contenu

I.

1. 2.

UN PROTOCOLE FIDELE AUX USAGES ET ATTENTES DES CONSOMMATEURS .....................4

C ADRAGE DE L ’ ETUDE ............................................................................................................................4 P ROTOCOLE ...........................................................................................................................................4

II. SERVICES 3G : DES QUALITES TRES DISPARATES ET LE MAINTIEN DE PROBLEMES SPECIFIQUES SUR L’ITINERANCE .........................................................................................................8

1. M ESURER L ’ EFFICACITE DU TRANSFERT DE DONNEES : L ’ IMPORTANCE D ’ ADOPTER DES CRITERES .........................................................................................................................8 REELLEMENT DISCRIMINANTS 2. N AVIGATION SUR LE W EB : LA PERSISTANCE D ’ UN PROBLEME SUR L ’ ITINERANCE … .............................14 3. …Q UI SE CONFIRME SUR LE STREAMING VIDEO ....................................................................................16 4. L E SERVICE VOIX : DES DIFFERENCES PAS SI MARGINALES 7....................................................1................

III.

1. 2. 3. 4.

LES PROMESSES DE LA 4G : UNE REALISATION A GEOGRAPHIE VARIABLE ....................20

L E TRANSFERT DE DONNEES : D ’ IMPORTANTS ECARTS ENTRE OPERATEURS .........................................20 L A NAVIGATION SUR LE W EBEN 4G, OU LES ATTENTES DEÇUES ...........................................................25 U N CONFORT ACCRU SUR LE STREAMING VIDEO ....................................................................................28 L E SERVICE VOIX : DES PERFORMANCES LOGIQUEMENT MOINDRES EN 4G QU ’ EN 3G ............................29

CONCLUSION ET DEMANDES DE L’UFC-QUE CHOISIR ....................................................................32

octobre 2014 – Service des études – UFC-Que Choisir

1

Introduction

1 Près d’un an après la publication de sa dernière étude sur la qualité de service de la 3G , l’UFC-Que Choisir la réactualise aujourd’hui tout en incluant pour la première fois dans son champ d’investigation 2 la qualité de service de la 4G . Cette double inclusion est rendue nécessaire par la diversité des situations rencontrées par les consommateurs. En effet, si aujourd’hui la 4G est accessible pour 70 % de la population métropolitaine, le nombre d’utilisateurs (5,6 millions d’après les dernières données de l’Autorité de régulation des télécommunications – ci-après réduit à l’ARCEP) est toujours bien inférieur à ceux qui utilisent la 3G, qui reste en l’état la norme de consommation et justifie qu’on y prête toujours une légitime attention.

L’objectif de cette nouvelle étude de l’UFC-Que Choisir est double :

·

·

analyser les qualités de service 3G proposées par les quatre opérateurs de réseau (Bouygues Telecom, Free Mobile, Orange et SFR) tout en déterminant si le constat émis à plusieurs reprises par l’association perdure quant à l’existence de restrictions sur l’itinérance Orange, utilisée en partie par Free Mobile ; confronter la communication des opérateurs sur la « qualité » de la 4G avec celle réellement constatée par les consommateurs.

Afin de répondre à ces deux objectifs, l’UFC-Que Choisir a procédé à des mesures sur le terrain, avec l’appui d’un prestataire technique spécialisé auquel font régulièrement appel aussi bien les opérateurs que l’ARCEP, et a analysé 10 616 données.

La présente étude est structurée en trois parties.

La première partie présente le protocole élaboré pour cette enquête de terrain.

La deuxième partie de l’étude compare la qualité de service 3G des quatre opérateurs de réseau, ce qui nous permet de souligner la persistance d’un réel problème spécifique à l’itinérance qui entraîne une anormale discrimination entre les abonnés de Free Mobile. Cette situation justifie en conséquence, plus que jamais, que l’origine de cette asymétrie soit identifiée par les autorités que nous avons saisies à ce propos il y a déjà près de deux ans.

Enfin, sur la base de notre échantillon, la troisième partie de l’étude dresse une comparaison de la qualité de service 4G proposée par les quatre opérateurs. Celle-ci montre des écarts qualitatifs particulièrement importants entre eux, mais également de substantielles différences de traitement entre les trois zones géographiques que nous avons testées. Ces différences, ces discriminations territoriales, nous le verrons, appellent la mise en place de mesures venant assurer aux

1 http://image.quechoisir.org/var/ezflow_site/storage/original/application/40a34819e4dde059b42909d0fd131318.pdf

2 Lors de notre dernière enquête sur la qualité de service, les opérateurs n’avaient pas tous lancés leurs offres 4G.

octobre 2014 – Service des études – UFC-Que Choisir

2

consommateurs que la stratégie de déploiement des réseaux 4G se fasse en garantissant un traitement équivalent entre eux ; les consommateurs, quelle que soit la zone dans laquelle ils vivent, payent en effet la même somme pour leurs abonnements.

octobre 2014 – Service des études – UFC-Que Choisir

3

I.

Un protocole fidèle aux usages et attentes des consommateurs

1.

Cadrage de l’étude

La campagne de mesures que l’UFC-Que Choisir a menée, avec l’appui d’un prestataire technique, a consisté à la réalisation d’un état des lieux des performances des réseaux 3G et 4G d’un point de vue du client. Bien que généralement basés sur les critères retenus par l’ARCEP dans ses enquêtes de qualité de service, nos propres critères s’en éloignent afin de coller au plus près aux légitimes exigences des consommateurs sur la capacité des réseaux mobiles à offrir la qualité de service présente dans les campagnes publicitaires des opérateurs.

Les quatre opérateurs de réseau ont été testés : Bouygues Telecom, Orange, SFR et Free Mobile. Pour la 3G de ce dernier, compte tenu de ce mode de fonctionnement spécifique, nous avons systématisé une distinction dans nos tests entre ceux réalisés sur son réseau propre (RP), et ceux réalisés en itinérance (IT) sur le réseau Orange.

Deux téléphones mobiles ont été utilisés pour effectuer les mesures : un iPhone 5S et un Samsung Galaxy S5 ; ces terminaux haut de gamme permettent de réduire les défauts de fonctionnements liés aux limites de certains smartphones, et sont en conséquences adaptés pour tester la qualité des réseaux.

Les forfaits qui ont été utilisés sont grand public : le forfait Free avec 20 Go de données utilisables, pour SFR le forfait Carré 16 Go, pour Orange le forfait Origami Jet 10 Go et enfin pour Bouygues Telecom le forfait Sensation 16 Go. Bien entendu, les mesures ont systématiquement été faites dans l’enveloppe allouée pour lefair use.

Les mesures ont été réalisées dans trois villes : Aix-en-Provence, Bordeaux et Paris. Certaines de ces mesures, minoritaires, ont été effectuées en périphérie des villes. En tout, les mesures ont eu lieu dans 71 points géographiques distincts (18 à Aix-en-Provence, 24 à Bordeaux et 29 à Paris).

er Les tests se sont déroulés du 1 au 25 septembre 2014.

Les conditions de tests ont été systématiquement identiques pour les 4 opérateurs.

2.

Protocole

Sur chaque lieu de mesures, quatre usages ont fait l’objet de nos tests, aussi bien en 3G qu’en 4G :

- - - -

Le téléchargement et l’envoi de fichiers ; La navigation sur le Web : La lecture d’une vidéo sur la dernière version disponible de l’application YouTube ; La qualité des appels téléphoniques.

octobre 2014 – Service des études – UFC-Que Choisir

4

a.

Le téléchargement et l’envoi de fichiers

Un mesure consistait à :

- -

Télécharger un fichier de 50 Mo en 4G et de 5 Mo en 3G. Envoyer un fichier de 20 Mo en 4G et de 1 Mo en 3G.

Les téléchargements et envois sont réalisés selon le protocole HTTP depuis, et vers, un serveur dédié suffisamment dimensionné, là encore pour éviter tout faussement des résultats.

Si l’UFC-Que Choisir a retenu la même taille de fichiers que les plus gros retenus par l’ARCEP dans sa dernière enquête de qualité de service, elle a cependant procédé à une modification quant au critère permettant de juger si aussi bien les téléchargements que les envois sont considérés comme étant réalisés. En effet, pour l’ARCEP, que ce soit en 3G ou en 4G, le téléchargement des fichiers est considéré comme étant réussi s’il est effectué en moins de 300 secondes, tandis que l’envoi des fichiers l’est s’il est effectué en moins de 2 minutes. Basé sur un cahier des charges défini en concertation avec les opérateurs mobiles, ces critères ne reflètent pas les attentes des consommateurs par rapport aux performances des technologies mobiles.

C’est particulièrement le cas concernant la 4G. En effet, les attentes des consommateurs concernant le très haut débit mobile sont à la hauteur des performances vantées dans les campagnes publicitaires des opérateurs. Ainsi, il parait particulièrement inadapté de juger le téléchargement d’un fichier de 50 Mo comme étant réussi s’il est effectué en moins de 5 minutes alors qu’un consommateur disposera de l’information selon laquelle ce téléchargement est effectuable en 8 secondes.

Source :http://reseaux.orange.fr/4g

L’UFC-Que Choisir a donc considéré indispensable de ne pas embrasser l’approche de l’ARCEP et a décidé de se baser dans son étude sur des critères de temps différents. Deux indicateurs distincts sont retenus à la fois pour le téléchargement et pour l’envoi et sont communément appliqués à la 3G et à la 4G.

octobre 2014 – Service des études – UFC-Que Choisir

5

Pour le téléchargement et l’envoi de fichiers, un comparatif est dressé entre opérateur en retenant le critère du téléchargement et de l’envoi en moins de 60 secondes, et un autre en retenant celui du téléchargement et de l’envoi en moins de 30 secondes.

Notons que les débits moyens constatés pendant l’envoi et le téléchargement des fichiers a permis de déterminer les débits médians pour chaque opérateur, dans chaque technologie et sur chaque ville testée, endownloadetuploadque nous présenterons.

b.

La navigation sur le Web

L’UFC-Que Choisir a également testé la qualité de navigation sur le Web aussi bien en 3G qu’en 4G. Nous avons ainsi testé l’accès aux 10 pages Web les 3 plus utilisées par les consommateurs . Deux indicateurs ont été retenus.

Le premier est le taux de réussite de l’accès à chaque site internet en moins de 20 secondes. Notons qu’ici également notre approche dénote avec celle de l’ARCEP qui retient un critère de temps de 30 secondes.

Le second est le taux de navigations réussies et maintenues pendant 3 minutes. La navigation est considérée comme étant réussie si elle est maintenue et active pendant 3 minutes sans coupure de connexion au réseau de données.

c.

La lecture d’une vidéo sur YouTube

Crédit photo : Alexis Lecomte

Ce test a consisté à visionner la même séquence d’une vidéo d’une minute sur YouTube, en utilisant pour chacun des deux types de terminaux la dernière version de l’application disponible sur le store.

Plusieurs indicateurs ont été mobilisés afin de déterminer la qualité de visionnage de la vidéo :

- La réussite du lancement de l’application (dans un délai de 15 s) ;

3 http://www.dailymotion.com/fr;http://www.ebay.fr;http://www.google.fr;http://www.lefigaro.fr/;http://www.lemonde.fr/; http://www.leboncoin.fr/;http://www.pagesjaunes.fr;http://www.wikipedia.fr;http://www.yahoo.fr;http://www.youtube.fr

octobre 2014 – Service des études – UFC-Que Choisir

6

- - - -

La réussite de la recherche de la vidéo (dans un délai de 15 s) ; Le lancement effectif de la vidéo (dans un délai de 15 s) ; L’absence de coupure de la vidéo ; La possibilité de visionner intégralement une vidéo pendant 60 secondes.

Si ces critères sont remplis, alors la lecture d’une vidéo est considérée réussie.

d.

La qualité des appels téléphoniques

Nous avons évalué le service voix selon le référentiel ARCEP aussi bien pour la 3G que pour la 4G, l’intérêt étant à la fois de distinguer la qualité de ce service proposée par chaque opérateur pour chacune des technologies, mais également de comparer les délais d’établissement des appels entre 4 les deux technologies, sachant que le service voix ne passe pas sur les réseaux 4G . Ainsi, lorsqu’un consommateur disposant d’un forfait 4G émet un appel, le terminal doit passer en 3G (ou 2G) pour que l’appel soit effectué, ce qui entraîne un délai supplémentaire pour émettre l’appel.

Plusieurs indicateurs ont été retenus :

-

- - - -

Le taux de communications établies : taux de retour de sonnerie obtenu dans un délai inférieur à 20 secondes après la composition du numéro ; Le taux de communications réussies, maintenues et de qualité parfaite ; Délai moyen d’établissement d’appel par opérateur et par technologie ; Délai médian d’établissement d’appel par opérateur et par technologie ; Pour la 4G, le délai de remontée à cette technologie au raccrochage de fin d’appel.

4 Cette possibilité entrera vraisemblablement en vigueur, au moins chez certains opérateurs, au cours de l’année 2015.

octobre 2014 – Service des études – UFC-Que Choisir

7

II.

Services 3G : des qualités très disparates et le maintien de problèmes spécifiques sur l’itinérance

Comme il y a un an, l’UFC-Que Choisir a réalisé des tests pour vérifier la qualité de service de la 3G. L’insertion de la 4G dans nos tests ayant entraîné une modification de notre protocole par rapport à celui adopté l’année dernière, la comparaison de l’évolution de la qualité de la 3G entre nos deux enquêtes n’est pas rendue possible. Cependant, nous avons pu nous livrer à une comparaison de la qualité de service proposée par les différents opérateurs.

Nous avons distingué les deux réseaux 3G utilisés par les clients de Free Mobile. En effet, ne pouvant disposer d’un réseau national lui appartenant lors du lancement de ses offres mobiles en janvier 2012, Free Mobile a signé un accord dit « d’itinérance » avec l’opérateur Orange pour pouvoir utiliser ses antennes mobiles, aussi bien 2G que 3G. Ayant déjà démontré à deux reprises l’existence de restrictions qualitatives sur cette itinérance qui impacte concrètement ses utilisateurs, l’UFC-Que Choisir a maintenu dans son enquête 2014 cette distinction lorsqu’il s’agit de lire la qualité mobile proposée aux clients de Free Mobile.

Cette deuxième partie de l’étude présente successivement les résultats des quatre services que nous avons testés. Systématiquement, nous présentons les résultats agrégés ainsi que les résultats par zone testée.

1.

Mesurer l’efficacité du transfert de données : l’importance d’adopter des critères réellement discriminants

Afin de mesurer la performance des différents réseaux 3G, il est indispensable de mettre en place des critères qui permettent de réellement différencier les opérateurs. Comme indiqué dans la partie consacrée au protocole, nous avons élaboré deux indicateurs temporels. Nous allons établir qu’ils permettent de montrer la divergence de qualité de service chez les opérateurs.

octobre 2014 – Service des études – UFC-Que Choisir

8

a. Le téléchargement de fichiers En retenant un critère de temps de 60 secondes pour réaliser le téléchargement d’un fichier de 5 Mo, nous constatons des différences de performances relativement peu marquées.

Néanmoins, à ce stade quelques constats peuvent être dressés. Les réseaux de Bouygues Telecom et d’Orange se démarquent en étant les seuls à permettre le téléchargement du fichier en moins de 60 secondes dans plus de 9 cas sur 10. SFR et Free Mobile sont en-dessous de ce seuil et nous remarquons une performance identique sur le réseau propre de Free et sur l’itinérance. Pour que les différences de performances divergent davantage, l’augmentation du critère qualitatif est nécessaire, ce que nous mettons en évidence dans le graphique ci-dessous.

octobre 2014 – Service des études – UFC-Que Choisir

9

Si pour Orange l’incidence est nulle, et lui permet de disposer du meilleur taux de téléchargements réussis dans le temps imparti, Bouygues Telecom baisse légèrement ; SFR et surtout Free bien davantage. Une différence, relativement peu importante, apparaît déjà entre le réseau propre de Free et l’itinérance, à l’avantage qualitatif du premier.

b. L’envoi de fichiers Le paysage change légèrement lorsqu’on fixe l’attention sur l’envoi de fichiers. Bien que la différence entre le réseau propre de Free et l’itinérance soit toujours présente, l’expérience pour les abonnés de Free reste bonne.

La qualité du réseau d’Orange ressort, tandis que Bouygues Telecom, et surtout SFR, affichent des performances bien moindres. Le renforcement du critère qualitatif vient en partie bousculer l’ordre établi.

octobre 2014 – Service des études – UFC-Que Choisir

10