Comment sont testés les smartphones chez Frandroid ?

Vous êtes déjà sans doute tombés sur un de nos tests de smartphones. Il faut dire qu’il en sort des dizaines chaque année et que nous nous efforçons de couvrir une part la plus exhaustive possible du marché. Chaque année, ce sont donc des dizaines de modèles qui passent à la rédaction dans le but d’être testés, évalués et comparés.

Afin de vous aider à comprendre nos tests, les critiques apportées à chaque smartphone, les notes et les différents critères, nous vous invitons donc à plonger dans notre protocole de test. Dans un premier temps, voici donc un aperçu global des différents points testés. Nous reviendrons ultérieurement plus en profondeur sur les différents aspects en détail, qu’il s’agisse de l’écran, du design, de l’autonomie ou des performances photo.

Comment a-t-on accès aux smartphones ?

Pour tester un smartphone, forcément, le premier point est d’y avoir accès. Deux types de cas se présentent alors : nous pouvons l’acheter, ou il peut nous être confié par la marque, ou par une agence de relations presse qui travaille pour la marque.

Dans la très grande majorité des cas, les smartphones nous sont prêtés. Nous avons généralement entre une semaine et un mois pour tester le smartphone. Ces prêts de smartphones sont indispensables pour que nous puissions les tester tant les appareils coûtent cher. Surtout, ils nous permettent parfois de publier un test au moment même de l’annonce du smartphone.

Le prêt d’un smartphone par une marque ne se fait pas sans condition, mais contrairement à ce qu’on peut lire parfois, il n’y en a qu’une seule. On peut dire du bien ou du mal de l’appareil, l’étriper, le porter aux nues ou lui mettre 1/10. Peu importe. Les marques s’en moquent ou en tous cas ne nous demandent rien de ce côté-là, pas plus qu’elles n’ont de droit de regard sur le contenu. Ça va sans dire, mais ça va mieux en le disant.

Pour aller plus loin
Non, les journalistes de FrAndroid ne sont pas « payés par les marques »

En revanche, particulièrement lorsque nous testons un smartphone avant sa sortie — voire son annonce –, la publication des tests peut être soumise à un embargo. C’est-à-dire que la marque va nous confier le smartphone tout en nous demandant de ne rien publier avant tel jour à telle heure. Pour la marque, cela permet d’assurer une communication maîtrisée — que le test soit positif ou négatif, on parle de leur appareil — et pour nous cela présente deux avantages. D’abord, on peut ainsi publier le test lorsque l’intérêt est à son comble, au moment de l’annonce ou à sa sortie. Ensuite, cela évite une course contre la montre avec nos concurrents à qui sortira le test le plus rapidement — quitte à le bâcler — puisque tout le monde est soumis au même embargo.

Il arrive également que nous achetions nous-mêmes les smartphones à tester. C’est plus rare, mais ça peut arriver, notamment lorsque la marque ou son agence n’a aucun modèle à disposition pour un prêt. Il s’agit généralement de modèles d’entrée ou milieu de gamme pour lesquels le constructeur n’a pas prévu de communication particulière. Il nous appartient donc de les acheter pour pouvoir les tester dans un délai convenable après la sortie du smartphone. Cela peut aussi arriver lorsque la marque nous boude — ça arrive — ou qu’elle n’est pas implantée en France.

Des critères à la fois objectifs et subjectifs

Cela peut paraître évident, mais lorsque l’on teste un smartphone, il y a différents points à prendre en compte. Certains peuvent être objectifs — une autonomie de 48 heures sera préférable à une autonomie de 12 heures — quand d’autres relèvent parfois de l’avis personnel du rédacteur.

C’est le cas notamment d’une bonne partie du design. Chez Frandroid, nous nous efforçons autant que possible de donner notre ressenti sur un appareil. Cela ne veut pas dire qu’il n’est pas justifié ou complètement arbitraire, bien au contraire. Certains préféreront de grands smartphones pour mieux profiter de l’écran, d’autres préféreront un appareil plus compact et plus simple à prendre en main. Dans les deux cas, le tout est de savoir le justifier et d’expliquer notre raisonnement, tout en sachant prendre en compte le point de vue opposé. Il ne s’agit pas de mettre une mauvaise note au design parce qu’un smartphone est trop gros, mais d’expliquer pourquoi on n’apprécie guère ce format, même si certains lui verront plus de qualités qu’un appareil plus compact.

Il en va de même pour le rendu des photos. Pour certains, un rendu très neutre sera préférable quand d’autres favoriseront des clichés directement publiables avec un contraste élevé et des couleurs pétantes. Là aussi, les deux avis sont valables, à condition de les justifier. La subjectivité n’est pas un manque d’objectivité, encore moins un mensonge ou un gros mot. C’est un avis, en l’occurrence un avis d’expert dont la profession est de tester et de comparer des smartphones. C’est surtout un avis qui s’ajoute aux critères objectifs pour justifier un ressenti d’usage après une ou plusieurs semaines d’utilisation du smartphone.

Dans l’ensemble, nos tests reposent sur une utilisation réelle du smartphone. Forcément, il s’agit donc d’un ressenti personnel qui ne sera pas le même pour tout le monde. Reste que ce ressenti est systématiquement appuyé. Il peut s’agir d’un avis argumenté, comme on l’a vu, ou de données factuelles, mais dans tous les cas, les tests de Frandroid privilégient d’abord l’usage aux données techniques. Ces dernières ne sont là que pour confirmer ou appuyer notre avis d’utilisateur.

L’évaluation du design

On l’a vu précédemment, l’évaluation du design est en grande partie une affaire de goût. Cependant, cela ne signifie pas qu’il n’existe pas de critères objectifs. La taille de l’appareil, l’épaisseur de ses bordures, l’éventuelle certification d’étanchéité, le fait que l’appareil photo ressorte, que les boutons soient facilement accessibles, ce sont autant de points sur lesquels nous évaluons le design d’un appareil.

Par ailleurs, il est évident qu’on n’attend pas la même chose de la part d’un smartphone vendu à 150 euros que de celui lancé à 1000 euros. Sur un flagship, on sera d’autant plus critique s’il n’est pas étanche. Sur un modèle vendu à 150 euros, on pourra lui pardonner le fait d’avoir une coque en plastique et non pas en verre… si tant est que ce soit un critère. En effet, grâce à sa souplesse, certains préféreront un smartphone avec un dos en plastique, estimé plus solide qu’un smartphone avec des matériaux dits « premiums » comme le verre ou le métal, mais aussi plus léger. Encore une fois, tant que l’avis est argumenté, il est valable.

L’évaluation de l’écran

Comme pour tous les critères de nos tests, la qualité de l’écran prend à la fois en compte notre ressenti et nos tests techniques. Pour le ressenti, cela signifie qu’on va décrire systématiquement les conditions dans lesquelles on a pu tester le smartphone. Est-ce qu’on arrive à lire l’écran même en plein soleil avec un grand ciel bleu ? Est-ce que les noirs s’effacent lorsqu’on regarde une vidéo dans l’obscurité ? Est-ce que l’affichage tend vers le bleu ?

En plus de ces données subjectives, nous utilisons également deux outils pour nos tests de qualité d’écran : une sonde et un logiciel de calibration, en l’occurrence CalMAN Ultimate de Portrait Display. Ce logiciel va nous permettre de faire différents types de mesure. On va ainsi connaître la luminosité maximale de l’écran, son taux de contraste, la balance des blancs, le delta E moyen ou sa capacité à recouvrir les espaces colorimétriques sRGB et DCI-P3. Des points que nous aborderons plus en détail ultérieurement.

Concrètement, plus la luminosité maximale est élevée, plus on pourra lire facilement l’écran au soleil. Plus le taux de contraste est élevé, plus les noirs seront profonds. Plus la balance des blancs se rapprochera de 6500K, plus la température d’affichage sera proche du point blanc idéal. Plus le delta E moyen sera faible, plus les couleurs seront fidèles. Plus les espaces colorimétriques seront couverts, plus le smartphone pourra afficher de teintes différentes, y compris les plus saturées.

Lorsque plusieurs modes d’affichage sont disponibles sur un smartphone — comme c’est souvent le cas — nous essayons également de répéter certaines de ces mesures (l’espace colorimétrique ou la température des couleurs) avec les autres modes de calibration.

L’évaluation du logiciel

Chez Frandroid, nous aimons Android. Surtout, nous aimons encore plus les smartphones à jour. Le test logiciel du smartphone passe donc toujours par une étape indispensable : vérifier la version d’Android. Il peut aussi bien s’agir de s’assurer que le smartphone profite de la dernière version du système de Google que de vérifier qu’il n’est pas doté d’un patch de sécurité obsolète.

Évidemment, nous passons également en revue l’interface proposée par le constructeur. EMUI chez Huawei, OxygenOS chez OnePlus, One UI chez Samsung, MIUI chez Xiaomi, ColorOS chez Oppo, autant d’interfaces qui ont chacune leurs propres intérêts et leurs propres défauts.

Vous vous en doutez, cette partie tend à se répéter du test d’un smartphone d’une marque à un autre. Il faut dire qu’entre le Samsung Galaxy A50 et le Samsung Galaxy S10, il n’y a que peu de différences en termes d’interface logicielle. Dans tous les cas, on cherchera une interface à la fois complète — avec de nombreuses options de personnalisation pour le launcher, la navigation gestuelle ou les paramètres d’affichage — et sobre — avec une navigation claire, des icônes pas trop tape-à-l’œil et un bon usage de l’interface.

Pour les interfaces plus exotiques — comme ColorOS, Flyme ou FuntouchOS — on sera d’autant plus attentif aux éventuelles erreurs de traduction et aux textes coupés aléatoirement dans les menus. De même, un point que l’on va observer est celui des applications et fonctionnalités intégrées par le constructeur. Si l’on appréciera des fonctions supplémentaires, on préférera qu’elles ne fassent pas doublon avec celles du système, ou qu’elles soient facilement trouvables dans les menus.

C’est souvent dans cette partie aussi que nous abordons les systèmes de reconnaissance biométrique intégrés, qu’il s’agisse du lecteur d’empreintes digitales ou de la reconnaissance faciale. C’est évident, mais dans les deux cas on va avant tout rechercher une expérience à la fois rapide et fiable. Un smartphone qui met plusieurs secondes à reconnaître votre empreinte digitale, c’est particulièrement désagréable au quotidien. Un smartphone qui se déverrouille simplement en lui montrant une photo de vous-même sera quant à lui très peu sécurisé.

L’évaluation de l’appareil photo

Nos tests photo — et parfois vidéo — visent surtout à tester les smartphones dans différents cas de figure. L’idée est bien évidemment de mettre le smartphone en difficulté afin d’évaluer ses forces et ses faiblesses sur des scènes quotidiennes variées. Si nous ne testions un smartphone qu’en plein jour, avec une luminosité homogène, tous les smartphones s’en tireraient haut la main.

C’est donc des conditions plus difficiles que l’on va pouvoir évaluer non seulement le capteur et l’optique, mais également le traitement photo intégré par le constructeur. Nos tests proposent toujours des photos de bâtiments, généralement avec une façade dans l’ombre et un ciel lumineux. Cela nous permet de juger de la plage dynamique de l’appareil photo, c’est-à-dire de sa capacité à capturer aussi bien les zones les plus sombres que les plus éclairées dans un même cliché. On va également tester les différentes optiques si le smartphone en propose plusieurs, ainsi que la cohérence en termes de couleur et de lumière d’un module photo à l’autre. Enfin, nous passons aussi en revue les selfies et le mode portrait.

Il en va de même pour les photos de nuit ou en basse lumière. C’est généralement dans ce cadre que l’on va pouvoir distinguer le plus facilement un smartphone performant en photo qu’un appareil plus moyen. Bien évidemment, comme pour le design, on n’attendra pas la même qualité photo d’un smartphone premium et d’un modèle d’entrée de gamme. On va donc pondérer nos attentes en fonction du segment tarifaire de l’appareil, et donc de la concurrence.

Le principe des tests photo chez Frandroid est le même que pour toutes les parties : les appareils ont vocation à être utilisés en conditions réelles, ils sont donc testés en condition réelle. C’est l’usage qui va primer, et c’est pour cela que nous privilégions la prise de véritables photos, à main levée, et non pas l’utilisation de mires.

L’évaluation des performances

Les performances d’un smartphone sont bien évidemment fonction de son SoC, la puce qui l’équipe, et de sa mémoire vive. Là encore nos tests se décompensent généralement en deux phases : d’abord un ressenti d’utilisation, puis une série de benchmarks.

Pour le ressenti d’utilisation, nous nous efforçons d’expliquer si nous avons remarqué de la latence ou des ralentissements sur le smartphone testé pendant plusieurs jours, et si oui, dans quel cadre. Nous lançons également plusieurs jeux 3D afin d’évaluer les performances graphiques du smartphone. Il s’agit généralement d’Arena of Valor, de PUBG Mobile et de Fortnite, trois jeux aux exigences graphiques assez élevées. Arena of Valor et Fortnite ont également l’intérêt de permettre d’afficher le framerate en cours de jeu et donc une valeur objective et chiffrée simple à comparer.

Pour aller plus loin
AnTuTu, PCMark, Geekbench et consorts : quelles sont les différences entre les benchmarks ?

Pour les tests plus objectifs, nous faisons passer une série de benchmarks aux smartphones : AnTuTu, PCMark 2.0, 3DMark Slingshot Extreme et GFX Bench. Des applications aux mesures différentes et que nous vous avions déjà présenté dans un article dédié. Les résultats nous permettent d’avoir un bon aperçu des performances du smartphone par rapport à la concurrence. Nous en profitons également pour utiliser AndroBench qui va quant à lui mesurer la vitesse de lecture et d’écriture du smartphone, pratique pour savoir s’il peut stocker rapidement les informations.

L’évaluation de l’autonomie

L’autonomie est un critère particulièrement ardu à évaluer, parce que tous les usages sont différents. Entre quelqu’un qui va jouer pendant cinq heures à Fortnite sur un smartphone et quelqu’un qui ne va s’en servir qu’une fois toutes les deux heures pour consulter Instagram, l’autonomie sera bien différente.

Là encore, nos tests visent donc à donner à la fois les résultats de notre utilisation réelle et ceux d’un test objectif. Pour l’utilisation réelle, nous expliquons donc combien de temps nous avons tenu avant d’épuiser la batterie du smartphone testé. Néanmoins, cela ne suffit pas en soi. C’est pourquoi autant que faire se peut, nous expliquons également l’usage que nous en avons fait. Cela peut passer par les applications les plus utilisées, le temps durant lequel l’écran est resté allumé, ou la durée d’activation du Wi-Fi ou du Bluetooth.

Afin de pouvoir comparer les différents smartphones entre eux, nous utilisons également un test unifié, développé par l’entreprise SmartViser et conçu par Frandroid. SmartViser — qui travaille également avec de nombreux acteurs de l’industrie — développe des tests d’autonomie à la demande pour répondre aux besoins spécifiques de chaque client. C’est pour ça que même si leur système est également utilisé par certains concurrents, ils n’obtiendront pas les mêmes résultats que nous, puisqu’ils utilisent un protocole différent.

Chez Frandroid, nous avons conçu un test capable de simuler un usage mixte, alternant les phases d’appel vocal, de navigation Web, de capture de photo, de veille, de jeux 3D ou de lecture vidéo. En somme, un test reflétant un usage réel du smartphone. Plus le smartphone mettra longtemps à passer de 100 à 10 % de batterie, plus il sera autonome.

Enfin, nous testons également la recharge de la batterie avec le chargeur inclus par le constructeur. On note également si le smartphone est compatible avec la charge sans fil.

L’évaluation des autres critères

Sur tous nos tests, on va également juger de la connectivité du smartphone. Cela passe avant tout par s’assurer de la compatibilité de l’appareil avec les bandes de fréquence 4G disponibles en France.

Pour aller plus loin
Fréquences 4G et 5G : comment assortir au mieux téléphone et opérateur

Pour rappel, on a cinq bandes de fréquences qui supportent la 4G : 700 MHz (B28), 800 MHz (B20), 1800 MHz (B3), 2100 MHz (B1) et 2600 MHz (B7). Forcément, on attend donc d’un smartphone — particulièrement un modèle haut de gamme — qu’il soit compatible avec l’ensemble de ces bandes de fréquences. Malheureusement, c’est loin d’être toujours le cas et certains modèles ont tendance à oublier la bande B28 à 700 MHz. Un handicap particulièrement lourd pour les clients Free Mobile puisque leur opérateur n’exploite pas les bandes B20 et B1, et s’appuie donc fortement sur la B28 pour son réseau 4G. En l’absence de support par le smartphone, l’utilisateur n’a donc plus accès qu’à deux des cinq bandes disponibles.

Toujours dans la catégorie connectivité, on va également vérifier la compatibilité avec les différents satellites de géolocalisation, non seulement l’Américain GPS, mais aussi l’Européen Galileo, le Russe Glonass ou le Chinois Beidou, ainsi que la vitesse de fixation du point. Nous testons aussi la qualité des appels audio et de l’annulation de bruit en appelant depuis le trottoir sur un boulevard parisien. Un bon moyen de vérifier que les bruits de circulation automobile sont bien filtrés. Nous nous assurons également de la compatibilité du smartphone avec le Wi-Fi 5 ou, le cas échéant, le Wi-Fi 6. Enfin, nous vérifions la version Bluetooth utilisée sur l’appareil.

À propos du Bluetooth, on en parle également dans la partie audio de nos tests. En effet, alors que de plus en plus de marques sacrifient la prise jack — ce que nous mentionnons toujours — le Bluetooth reste l’un des meilleurs moyens de profiter de son casque audio. Il convient donc de s’assurer que le smartphone soit compatible avec les différents codecs audio disponibles, et pas juste avec le SBC intégré de base, pour s’assurer que vous pourrez en tirer le meilleur son possible avec votre casque s’il est compatible aptX, LDAC ou aptX HD.

Enfin, certains smartphones proposent des aspects particulièrement originaux. Il peut s’agir d’un deuxième écran au dos comme sur le Vivo Nex Dual Display, d’un appareil photo rotatif comme sur l’Asus Zenfone 6, d’un format pliable comme sur le Samsung Galaxy Fold, ou même de cinq appareils photo au dos comme sur le Nokia 9 PureView. Autant de points que nous abordons systématiquement en détail, parce que c’est ceux-ci qui vont distinguer le smartphone de sa concurrence. Autant donc s’assurer que ces aspects originaux apportent une réelle plus-value à l’utilisateur.

Le choix de la note et le verdict

Tous les produits testés sur Frandroid sont notés de 1 à 10. Une note qui, on le sait, importe particulièrement aux lecteurs. Afin d’être tout à fait clair d’emblée, la note n’est pas une moyenne stricte des différentes sous-notations du test. Ce n’est pas nécessairement parce qu’un smartphone obtiendra trois fois 6/10 et trois fois 8/10 qu’il sera noté 7/10 sur le verdict final.

Cela s’explique notamment par le fait que certains critères importants pour les consommateurs, comme l’autonomie, la photo ou les performances, peuvent être favorisés. Cela peut aussi se justifier par une note particulièrement mauvaise sur un aspect (une autonomie désastreuse par exemple) qui vient tirer le smartphone vers le bas et le rend particulièrement peu recommandable.

Dans l’ensemble, les notes sont discutées au sein même de la rédaction dès qu’un doute se fait sentir. On s’efforce également d’assurer un minimum de cohérence entre deux modèles semblables. Surtout, la note finale tient compte du prix de lancement d’un smartphone. Le Xiaomi Redmi Note 7 a par exemple reçu la note de 9/10. Cela ne veut pas dire qu’il s’agit d’un meilleur smartphone que le OnePlus 7, qui a eu la note de 8/10, mais simplement qu’on le conseillera plus volontiers sur son segment de prix.

En mettant en place une grille de notation simplement basée sur les qualités du smartphone sans tenir compte de son prix, on arriverait sur des notes allant de 1 à 4 pour des appareils à moins de 200 euros, de 4 à 7 pour des smartphones de 200 à 500 euros, et de 7 à 10 pour des smartphones supérieurs à 500 euros. Plus un smartphone est cher, meilleur il va être, pas besoin de lire un test pour le savoir. Surtout, certains lecteurs et lectrices s’arrêtant à la découverte de la note, cela ne les avancerait guère pour savoir si un smartphone est à conseiller pour leur budget.

La note finale est donc établie en fonction du prix du smartphone à son lancement — au moment où l’on teste généralement les smartphones. En grossissant le trait, on pourra donc traduire un 9/10 par le meilleur smartphone disponible à ce prix. Un 8/10 équivaut à un smartphone très bon sur ce segment. Un 7/10 à un smartphone efficace. Un 6/10 sera un appareil moyen, etc. Dans la conclusion, nous précisons également lorsque la note tend vers la note inférieure ou supérieure, par exemple si nous avons hésité entre un 7 ou un 8.

Il vous appartient donc, lorsque vous cherchez un nouveau smartphone, de regarder en fonction du budget que vous êtes prêt à mettre pour savoir parmi les modèles proposés lequel sera le plus efficace. Vous pouvez vous arrêter à la note finale, mais très franchement on vous le déconseille. La note à elle seule, sans même le verdict, ne signifie pas grand-chose. Nos tests sont là avant tout pour guider vos achats en fonction de vos critères et la note à elle seule ne reflétera pas l’usage d’un smartphone en détail. Elle n’est qu’une traduction grossière de tous les aspects du smartphone et on vous invite donc à lire au moins les critères qui vous intéressent le plus. Non seulement parce que vous seuls savez quels critères favoriser, mais aussi parce qu’on n’a pas écrit tout ça pour rien.