Depuis quelques années, nous améliorons au fur et à mesure notre protocole de test. Le but est à chaque fois le même, pouvoir comparer objectivement les smartphones entre eux, mais également donner un avis subjectif sur certains éléments et certaines fonctionnalités des téléphones. Ainsi, nous nous sommes récemment équipés d’une sonde pour mesurer les caractéristiques des écrans (luminosité, contraste, rendu des couleurs, etc.) qui nous sert également à régler la luminosité des écrans sur une valeur identique (200 cd/m2) lors des tests d’autonomie.
Les lacunes de notre test
Nous l’avouons aisément, notre test actuel d’autonomie qui consiste en la lecture d’une vidéo YouTube pendant 1h est rempli de biais. Nous nous basons en effet sur la jauge de la batterie en pourcent qui ne reflète pas forcément la véritable capacité restante de la batterie. Ainsi, une batterie peut perdre 10% de sa capacité et 100 mAh de 100 à 90% mais seulement 50 mAh de 90 à 80%. Chaque téléphone ayant un comportement unique, il est dangereux de se fier à cette unique donnée pour comparer l’autonomie des téléphones entre eux, même si cela nous donne une base.
L’autre biais de notre actuel test d’autonomie est l’utilisation d’une vidéo alors que certains utilisateurs ne regardent jamais de vidéos sur leurs smartphones. Sachant que l’écran compte pour un peu plus de 50% de la consommation totale d’un smartphone, si un utilisateur allume peu son écran, notre test d’autonomie n’a aucun intérêt pour lui. A l’inverse, nous ne mesurons pas l’autonomie des smartphones lorsqu’ils sont en veille (l’écran éteint) mais qu’ils travaillent tout de même.
SmartViser : la solution
Bref, notre protocole d’autonomie a besoin d’un grand coup de ménage. Bonne nouvelle, puisque nous nous sommes associés à l’entreprise rennaise SmartViser qui édite une solution de tests automatisés utilisée aussi bien par certains de nos confrères que par des opérateurs ou des constructeurs de smartphones. L’application prend la forme d’un fichier APK à installer sur les terminaux en test. SmartViser permet ensuite de lancer toute une série d’actions automatisée (appels téléphoniques, envoi de SMS, navigation sur Internet, déverrouillage et verrouillage du téléphone, lancement d’un jeu 3D, d’une vidéo, d’une musique, d’un réseau social, etc.) mimant les actions d’un humain. Il devient alors possible de vider la batterie sur une journée en simulant l’activité d’un utilisateur classique, avec des moments d’activités et des moments de veille.
Puisque SmartViser permet de personnaliser les tests d’autonomie, nous avons souhaité bâtir un test qui reflète au mieux l’usage que nos lecteurs font de leur smartphone au quotidien. Nous avons donc créé un sondage afin de mieux cerner vos habitudes d’utilisation de votre smartphone. Ce sondage est court (environ 2 minutes pour répondre à toutes les questions) et nous permettra de concevoir un scénario de test d’autonomie qui reflète votre utilisation pratique des smartphones. Vous pourrez alors choisir le smartphone qui a la meilleure autonomie avec votre type d’usage.
Le sondage
Vous pouvez directement répondre au sondage sur cette page ou depuis le site de Google.
Le futur protocole de test
La nouvelle version de notre protocole de test verra le jour dans les semaines à venir de manière progressive. Le pan sur l’autonomie n’est pas le seul qui sera mis à jour, puisque nous allons également revoir notre protocole de test pour la partie performances. Nous allons toujours utiliser GameBench pour mesurer les performances des terminaux haut de gamme, mais avec un jeu 3D développé par SmartViser, qui s’approche de Real Racing 3 en terme de performances et qui a l’avantage de tourner sans action de la part de l’utilisateur. Rassurez-vous, nous utiliserons toujours des jeux disponibles sur le Play Store pour certains comparatifs même si la solution de SmartViser n’a rien à envier à un jeu du Play Store.
Le test de la partie réseau va également évoluer, non pas au sein des tests dans un premier temps, mais au sein de comparatif. Encore une fois, la solution de SmartViser va nous permettre de comparer l’accroche réseau de différents téléphones sur un même trajet. Ainsi, nous pourrons répondre à la fameuse question que tout le monde se pose : est-ce que l’absence de bande 800 MHz sur les téléphones asiatique est réellement problématique ?
Bref, vous l’aurez compris, notre futur protocole de test se veut être plus objectif et plus exigeant que l’actuel. Mais rassurez-vous, nous n’oublions pas notre côté subjectif et vous ne lirez pas de simples comptes rendus techniques. Ces nouveaux outils permettent simplement de mettre des chiffres précis et objectifs derrière des ressentis subjectifs. Notre prochain chantier est celui de la photo afin d’obtenir des résultats un peu plus objectifs pour les comparaisons.
Si vous avez des idées, des recommandations ou des coups de gueule, n’hésitez pas à nous laisser un commentaire ici ou tout à la fin du sondage. Merci à vous !
Retrouvez un résumé du meilleur de l’actu tech tous les matins sur WhatsApp, c’est notre nouveau canal de discussion Frandroid que vous pouvez rejoindre dès maintenant !
[…] impressions ont été peu ou prou confirmées par notre protocole de test automatisé SmartViser. Avec la luminosité d’écran calibrée à 200 cd/m², le […]
[…] de notre protocole d’autonomie Smart Viser 2.0, basé sur une utilisation continue imaginée à partir des habitudes de notre communauté, le Wiko WiM a tenu 8h47, ce qui est un score dans la moyenne. À titre de comparaison, les LG Q6 […]
[…] plus impressionnantes et se trouve même en dessous de la concurrence. Sur SmartViSer, qui simule une utilisation quotidienne basée sur les préférences de notre communauté, le LG Q6 a tenu 16 heures et 11 minutes. Il est vrai qu’en ayant une utilisation quotidienne […]
[…] de notre nouveau test SmartViser qui simule une utilisation variée basée sur les habitudes de nos lecteurs, le Moto E4 a tenu 21 heures et 8 minutes, ce qui le classe clairement parmi les bons élèves et […]
[…] SmartViSer, qui simule une utilisation quotidienne basée sur les préférences de notre communauté, le OnePlus 5 a tenu environ 25 heures (24 heures et 53 minutes), ce qui est l’un des plus […]
Ah bah ça c'est sur que c'est plus facile de considérer que les gens sont aigris plutôt que de faire son auto critique. ^^ Ouai moi ici le ban fut directement définitif. Bon après j'ai l'impression qu'ils sont parti dans une logique de profit depuis un petit moment, mais la qualité des articles s'en ressent bien... Je ne parlerais même pas de Numérama. Je plains le pauvre Guillaume vu ce qu'est devenu son site (titres racoleurs, news a clics, comme Frandroid quoi). Heureusement il y a encore NextInpact qui reste bon je trouve eux pour le coup.
Ah ben ça, les pseudos ici, c'est comme les hashtags sur twitter, y'a qu'à en inventer un par post! Le truc c'est que si une fois de temps en temps ils lisaient les commentaires et s'en inspiraient... les râleurs demandant tous la même chose... Ce qui est surtout déplorable (mais assez à l'image du comportement de "la rédaction" en général), c'est leur mépris. Des bans, j'en ai déjà pris. Jamais le premier n'a été définitif, jamais je n'ai pris un ban sans un petit mail d'explication. Ici...
Héhé moi je me suis fait ban par un gros crétin de blogueur de frandroid car j'ai eu le malheur de rire quand il disait "sisi on est journaliste" ^^ Je lui ai répondu "Ahaha très bonne blague" ^^ Bon après faut relativiser, c'est pas comme si c'était compliqué de recréer un compte. ;)
Quand on vous parlez des tests d'autonomie ridicule que vous faisiez avant, vous disiez toujours que c'était un vrai test, dans cet article vous dites ouvertement que c'était de la merde. Pourquoi ne pas avoir changé ce test avant ? vous en étiez pas capable ? Simulez une utilisations classique n'est pas si difficile, tant que c'est toujours la même entre les téléphones.
Bonne idée ! Je pense quand même qu'il faut un profil pour les téléphones HDG. Pour ma part un téléphone HDG doit être bon partout (photo, web, jeux, appli, réseaux sociaux, ect.) et avoir un seul profil pour comparer l'autonomie sur tous les types d'utilisation. Après je suis d'accord avec toi pour les autres profils.
Concernant le test d'autonomie, il serait intéressant de mettre une capture "CPU Spy" aussi pour se rendre compte. Difficile d'établir des utilisations "standard" quand nos propres utilisations sont très fluctuantes. Perso sur mon Note 3, je suis entre 70 et 80% de deep sleep car beaucoup de services d'arrière plan désactivé, Greenify en mode root, et contrôle des applis se lançany automatiquement via BootManager (module Xposed) et Autorun Manager. GPS, BlueTooth, NFC, ... tous désactivé sauf quand j'en ai réellement besoin. Utilisation suivant mes besoins et mes dispo : certains jours ce sera 60 min d'écran allumé, et j'arriverai à 3j d'autonomie, d'autre (week-end) ce sera du surf/vidéo/app intensif pendant 4-5h quasi-nonstop et batterie vidée en une demi-journée (luminosité quasi mini, éco d'énergie Samsung) Des autonomies "type" du genre GSMArena (mais en mieux/actualisé) pour savoir "à quoi s'attendre" suivant une utilisation donnée (photo, GPS, Web, vidéo, appel, jeux, ...) avec éventuellement en plus une utilisation "moyenne nationale" (lol) serait très sympa et réellement utile à mon sens. Cela va dans le même sens que ce que dit @nicolasd1991 plus bas/haut.
La partie audio, testez vraiment ce domaine. C'est du gâchis que de tester certains appareils sans avoir un test sérieux de laudio.
heu ok, comment tu fait plus simple pour mesurer l'intensité ? (ampérage, voltage a bannir merci), avec un Ampèremètre en série bien sur entre la baterrie et le téléphone pendant qu'il est en fonctionnement ?
Sans vouloir avoir des tests aussi poussés que ceux d'Anandtech ou phonearena, des tests sur la qualité sonore des hauts-parleurs, leur puissance et leur clarté m'intéresse particulièrement. J'aimerais aussi une vidéo de 10 sec d'un "concert" ou autre zone de bruit très intense (normalisée ? =) pour stresser les micros. Frandroit étant plutôt suivi, peut-être aurons-nous une prise de conscience des fabricants (autres qu'HTC et Nokia) pour mettre des micros double-membranes dans tous leurs flagships ? =) En terme de photos, faire un protocole similaire à celui des numériques, avec une mire + une scène de référence inchangée (éclairage, disposition, endroit de la prise de vue) qui permettrait de réelles comparaisons entre les appareils. Mieux encore, avec un applet qui permettrait de comparer avec votre fameuse barre à tirer dans un sens ou dans l'autre la même photo prise par deux smartphones différents. En ce qui concerne l'autonomie : très bonne chose que cette apk devienne votre protocole de test. - Désactiver si possible les recharges rapides des appareils avant de les charger à bloc (je remarque des différences drastiques d'autonomie si je l'utilise ou non, étonnamment, "ça tient moins bien la charge" avec le QC 2.0 ou assimilé) - Vous l'avez remarqué vous même, les premiers % de décharge sont parfois erratiques et ne représentent pas une conso réelle. Peut-être que de faire tourner une appli genre deezer ou TuneIn sur la radio en ligne jusqu'à ce que le pourcentage de batterie soit descendu de 100 à 95 en wifi puis 95 à 90 en 4G pourrait être intéressant (utilisation du réseau sans écran allumé) mais du coup avec une normalisation des décibels envoyés par le / les haut(s)-parleur(s). Un protocole de tests pour le "design" me fait marrer, je ne vois pas bien quoi protocoldetester =) Performances : vous faites déjà ça de manière assez pragmatique sur les jeux et le nombre de FPS. La chauffe du terminal pourrait être appréhendée avec une caméra thermique. Une bonne manière de se rendre compte de l'implémentation des puces par les constructeurs. (coucou période S 810 !) Tests de réseaux : il vous faut une boite comme la labo Fnac, qui normalise la réception ! Et ensuite, un bête relevé du niveau de force du signal en dBm / asu. Et corser un peu le teste de la conversation claire et audible. Merci par avance ! Bien à vous,
Il doit y avoir une bonne raison: un doigt a glissé! Je n'ai eu qu'un commentaire supprimé en même temps et c'est loin d'être le plus virulent de ce que j'ai pu lire (ou poster). Pas de message, pas de réponse à mon courrier... Passons, j'ai répété ici (quasiment mot pour mot) ce que je vous reprochais, j'ai aussi eu quelques échanges avec vous, et j'insiste alors que vos réponses ne me conviennent pas. (et je ne suis pas le dernier non plus pour utiliser l'outil de correction des fautes). Je veux bien reprendre le test de l'Idol point par point mais je peux encore résumer toutes mes critiques en 2 mots: rigueur et cohérence.
On ban assez rarement et uniquement les gros crétins qui trollent ou insultent dans les commentaires. Si ton compte a été ban, c'est qu'il y a une bonne raison :) Pour le reste, nous sommes humains et il nous arrive d'oublier des choses ou de faire des erreurs. Le mieux est encore de le signaler gentiment dans les commentaires, de nous envoyer un email ([prénomdutesteur]@humanoid.fr) ou d'utiliser l'outil de correction des fautes. On répond/réagit assez rapidement.
J'espère que le questionnaire sera rempli par des milliers de personne afin d'avoir une bonne moyenne
C'est le même problème pour tout, et établir un profil pour juger de l'autonomie n'est pas pertinent, dans un premier temps, il faut établir les différents profils d'utilisateur (Occasionnel, intensif, profil photographe, joueur, sportif (oui sportif, mon moto E se décharge plus vite quand je court que quand il est poser sur la table), amateur de vidéo, websurfer, ... Ce sont déjà des profils fort différents qui auront un impact très significatif sur la batterie, sans compté qu'il y a aussi des gens qui bougent beaucoup pour leur travail, donc si il utilise son smartphone comme gps, un autre profil peut être imaginé... Je pense qu'il faut saisir le profil de l'utilisateur avant d'essayer d'imaginer un test concret pour mesurer l'autonomie, le comportement de l'utilisateur joue donc énormément dans l'équation. Je pense donc que Frandroid devrait analyser à quel profil d'utilisateur de téléphone devrait convenir et appliquer un test en rapport avec se profil. Je vais prendre le cas de l'iPhone SE par exemple, parce que ce n'est pas un android, et donc pointer le parti-pris n'a pas de sens ici, mais c'est important pour comprendre la démarche. Vous connaissez les caractéristiques de l'iPhone SE, il est un fait évident que le profil visé ce n'est ni le baroudeur, ni l'utilisateur multimédia (de fait, son autonomie est grandement impactée par l'utilisation massive du gps et l'intérêt vidéoludique est limité par son écran de 4" heureusement qu'il est de bonne qualité, ça le sauve un peu sur ce plan), il est donc inutile d'y appliquer ces profils lors des tests, on ira plus vers de l'utilisation photographique avec une bonne capacité de rendu, du web occasionnel et de la gestion d'agenda,mail,etc... Il faut mettre la gommette du produit conçu pour les photographes, pour l'utilisateur occasionnel de smartphone. On va pouvoir le comparer à un Lenovo G4+ par exemple car c'est un téléphone qui est conçu pour le profil du photographe, mais aussi celui de l'utilisateur multimédia (jeux vidéo, vidéo, web) grâce à son bel écran de grande taille, et alors seulement là, grâce aux gommettes, on pourra d'un coup d'oeil comparer les tests, un téléphone qui correspond parfaitement à plusieurs profils sera plus intéressent qu'un téléphone qui correspond à 1 ou 2 profil, et on laisse tombé le critère prix, le critère prix se fera naturellement par comparaison, entre plusieurs téléphones adapté au profil rechercher. Imaginons que je suis un profil photographe, je clique sur la gommette du photographe et tout les smartphones qui sont les plus adapté à se profil apparaissent, alors je suis sur de n'avoir que des bons en photo, après, je compare, si il a des profils supplémentaires qui m'intéresse, ou tout simplement le prix. C'est ce qui fera la différence entre un moto G4 ou un iPhone SE ou un LG G3/G5,... Donc voilà, établir un seul test d'autonomie, ça n'a pas de sens, et faire une moyenne des comportements c'est biaisé d'emblée le résultats, et en ne prenant que les valeurs les plus élevées, il ne restera plus que les smartphone à 4000mA de batterie. ce qui ne veut rien dire encore une fois.
je veux bien modifier mes réponses, mais je ne sais pas comment faire, par où il faut passer ?
Un vrai test audio serait un réel plus !
lancer un script automatique via robotframework
ha ok
Comme le dit Sobidel, chaque testeurs (nous sommes cinq) a ses propres usages et habitudes. Chacun sont plus gourmands que d'autres, donc difficile de comparer objectivement différents terminaux testés par différents journalistes :)
Désolé, on avait loupé ça, j'ai rajouté la bonne réponse :) vous pouvez modifier vos réponses peut être ?
Normalement tu dois pouvoir revoter sur uniquement les nouvelles questions, non ?
En effet, bien vu, je viens d'ajouter les questions ! :) merci
C'est prévu ;)
C'est la même application oui, utilisée de manière légèrement différente.
Tu peux contacter SmartViser mais elle n'est pas gratuite ;)
Je ne suis pas sûr que ce soit plus simple. Là, tout est automatisé :)
J'ai une idée plus globale pour améliorer vos tests: être rigoureux. Par exemple voir "N/C" dans un tableau de fiche technique, ce n'est pas normal. De même, ne pas lister tous les capteurs est une erreur. Vous nous parlez de VR mais lors de la présentation d'appareils on doit chercher nous même la présence d'un gyroscope. Les capteurs magnétiques et/ou de pression intéressent du monde aussi. Vous relire, aussi... Et pas que pour les fautes. Dans le test de l'Idol4S, il passe de 300€ à 450€ entre l'introduction et la conclusion de l'article (votre comparateur de prix est tout aussi fantaisiste!). Ce n'est pas la première fois que je vous fait part de ces remarques (et je ne suis pas le seul). "Bizzarement", mes autres commentaires ont été supprimés et mon compte banni, sans la moindre explication et le CM ne répond pas aux mails... Ah oui, c'est Pfelelep
ya moyen d'avoir cette app ?
Et pouquoi pas faire plus simpe : en mesurant l'amperage a la sortie de la batterie sur différente app et divisée par le nombre de mah
Et en passant, je ne suis peut-être pas le seul à passer un paquet de temps sur des applications de navigation Web ou de news etc : chrome (1h par jour minimum), se coucher moins bête, le monde, dtc, frandroid etc. Par contre, je ne passe pas de coup de fil, peu de SMS, aucun réseau social... Bref, je réponds quoi ? ^^ En tout cas, super initiative de demander l'avis des lecteurs ! Surtout que le protocole de test avait bien besoin de ces changements :)
Voilà j'ai posté mes idées d'amélioration à l'aide du formulaire. Allez, devenez LE site de référence de nos fantasmes refoulés, où vos paroles deviendront la vérité absolue et irréfutable devant cette armée de troll qui pollue la section de commentaires . Je vous souhaite bon courage et faîtes-nous rêver bordel !
Aucun test d'utilisation du capteur de rythme cardiaque, de l'infrarouge et de la radio FM ?
Je sais grand fou vous va !
sur youporn, les 5mn30 c'est le temps passé à streamer la vidéo, avant ça il y a 25 minutes à chercher une vidéo regardable :p
Ce protocole, Viser, n'est pas celui également utilisé chez lesnumeriques ? Il a l'air assez fiable si c'est le cas. Et merci de fiabiliser le protocole photo !
Ajoutez du surf sur votre site avec Chrome !
Bien sûr ! Je gagne de la batterie moi avec Disqus !
Sauf sur le ZF2 évidemment...
C'est clair que c'est un aspirateur à batterie ce truc.
Wat? Tu ne subis pas ce plaisir de voir ta batterie fondre en 10 mn à cause d'un Disqus qui tourne en arrière plan ?
Ha non, pas un ban... ! En plus je ne suis plus ado depuis un moment ;)
super merci, je revoterai !
avec ça le pib de la france va avancer... :(
espèce de petit ado prébubère va ! Tiens je te ban ;)
oui mais je commente qu'en dur depuis mon Mac !
Ceci dit pour ton cas (et le mien ainsi que d'autres), tu peux presque considérer que frandroid et son espace commentaires forment un réseau social !
Ça c'est parce que tu es un vieux ;)
C'est bien de faire d'en parler aux lecteurs ! Edit : Maintenant il ne reste plus qu'à faire un truc pour l'application FrAndroid ;)
Je propose le protocole suivant basé sur une utilisation représentative : - toutes les 150 s : allumage de l'écran pour vérifier l'heure. - toutes les 10 min: check mail - toutes les 10 mn: check facebook - toutes les 10 mn: check Frandroid - toutes les 30 mn: écriture d'un troll aléatoire sur frandroid via Disqus. - toutes les 10 mn: check Disqus - toutes les deux heures: upload d'une photo de chat sur facebook. - en fin de journée : 5mn30 de youporn (7mn20 le samedi) Et voilà...
J'ai répondu "ne sais pas", j'me suis dit que ça pourrait fausser les résultats de répondre "- de 30 minutes".
C'est une bonne remarque, je vais en parler à Vincent et on va corriger ça rapidement :)
c'est ce que j'ai fait aussi, mais je trouve ça pas terrible terrible. Ils font un sondage pour affiner le truc et résultat les réponses du sondage vont fausser le truc §-(
J'ai répondu le minimum à chaque fois perso, peut-être faut-il répondre "je ne sais pas", je ne sais pas.
pour toutes les questions relatives au "social" que répond on quand on utilise aucun réseau social ??? la réponse - de 5 ne va pas fausser vos résultats ?
Car l'utilisation de chacun est différente et qu'on ne peut pas reproduire a même utilisation d'une journée à l'autre. Si je prends 2 smartphones A et B, mais que lors de mon test de A je joue plus que sur le B, et bien ça biaise les resultats
Et pourquoi ne jugez pas vous l'autonomie simplement comment il tient la journée ?
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.
Gérer mes choix