Le rapport d’Amnesty alerte sur le danger du système de recommandations de TikTok

Selon l’organisation, en personnalisant rapidement les flux des utilisateurs et utilisatrices, TikTok a créé une plateforme dotée d'un fort potentiel de captation de l’attention. Les études révèlent que cette plateforme exploite rapidement la vulnérabilité psychologique, en particulier des enfants et des jeunes, en les exposant à des contenus potentiellement dangereux pour leur santé mentale et en transformant leurs vulnérabilités psychologiques en un moyen de maximiser « l'engagement des utilisateurs ».
Plus précisément, le rapport « Driven into the Darkness », basé sur l'utilisation de plus d'une trentaine de comptes gérés de manière préprogrammée et représentant des enfants de 13 ans au Kenya et aux États-Unis, révèle que le système de recommandation de TikTok crée une spirale infernale conduisant à une surexposition de contenus dépressifs, idéalisant, banalisant voire encourageant le suicide. En effet, le fil « Pour toi » de TikTok, une page proposant du contenu personnalisé et alimenté par des algorithmes de recommandation, censés refléter les intérêts de l'internaute, peut rapidement évoluer vers une saturation de vidéos liées à la santé mentale, avec jusqu'à la moitié du contenu devenant potentiellement dangereux après cinq ou six heures d'utilisation. Cet effet spirale a été encore plus rapide lorsque les chercheurs ont délibérément recherché des vidéos liées à la santé mentale. En comparaison, les comptes n'ayant pas manifesté d'intérêt particulier pour ce sujet ont été exposés à un volume dix fois moindre de contenu similaire.
Amnesty formule donc une série de recommandations à l’intention de Tik Tok ainsi qu’à l’égard des États. L'organisation appelle à un changement de perspective des gouvernements, soulignant que la simple suppression des contenus illégaux n'est plus suffisante. Les autorités doivent s'attaquer à la racine du problème, remettant en question le modèle commercial axé sur la maximisation de l'engagement axé sur la rentabilité et la maximisation des profits, au détriment de la santé et des droits des utilisateurs et utilisatrices. Ces recommandations sont donc aussi valables pour d’autres plateformes comme Facebook ou Instagram qui ont le même modèle commercial.
Cette recherche corrobore la théorie développée par David Courtwright, qui a mis en avant le concept de « capitalisme limbique ». Il désigne ce nouveau capitalisme comme une architecture économique dans laquelle les industries technologiques encouragent la consommation excessive et l’addiction afin de satisfaire leur intérêt financier.