Cette publication aborde le goulot d'étranglement des données en chinois pour l'entraînement des LLM et propose un pipeline pratique multi-source. Elle détaille comment extraire des données propres et structurées de plateformes sociales chinoises comme Weibo, Bilibili et Xiaohongshu pour enrichir les ensembles de données d'entraînement.
Le contenu met en lumière l'absence d'une API unifiée pour la tarification des LLM chez divers fournisseurs, rendant les comparaisons rapidement obsolètes. Un Apify Actor est présenté comme une solution pour collecter et standardiser ces données de tarification en temps réel.
Strava restreint l'accès à son API et facture aux développeurs un abonnement mensuel de 11,99 $, accusant les outils d'IA "sans code" et les tentatives de scraping d'une utilisation abusive et d'une dégradation de la plateforme. L'entreprise a signalé une augmentation de 448 % des candidatures de développeurs cette année, avec des intermédiaires d'API violant les conditions de la politique.
Ce contenu présente le scraping de données comme une méthode essentielle pour l'automatisation de la collecte de données, détaillant un processus en quatre étapes, de l'identification des sources à l'automatisation. Il met en évidence son utilité avec un exemple réel de création d'un pipeline d'analyse concurrentielle.