Qu’est‑ce que Hortonworks et comment peut‑il aider votre entreprise ?

La réponse courte : Hortonworks est historique, HDP peut rester en production

Hortonworks n’est plus une entreprise indépendante. L’éditeur a fusionné avec Cloudera en janvier 2019. Son produit phare, Hortonworks Data Platform ou HDP, était une distribution d’outils Apache destinée au stockage et au traitement distribué de données : journaux applicatifs, données de capteurs, transactions, fichiers, données clients ou catalogues produits. Une entreprise qui possède déjà un environnement HDP peut encore devoir l’exploiter, le sécuriser et le faire évoluer. En revanche, pour un projet neuf, « installer Hortonworks » n’est plus la bonne question : il faut choisir une cible actuelle selon les données, le cloud éventuel et les compétences disponibles.

HDP aidait surtout les organisations confrontées à des données trop nombreuses ou trop hétérogènes pour être traitées confortablement dans une base relationnelle unique. Son intérêt ne résidait pas dans un tableau de bord prêt à l’emploi : il fournissait une infrastructure de données sur laquelle les équipes pouvaient ingérer, conserver, préparer, interroger et gouverner les données à grande échelle.

Ce que contenait Hortonworks Data Platform (HDP)

HDP assemblait, configurait et supportait des projets Apache qui peuvent être utilisés séparément. L’idée était de répartir le stockage et les calculs sur plusieurs machines plutôt que de dépendre d’un serveur unique. La plateforme pouvait être administrée par Apache Ambari, qui centralisait le déploiement, la configuration et la surveillance des services. Hortonworks proposait aussi, selon les besoins, des briques de flux de données regroupées autour de Hortonworks DataFlow (HDF).

Traitement distribué

Mode de traitement dans lequel un jeu de données et les calculs sont répartis entre plusieurs serveurs reliés en réseau. La capacité augmente en ajoutant des nœuds, mais l’exploitation devient aussi plus exigeante : réseau, disques, versions logicielles, sécurité et supervision doivent rester cohérents.

HDFS découpe les fichiers et les distribue entre les nœuds. Avec une réplication configurée à trois exemplaires, 100 To de données utiles peuvent demander environ 300 To de capacité brute, avant la marge d’exploitation et selon la compression utilisée. Cette redondance limite l’impact de la panne d’un disque ou d’un serveur, mais elle a un coût matériel et énergétique. Ce n’est pas un détail à découvrir après le dimensionnement.

Quels problèmes Hortonworks pouvait résoudre en entreprise ?

Dans son contexte d’origine, HDP répondait à quatre besoins concrets. D’abord, rassembler des sources très différentes sans imposer un schéma rigide dès l’entrée : fichiers CSV, événements web, exports métiers, données machine ou archives. Ensuite, traiter des volumes importants en parallèle, par exemple pour recalculer chaque nuit des indicateurs sur plusieurs années. Troisième usage : fournir une couche SQL, notamment avec Hive, aux analystes qui n’écrivent pas de code distribué. Enfin, Ranger et Atlas pouvaient renforcer la gouvernance lorsque plusieurs équipes partageaient le même patrimoine de données.

• Détecter des anomalies dans des millions de relevés, d’événements applicatifs ou de transactions, après préparation des données.
• Construire un lac de données interne réunissant des données commerciales, logistiques et numériques auparavant isolées.
• Préparer des jeux de données pour la prévision, la segmentation ou des modèles de machine learning ; la plateforme ne fournit pas, à elle seule, le modèle métier.
• Conserver les traces d’accès, attribuer des droits par utilisateur ou groupe et documenter la provenance d’une table analytique.
• Exécuter des traitements par lots longs sans saturer la base de production qui sert le site web, l’ERP ou les applications métiers.

Le mot « scalable » doit être manié avec précision. Ajouter des nœuds permet généralement d’augmenter la capacité de stockage ou de calcul, mais cela ne rend pas automatiquement un traitement plus rapide. Une requête SQL mal écrite, des fichiers trop petits, une clé de jointure déséquilibrée ou un réseau saturé peuvent dégrader les performances. L’intérêt économique et technique doit donc être démontré par un cas d’usage mesurable, pas par le seul volume de données.

Quand Hadoop/HDP est un mauvais choix

Un petit volume de données n’interdit pas Hadoop, mais il le justifie rarement. Si une équipe traite quelques gigaoctets à quelques centaines de gigaoctets, avec des requêtes SQL classiques et peu de sources, un entrepôt de données, une base relationnelle bien conçue ou un service d’analyse managé sera souvent plus simple à sécuriser et à exploiter. HDP n’est pas non plus la base adaptée aux transactions courantes d’un site e-commerce ou d’un ERP : ces applications demandent des écritures rapides, cohérentes et prévisibles.

HDP historique ou plateforme actuelle : quelle option choisir ?

Cloudera propose aujourd’hui des offres regroupées sous l’appellation Cloudera Data Platform (CDP). Cela ne signifie pas qu’un passage de HDP à CDP soit un simple changement de nom : compatibilité des versions, système d’exploitation, métadonnées Hive, règles Ranger, scripts, connecteurs et modes de déploiement doivent être examinés. Selon le cas, une cible sur stockage objet et moteur SQL distribué, un entrepôt cloud ou une architecture lakehouse peut être plus adaptée qu’un cluster Hadoop administré en interne.

Comment auditer un environnement Hortonworks et préparer la suite

Une migration ou une remise à niveau réussie commence par l’inventaire, pas par l’installation d’un nouvel outil. Il faut mobiliser à la fois les équipes data, infrastructure, sécurité, métier et, lorsque des données personnelles sont concernées, le délégué à la protection des données. Voici une méthode utilisable pour un parc HDP existant comme pour le cadrage d’un remplacement.

Sécurité, RGPD et coûts : les points qui décident vraiment

Ranger permet de définir des politiques d’accès détaillées et d’enregistrer des audits, tandis qu’Atlas peut documenter le lignage d’une donnée. Ces mécanismes sont utiles pour répondre à une demande d’audit ou comprendre pourquoi un indicateur a changé. Ils ne rendent pas une organisation conforme au RGPD par eux-mêmes. La conformité dépend aussi de la finalité du traitement, de la minimisation des données, de l’information des personnes, de la durée de conservation, des sous-traitants et de l’exercice des droits.

Pour les données sensibles, contrôlez en priorité l’authentification centralisée, le moindre privilège, le chiffrement en transit et au repos, la rotation des secrets, les journaux d’audit et la procédure de restauration. Une sauvegarde jamais restaurée en test n’est pas une garantie opérationnelle. Les accès de comptes de service méritent autant d’attention que les comptes administrateurs : ce sont souvent eux qui alimentent ou extraient les données automatiquement.

Le coût réel ne se limite jamais au prix du logiciel. Dans un cluster exploité en interne, il faut compter les serveurs, la capacité disque multipliée par la réplication, le réseau, les sauvegardes, l’électricité, les mises à jour et le temps d’équipes capables de diagnostiquer un échec de job ou une saturation. Dans le cloud, l’administration peut diminuer, mais le stockage, les requêtes, les transferts de données et les ressources de calcul variables doivent être suivis. Un tableau de bord FinOps ou, au minimum, un suivi mensuel par flux évite de découvrir la facture après l’industrialisation.

La bonne prochaine étape selon votre situation

Si votre entreprise n’a pas de plateforme Hortonworks, formulez d’abord le problème métier et testez une solution actuelle sur un flux précis. Si vous exploitez déjà HDP, établissez dans les prochaines semaines un inventaire technique et un état des données sensibles, puis comparez les scénarios de maintien, de modernisation et de simplification. Le choix le plus sûr est souvent celui qui réduit le nombre de composants à administrer tout en conservant les contrôles d’accès, la traçabilité et les délais réellement nécessaires aux équipes métier.