BT

Nouveau Early adopter ou innovator ? InfoQ a travaillé sur de nouvelles fonctionnalités pour vous. En savoir plus

Beam promu Projet Apache de Top Niveau

| par Dylan Raithel , traduit par Nicolas Frankel le 27 févr. 2017. Durée de lecture estimée: 2 minutes |

Beam a récemment été promu en projet top niveau à la Fondation Logicielle Apache. Les objectifs de Beam consistent à permettre de gérer des données sans bornes, non ordonnées et d'échelle globale avec des pipelines de données portables de haut niveau. Beam était initialement un projet interne de Google, puis donné à Apache et a été en incubation depuis février 2016 jusqu'à la fin de l'année dernière. Le projet Beam vise à créer un modèle de programmation unifié pour les travaux de traitement en continu et en lots, et à produire des artefacts pouvant être consommés par un certain nombre de moteurs de traitement de données supportés. Beam cherche à :

fournir un modèle facile à utiliser mais puissant pour le traitement des données parallèles, à la fois en continu et en lots, portables sur une variété de plates-formes d'exécution... Les SDKs de Beam utilisent les mêmes classes pour représenter les données bornées et non bornées et les mêmes transformations pour opérer sur ces données.

Les SDK disponibles en Java et Python fournissent une abstraction entre le moteur de traitement en arrière-plan choisi et les composants du pipeline de traitement. Les moteurs de traitement pris en charge comprennent Apache Apex, Flink, Spark et le moteur Cloud Dataflow de Google.

Le modèle de programmation pour le pipeline Beam utilise des PCollection(s), des Transform(s) et Pipeline I/O, ainsi qu'un exécuteur pour chaque moteur de traitement pris en charge, avec par défaut l'utilisation par Beam d'un DirectRunner local :

La motivation de Google pour rendre Beam Open Source fait partie d'un modèle d'affaires émergent qui prend en charge l'intégration et la contribution à d'autres projets Open Source. La raison en est que cela augmentera le potentiel d'adoption pour le projet Beam, dans l'espoir d'une plus grande exposition pour la plate-forme Dataflow de Google et qu'elle émerge comme le moteur de traitement de choix parmi les moteurs pris en charge. La comparaison de Google entre Spark et Beam note que le modèle de Beam est le modèle correct pour le traitement des données en flux et en lots en raison de la spécialisation de Beam et de l'importance de la sémantique permise par le fenêtrage basé sur les événements, le filigranage et les fonctions de déclenchement. La communauté Open Source et l'industrie de la data science au sens large n'ont pas encore empiriquement validé ces revendications indépendamment de Google et ceci doit être traité avec plus d'analyses de cas d'utilisation autour de l'architecture et de l'analyse comparative. Les premiers signes indiquent une communauté de Beam qui va en s'accroissant et un retour positif sur le support de plusieurs plateformes de traitement.

Evaluer cet article

Pertinence
Style

Bonjour étranger!

Vous devez créer un compte InfoQ ou cliquez sur pour déposer des commentaires. Mais il y a bien d'autres avantages à s'enregistrer.

Tirez le meilleur d'InfoQ

Donnez-nous votre avis

Html autorisé: a,b,br,blockquote,i,li,pre,u,ul,p

M'envoyer un email pour toute réponse à l'un de mes messages dans ce sujet
Commentaires de la Communauté

Html autorisé: a,b,br,blockquote,i,li,pre,u,ul,p

M'envoyer un email pour toute réponse à l'un de mes messages dans ce sujet

Html autorisé: a,b,br,blockquote,i,li,pre,u,ul,p

M'envoyer un email pour toute réponse à l'un de mes messages dans ce sujet

Discuter

Se connecter à InfoQ pour interagir sur ce qui vous importe le plus.


Récupérer votre mot de passe

Follow

Suivre vos sujets et éditeurs favoris

Bref aperçu des points saillants de l'industrie et sur le site.

Like

More signal, less noise

Créez votre propre flux en choisissant les sujets que vous souhaitez lire et les éditeurs dont vous désirez suivre les nouvelles.

Notifications

Restez à jour

Paramétrez vos notifications et ne ratez pas le contenu qui vous importe

BT