Les nouveautés d'Oracle Data Integrator 12c

Avec la version 12c d’ODI (Oracle Data Integrator), Oracle nous livre un ELT (Extract Load Transform) amélioré et encore plus ouvert sur le monde des applications, y compris en dehors du monde Oracle.
Voici un résumé des nouveautés de cette version 12c (que ce soit la release 12.1.2.0.0 ou la 12.1.3.0.0) :

Nom de la fonctionnalité Détails de la fonctionnalité
Administration et surveillance unifiées Oracle introduit un Management Pack pour ODI, qui met de profiter les capacités avancées de gestion d’Oracle Enterprise Manager Cloud Control pour fournir une solution intégrée de haut en bas pour les environnements Oracle Data Integrator. Management Pack pour Oracle Data Integrator fournit une vue consolidée des utilisateurs ODI afin de surveiller et de gérer l’ensemble de leurs composants au centre de contrôle Enterprise Manager Oracle Cloud. Management Pack pour Oracle Data Integrator prend en charge les version 11g (11.1.1.7.0 et plus) et 12c d’ODI.
Agents autonomes et WebLogic Les agents autonomes sont gérés dans le cadre de la gestion du serveur WebLogic. Les avantages proviennent du fait que l’interface utilisateur WebLogic permet d’exploiter l’assistant de configuration, que de multiples configurations peuvent être maintenues dans des domaines distincts et que Node Manager peut être utilisé pour contrôler et redémarrer automatiquement agents.
Amélioration de l’interface utilisateur Le client ODI Studio est entièrement repensé afin d’améliorer l’expérience et la productivité des utilisateurs. La nouvelle interface utilisateur intègre l’approche du modèle de conception déclarative des versions précédentes avec toutefois une méthodologie basée sur les flux. Maintenant, l’utilisateur de l’entreprise ou le développeur peut se concentrer sur la description de ce qu’il faut faire, pas comment le faire. Les modules permettent de connecter les sources aux objectifs grâce à un flux de composants tels que: Inscrivez-vous, filtre, d’agrégats, Set, Split, etc. Oracle Data Integrator Enterprise Edition génère, déploie et gère donc tout le code nécessaire pour mettre en œuvre ces processus entre les différents systèmes sources et cibles.
Amélioration des Driver XML Les améliorations ont été ajoutées afin de mieux supporter les schémas XML. Maintenant ODI supporte la récursivité à l’intérieur des schémas XML. Les types nommés tout, anyType, et anyAttribute ont été ajoutés, les données définies par ces types sont stockées dans des colonnes de type chaîne avec des balises XML à partir du document original. Une annotations des métadonnées peut être ajoutés à l’intérieur d’un schéma XML.
Amélioration du parallélisme ODI 12c introduit un mode d’exécution améliorée afin d’optimiser les performances. Diverses modifications ont été apportées pour réduire les coûts d’exécution de la session, y compris la mise en place de plans par une mis en cache. L’amélioration est fournit par un chargement des sources en parallèle dans la zone de transit. Le parallélisme peut être personnalisé. Les utilisateurs ont également la possibilité d’utiliser des noms uniques pour les objets de base de données temporaire, ce qui permet l’exécution en parallèle de la même cartographie.
Assistant pour les Modèles et la Topologie L’option « Créer un nouveau modèle et la Topologie » offre la possibilité de créer un nouveau modèle et de l’associer à des objets nouveaux ou existants de la topologie, s’il est connecté à un référentiel de travail. Une boîte de dialogue permet de créer des objets de topologie sans avoir à utiliser l’éditeur de la Topologie.
Chargement des tables cibles en multi-threading ODI fournit une fonctionnalité pour charger une table cible en utilisant plusieurs connexions parallèles. Cette capacité est contrôlée par le degré de parallélisme de la propriété cible disponible au niveau du serveur de données dans la topologie Navigator.
Conformité avec les standards Federal Information Processing Standard (FIPS) ODI s’appuie sur Advanced Encryption Standard (AES) via un algorithme de chiffrement pour crypter Modules connaissances, les procédures, les scénarios, les actions et les mots de passe. Les mots de passe et autres informations sensibles contenues dans les exportations du référentiel sont désormais cryptés et sécurisés par un mot de passe.
Contrôle de l’exécution simultanée des scénarii et des plans de chargement Amélioration du contrôle de l’exécution offrant la possibilité de limiter les exécutions simultanées dans un plan d’exécution et de forcer une exécution simultanée.
Debugger pas à pas ODI a mis en place un débogueur pas à pas. Le mappaging, les interfaces, les procédures et les scénarii peuvent être testées en mode étape-par-étape. Les utilisateurs sont en mesure d’exécuter des tâches manuellement au sein de ces objets et d’ajouter des points d’arrêt pour interrompre l’exécution à des endroits prédéfinis. Les valeurs des variables peuvent être visualisées et modifiés au cours d’une session de débogage et les données des sources et des cibles sous-jacentes peuvent être interrogés, y compris le contenu des transactions non validées.
Documentation L’information qui était auparavant disponible dans le Guide du développeur Oracle Data Integrator est désormais réorganisé. Trois nouveaux guides ont été ajoutés pour répondre à cette exigence (accord ODI, ODI Administration et ODI Outil de référence).
Identifiant de Repository unique Le Master et les Works Repository utilisent maintenant des identifiants uniques suivant les recommandations de la convention GUID. Cela permet d’éviter les collisions lors de l’importation d’objets et permet une gestion plus simple et la consolidation de plusieurs référentiels.
Inégration Sqoop ODI introduit le chargement de sources et de cibles en utilisant Apache Sqoop.
Sqoop permet le chargement et le déchargement en utilisant des connexions JDBC parallèles dans Hadoop.
Intégration avec Oracle Platform Security Services Oracle Data Integrator est désormais capable d’utiliser les modèles d’autorisations de Security Platform Oracle (SOSSP) pour contrôler l’accès aux ressources. Des rôles SOSSP peuvent être mis en correspondance avec des rôles ODI pour autoriser les utilisateurs de l’entreprise à travailler à travers les différents outils en étant soumis aux mêmes règles de sécurité.
Intégration avec Oracle Warehouse Builder ODI offre une meilleure interopérabilité avec Oracle Warehouse Builder, fournissant aux clients une base pour commencer la migration d’OWB vers ODI. Les traitements OWB peuvent maintenant être exécutés dans ODI à travers l’API OdiStartOwbJob. Le référentiel Oracle Warehouse Builder est configuré comme un serveur de données dans la topologie. Les utilisateurs pourront ainsi trouver tous les détails de l’exécution des traitements OWB affichées comme une session dans le module Opérateur et dans dans la Console du développeur d’ODI.
Intégration de Oracle GoldenGate ODI s’intègre désormais avec Oracle GoldenGate afin de permettent le chargement et la transformation des données en temps réel. Les clients peuvent désormais facilement configurer et déployer des solutions d’entreposage de données en temps réel sans affecter les systèmes sources ou les dépendances de la fenêtre de commandes.
Le système exploite Oracle GoldenGate en sources et/ou cibles configurés en tant que serveurs de données dans la topologie d’Oracle Data Integrator, la plupart des paramètres Oracle GoldenGate peuvent être ajoutés pour extraire et reproduire les processus dans la configuration du schéma physique, une seule cartographie Oracle Data Integrator peut être utilisé pour journaliser les données modifiées de la capture et de la charge en vrac d’une cible. Les fichiers de paramètres Oracle GoldenGate peuvent désormais être déployées automatiquement et utiliser la source et la cibler sous forme d’occurrences Oracle GoldenGate grâce à la technologie JAgent.
Intégration Hbase ODI soutient Apache HBase grâce à une nouvelle technologie et les modules des connaissances connexes.
Mapping réutilisable Les mappings peuvent désormais être réutilisés dans de multiples interfaces. Une cartographie réutilisable permet de se connecter à un flux et peut aussi contenir des sources et des cibles qui sont encapsulés à l’intérieur de cette cartographie réutilisable.
Multi-cibles L’interface utilisateur basée sur les flux d’ODI permet de charger plusieurs cibles dans le cadre d’une seule interface. Pour une ou plusieurs cibles, l’ordre de chargement de la cible peut être spécifiée et le composant de Split peut être utilisé pour permettre le routage dans les différentes cibles, en fonction d’une ou de plusieurs conditions.
Nouveaux modules de connaissance ODI introduit un nouveau style de module de connaissances, appelé Module connaissances Composant-Style. Ce nouveau style de module de connaissances fournit un cadre extensible qui améliore la conception globale. Ainsi, par exemple, les utilisateurs sont en mesure de déclarer l’ordre de transformation. Cela peut améliorer leur réutilisation en plus d’aider à éviter code, ainsi que de fournir une meilleure connectivité Oracle avec des liens de base de données.
Optimisation Hive Append De nouveaux modules de connaissances permettent d’exploiter Hive Append dont le but et d’ajouter des données dans des fichiers existants plutôt que de copier les données existantes dans un nouveau fichier joint.
Performances d’ODI Studio améliorées Une amélioration des performances d’ODI Studio a été faite, ce qui réduit les temps d’accès aux Repository distants et améliore l’accès aux bases de données.
Support du JSON Un pilote de fichier ODI complexe introduit la possibilité de lire et écrire des fichiers au format JSON. La structure JSON est défini par un schéma nXSD.