Reporting avec SQL Server 2012 et SharePoint 2010: Excel, PowerPivot, PerformancePoint, PowerView et Analysis Services

Plus le temps passe et plus le nombre d’outils augmente avec chacun leurs spécalités et leurs exclusivités.

Le couple SQL Server 2012 et SharePoint 2010 offre une ribambelle d’outils et de services qui nous permettent de produire des rapports. Le dernier outil en date est PowerView, l’offre de reporting de Microsoft commence à avoir de l’allure et ce n’est que le début …
Cet article vous aidera à replacer Reporting services (SSRS), PerformancePoint Services (PPS), PowerPivot (Add-in For Excel et For SharePoint), Excel et Analysis Services dans tout ce monde tableaux et de graphiques.

Commençons simplement avec… Excel 2010, rien d’extraordinaire un « simple » tableur qui permet de se connecter à des sources de données. Excel est « limité » … mais reste un bon point d’entrée de consommation, de calculs et d’analyses de données. Alors pour pallier aux limitations d’Excel on peut ajouter PowerPivot un simple Add-In gratuit. Cet add-in nous permet de nous connecter à plusieurs sources de données en même temps, récupérer des millions de lignes et en plus on est capable de mettre en relation ces données d’horizon diverses dans un seul et même modèle.

On pourrait s’arréter à là si on souhaite faire de la BI personnel dans son coin.

Sauf que le partage de l’information est primordial. On peut donc publier son classeur Excel Power Pivot sur SharePoint. Pour mettre en place PowerPivot sur un serveur SharePoint il faut installer une instance de PowerPivot via l’installation de SQL Server. Donc vous l’aurez compris PowerPivot est à la base un add-In Excel gratuit qui possède son « équivalent » server nécessitant un SharePoint et un SQL Server.

Parlons de SharePoint, il est capable de contenir de la BI. Depuis la version 2010, l’outil de dashboarding Performance Point est disponible, et depuis ses anciennes versions on peut intégrer des rapports de SQL Server Reporting Services. Il faut compter aussi sur ReportBuilder qui est un SSRS pour power user.

Donc oui dans SharePoint on peut mettre du PowerPivot, du Dashboard de Performance Point et des rapports classiques de SSRS. Voilà un vite tour d’horizon de ce qui existe.

Et Analysis Services  dans tout ça ? Pourquoi en parler de SSAS ?

Tout simplement parce qu’il sera dificile de ne pas y penser naturellement avec SQL Server 2012. En effet avec les nouveautés de SSAS  (mode tabulaire) de nouvelles combinaisons sont dorénavants possibles dans l’élaboration d’une solution BI.

Une ébauche de solution BI basée sur Excel et PowerPivot bâti par un business user peut vite se transformer en un cube de données hébergé sur un server disponible par un grand nombre de personnes. Et sur lequel on pourra se baser pour faire des beaux rapports PowerView.

Et pour clarifier un peu les choses sur SSAS :

  • PowerPivot For SharePoint : créé une instance SSAS PowerPivot par défaut le nom est .\POWERPIVOT. On peut passer par Management Studio pour le voir et il y a également module de gestion des classeurs dans SharePoint.
  • PowerView est capable d’avoir comme source de données des sources de type tabulaire : soit un classeur PowerPivot soit un cube SSAS mode tabulaire de SQL Server 2012.
  • Un classeur peut être « converti » en un cube SSAS tabulaire.
  • PerformancePoint peut utiliser un classeur PowerPivot comme source de données multi dimensionnel, et peut aussi gérer les cubes SSAS mode tabulaire.

Le screensot ci-dessous  vous montre l’instance PowerPivot et l’instance de SSAS tabulaire dans Management Studio.

L’avenir…Office 2013 et SharePoint 2013

Avec l’arrivée de Office 2013, Excel devient encore davantage le point d’entrée BI avec PowerPivot et PowerView en natif. Quant à SharePoint 2013 il reste l’outil de collaboration dans lequel on va stocker les différents rapports/dashboard. En sachant que PerformancePoint Services a connu pas mal de petits changements. Affaire à suivre…

Plus d’infos sur Excel 2013, l’ article de  David : http://joubertd.blogspot.ca/2012/07/office-15-excel-2013-powerpivot-et.html

Pour finir un schéma explicatif des relations entre les outils/services :

Publicités

PowerPivot – Mode avancé

De retour de vacances…

J’avais en tête la préparation d’un article comparant PowerPivot (Excel Add-In) et SSAS Mode Tabular (SSDT).

Pour parler de ce que l’un a plus que l’autre (fonctionnalités, sécurité), quelle architecture utilisée ? Peut on passé d’une solution PowerPivot à SSAS Tabular ?

Bref décortiquer ces deux solutions…

Mais pour l’instant cet article est en Draft et je vais juste présenter une option de PowerPivot : Le mode avancé.

Comment activer ce mode ?

Très simplement dans votre fenêtre PowerPivot,  accédez au backstage (Menu en haut à gauche) et cliquez sur Switch to Advanced Mode.

Une fois le mode avancé activé vous allez voir un nouvel onglet dans votre ruban.

L’onglet Advanced contient plusieurs petite choses :

  • Perspectives : création de sous ensembles du modèle afin de fournir des jeux de données diverses. Souvent pour des besoins d’affaire et aussi pour faciliter la navigation.

  • Implicit Measures : Afficher ou cacher les mesures implicites, ce sont les champs que vous glissez/déposez dans le champs value de depuis excel
  • Summarize By : aggrégation sur la colonne sélectionnée
  • Default Field Set : sélection par défaut des colonnes utilsées dans un rapport Power View.
  • Table Behavior : Définiton des propriétés d’une table
    • Row Identifier
    • Keep Unique Rows
    • Default Label
    • Default Image
  • Image Url : Définir si une colonne contient l’URL d’une image

Développement configuration et déploiement avec SSIS 2012

SSIS 2012 offre une toute nouvelle manière de gérer la configuration des packages. Cette nouvelle façon de gérer la configuration est accompagnée d’un nouveau modèle de déploiement.

Cet article aura pour but de décortiquer ces nouveaux usages. Est ce qu’il y a un impact sur le développement ? sur la gestion des packages sur le server ? etc.

Côté développement

Petite piqûre de rappel, avec SSIS 2012 il n’ y a plus de fichier de configuration.

Dans SQL Server Data Tools on a maintenant des paramètres. Ces paramètres peuvent avoir deux portées (scope) soit une portée Package soit une portée Projet. Il faut voir la portée Projet comme des « variables globales » de notre projet SSIS et la portée package comme des « variables globales du package ». Par exemple : nom de server, chemin d’accès d’un emplacement sur le réseau etc.

Cela ressemble étrangement aux variables qu’on stockait dans notre fichier de configuration en 2008…
Attention, la notion de paramètre peut être mêlée avec la notion de variables, sauf que ce sont deux notions totalement différentes.

Déjà en terme d’utilisation et sans compter que les types supportés par les paramètres sont différents des types des variables. Par exemple il n’y a pas de type Objet dans les paramètres.
Les paramètres peuvent être utilisées dans les expressions et leur nomenclature diffère de celle des variables : @[$Project::ParameterName]

On peut voir les paramètres à deux endroits :

Si le scope est Projet : Solution Explorer, en double cliquant sur Project.params

Si le scope est package  : Onglet Parameters du package.

Ces paramètres nous aident donc à faire la configuration de nos packages SSIS. Donc oui il y a un impact sur le développement comme c’était déjà le cas en 2008. Il faut donc utiliser impérativement ces paramètres pour rendre le développement configurable et exécutable dans différents environnements.

Par contre tout les éléments d’une solution SSIS ne peuvent être paramétrés. On peut paramétrer la plupart des tâches du control flow et les connexions du Connection Manager.

En parlant des connexions, elles peuvent désormais être converties en connexions de projet, ce qui permet de les rendre disponibles à l’ensemble des packages du projet SSIS.

ProtectionLevel

Le niveau de proctection des packages SSIS, joue également un rôle dans cette floppée de configuration, la propriété ProtectionLevel existe toujours au niveau du package et elle est présente également dans les propriétés du projet.

Un dernier point intéressant, on peut créer différentes configurations dans notre projet SSIS, grâce au configuration Manager de Visual Studio,ce n’est pas nouveau on pouvait le faire en 2008. Personnellement je ne jamais touché à cela…

Mais grâce à ceci on peut changer la valeur des paramètres durant le Design Time. Donc être capable de déveloper et debugger selon différentes configurations.

Le déploiement

Une fois le développement terminé et les paramêtres en place on peut passer au déploiement.

Pour un simple développeur, un clic droit sur la solution puis deploy.

Mais il existe d’autres méthodes de déploiement. Sachez tout de même que lorsqu’on Build un projet SSIS, un fichier .ispac est créé dans le dossier Bin de votre projet.

Attention : si vous utilisez des configurations choisissez la bonne avant de compiler.

Si vous cliquez sur ce .ispac l’assistant de déploiement va se lancer.

Que contient ce fichier .ispac ?
Si vous changez l’extension du fichier en .zip ou .cab vous allez pouvoir voir le contenu. Vous aller retrouver tous les éléments de votre projet SSIS (package, paramètre, fichier xml de configuration)

Côté administration

Avec SQL Server 2012 on a un server dédié SSIS : Integration Services Catalog. Ce qui sous entend qu’on fait un déploiement en MSDB.

A partir de ce catalogue on peut configurer nos packages en attribuant des valeurs aux paramètres définis dans le développement. On peut avoir plusieurs jeux de valeurs de paramètres car on est capable désormais de définir des environements.

Ces environements pemettent donc d’exécuter des packages dans un certain contexte.

Pour chaque environnement on va définir un ensemble de variables.

Conseil : je ne connais pas encore quelles sont les bonnes pratiques à avoir avec cette nouvelle façon de procéder, mais je vous conseille de garder les mêmes noms de variables dans chaque environnement : donc de reproduire le même set de variables.

Et on va pouvoir configurer notre projet SSIS. Un clic droit Configure sur le projet.

Le premier panneau de configuration vous permet de modifier les différents paramètres de votre projet sauf qu’il faut avant tout faire des références aux envrionnements créés précédemment.

Donc rendez-vous dans le deuxième panneau References. c’est dans ce panneau que vous allez donner les différentes envrionnement de configuration.

Note : On peut directement créer des environnements via ce panneau.

Par la suite vous pourrez utiliser vos variables d’environnement dans le premier panneau.

Les ConnectionString

Comme vous pouvez voir dans mes screenshots, il y a un onglet dédié aux Parameters et un autre pour le Connections Managers.

Vous pouvez voir dans l’onglet parameters que j’ai paramétrer une connectionString et que l’on peut faire de mêne dans l’onglet Connection Managers.

Quelle approche prendre, paramétrer toutes les connectionString via un paramètre où modifer les connexions dans l’onglet Connection Managers ?

Réponse : les deux sont possibles à vous de voir vos connexions en fonction de votre besoin et d’ajuster votre configuration. Au final on reviendra à la même chose, une variable d’un de vos environnements peut changer les valeurs. Sauf que d’un côté une connectionString à changer et de l’autre, 6 propriétés (ConnectionString,InitiaalCatalog, Password,RetainSameConnection,ServerName,UserName).

Note: On peut toujours donner une valeur manuelle sans passer par des variables d’environnement.

Dans mon cas, la connectionString de ma source ne change pas mais je l’ai tout de même mis en paramètre, si il faut la changer un jour je peux le faire… Par contre mes connexions de destination sont variables car tout dépend de l’environnement.

Je vous conseille très fortement  de faire une validation de votre configuration : Clic droit Validate sur votre projet.

Conclusion

La prise en main de ce nouveau modèle de déploiement parait complexe au premier abord. Cela est dû je pense à plusieurs choses.
Dans un premier temps les appellations : « variables, paramètres, variables d’environement, configuration etc. » qui naturellement quand on l’entend nous fait penser à des choses existantes, par conséquent on peut être facilement confus, mêlé voir perdu … Un bon départ est d’oublier un peu ce que l’on sait et reconstituer le tout petit à petit en mettant les nouvelles choses au bon endroit.

La découverte de ce modèle me laisse penser qu’on a plus de flexibilité et permet à tous les intervenants d’un projet d’intégration de données avec SSIS, d’avoir leur part du travail dans de meilleurs conditions. Dans un deuxième temps, étant habitué à développer et à déployer de la même manière depuis un petit moment déjà, il est difficile d’absorber ce modèle. Mais les nouveaux réflexes s’apprennent vite et au fure et à mesure on peut se dire que  » ce truc est quand même pas mal fichu et qu’on galère moins qu’avant… » Pour l’instant c’est sûre que l’on est en période de changements, les premiers projets avec SQL Server 2012 pointent leur nez sans conpter que SSIS 2012 réserve encore pas mal de suprises je pense notamment au reporting intégré et une meilleure intégration des projets avec TFS.

Samedi .NET – Nouveautés SQL Server 2012

J’ai tendance à parler des évènements SQL Server en France, or j’habite au Canada plus exactement à Montréal.

Il existe une communauté .Net très active ici . Elle organise le Samedi 26 Mai une journée dédiée aux nouveautés de SQL Server 2012.  Je participerai à cet évènement en tant que speaker et j’interviendrai pour parler de SSIS 2012.

Pour plus d’infos rendez vous sur le site de la communauté : http://www.dotnetmontreal.com/events/35247812/

Au programme :

  •  Introduction
  •  Nouveautés T-SQL
  •  Analysis Services 2012 Tabular Models
  • SQL Server 2012 Performance and Tuning
  • SQL Server AlwaysOn
  • Nouveautés SSIS

Déploiement package SSIS 2008 R2 File System + Fichier de configuration + SQL Agent

Un article pour parler d’une chose assez abstraite (surtout lorsque l’on débute SSIS) : Le déploiement de SSIS.

Il existe différentes méthodes de déploiement avec SSIS 2008.

Pour infos la version 2012 offre une toute nouvelle approche.

Alors en 2008, le déploiement des packages SSIS peut paraitre farfelu.

Déjà il faut choisir un mode File System ou MSDB (Déploiement fichier ou base de données).

Je ne vais pas débattre sur le choix le plux optimisé. Tout dépend des organisations et à la bonne volonté de chacun.

Après il faut aussi penser à la configuration des packages :

  • Fichier Configuration
  • Variable d’environnement
  • Configuration Indirecte

Dans différents projets utilisant le mode File System et la configuration indirecte, il y a toujours pas mal d’interrogations.

Je vais essayer de tout expliquer … Retenez que tout est une histoire de contexte.

Développement des packages

Commencons par le début : le développement des packages. Le développeur travaille sur son poste, il cré des packages à la pelle. Il utilise des comptes pour se connecter aux sources et aux destinations. Un genre de DOMAIN\etl_user pour les sources : qui ne fait que lire la ou les différentes sources. Et ce même compte pour manipuler les données dans la destination / Staging etc.

Le développeur possède un compte active directory, DOMAIN\IamTheDev. Si ses packages utilisent divers fichiers de configuration DtsConfig (indirect ou direct) alors ils doivent contenir les ConnectionString vers les sources et les destinations. Qui dit ConnectionString dans un fichier de configuration dit : identifiants pour accéder aux données = DOMAIN\read_user + Mot de passe. Et oui ces informations sont stockées en claires dans le fichier.

Lorsque le développeur va exécuter un package dans BIDS, ce dernier étant configuré, va utiliser toutes les information de connexions contenues dans le fichier de configuration pour se connecter aux sources et aux destinations. Vu que le développeur possède les droits sur le fichier de configuration alors celui va être lu et utlisé dans ce contexte (exécution par le développeur sur son poste).

Le mode/type de déploiement déjà défini préalablement le développeur sait que l’on va déployer en file system et utiliser un fichier de configuration.

Sauf qu’à la création d’un package celui ci possède un ProctectionLevel qui par défaut est mis à EncryptSensitiveWithUserKey. Ce qui signifie que les informations du package sont encryptées avec les informations de la personne qui a créé le package, dans notre cas le développeur. Donc si on laisse cette propriété par défaut, et que l’on souhaite exécuter ce package ailleurs par un autre utilisateur ou  sur notre serveur SSIS il y aura à coup sûre un message d’erreur.

Par conséquent il faut changer le protectionLevel de vos packages : DontSaveSentive ou SaveSensitiveWithPassword.

Le déploiement en file system est assez simple:

  • Un bon vieux copier coller des packages
  • Utilisation du DeploymentManifest
  • Autres ?

Vers le dossier contenant les packages sur votre serveur. Idem pour les fichiers de configurations.

Exécution et planification des packages

Pareil plusieurs manières d’exécuter un package SSIS. (Ligne de commande DTUTIL, DTEXEC et SQL Agent) Concentrons nous sur le service SQL Agent, il  doit être lancé dans un premier temps. Dans SQL Agent, un job devra être créé. Ce job contiendra votre package SSIS.

Sauf que…

Je vais vous ai dit tout en haut de cet article que tout est une histoire de contexte. A coup sûre tout ne fonctionnera pas du premier coup. Surtout si vous avez des bases de données externes de votre serveur SSIS.

Pour bien exécuter un package, il faut comprendre que celui va appeller différente sources données. Et que le service SQL Agent de base ne pourra pas forcément y accéder.

C’est pour cela qu’il faut utiliser un proxy. Et un un proxy nécessite un credential qui est lui même lié à un compte active directory. : DOMAIN\etl_user

Un bon schéma vaut mieux qu’un long discours !

Retour – Certifications SQL Server 2012

Bien que SQL Server 2012 soit officiellement sorti ses certifications sont encore en BETA.

Ayant profité de l’offre gratuite de passage de certifs, j’ai pu testé ces nouveaux examens.

Merci Christian pour le bon plan : http://blogs.codes-sources.com/christian/archive/2012/03/23/certifications-sql-server-2012-alias-denali-disponibles-gratuitement-en-beta.aspx

Alors autant vous dire tout de suite que je me suis rendu dans le centre de test sans vraiment préparer. Je comptais essentiellment sur ma veille technologique, les conférences, Webcasts et articles que j’ai pu faire, assister et lire. Je n’espère pas grand chose…

Voici la liste des certifications SQL Server 2012, et la combinaison d’exam forment soit la stack Data Platform ou la stack Business Intelligence.

  • Exam 70-461: Querying Microsoft SQL Server 2012
  •  Exam 70-462: Administering Microsoft SQL Server 2012 Databases
  • Exam 70-463: Implementing a Data Warehouse with Microsoft SQL Server 2012
  • Exam 70-464: Developing Microsoft SQL Server 2012 Databases
  • Exam 70-465: Designing Database Solutions for Microsoft SQL Server 2012
  • Exam 70-466: Implementing Data Models and Reports with Microsoft SQL Server 2012
  • Exam 70-467: Designing Business Intelligence Solutions with Microsoft SQL Server 2012

Au programme, sur les 7 certifications SQL Server 2012 je me suis inscrit à 3 d’entre elles le même jour :). (Une bonne piqûre !)

  • Exam 70-463: Implementing a Data Warehouse with Microsoft SQL Server 2012
  • Exam 70-466: Implementing Data Models and Reports with Microsoft SQL Server 2012
  • Exam 70-467: Designing Business Intelligence Solutions with Microsoft SQL Server 2012

Je me suis attaqué aux certifs de la stack Business Intelligence,  il faudrait ajouté 70-461 et  70-462 pour avoir la totale.
Avant d’y aller, j’ai jeté un oeil sur le contenu des certifications :

Contrairement aux certifications 2008 on a vraiment plus de certifications et on voit bien que la BI prend vraiment un sens au niveau des compétences SQL Server.
En effet les composantes BI et les domaines de compétences sont mieux dissociés au lieu d’avoir 2 certifications BI regroupant SSAS, SSIS, SSRS et un peu de reste  (comme c’était le cas pour 2008) on a désormais 3 certications qui partagent un peu les 3 grandes familles d’outils BI.

Je ne vais pas tout détailler, mais globalement les questions sont bien posées et maintenant elles sont interractives.

Fini les textes très long à lire on a des screenshots interractifs, des drag and drop des étapes à mettre en place pour répondre à une question, je vous rassure les QCM sont encore là.

La 70-463 est intéressante enfin des mises en situation de  data warehouse (modélisation, chargement etc).

La 70-466 : Plutot dure, n’étant pas un Master du MDX et de l’optimisation de cube, et ne connaissant pas tous les secrets du BISM : Multidimensionnal VS Tabular, j’avoue avoir répondu un peu au hasard.

La 70-467 : est un peu équivalente à la 70-452 de SQL Server 2008. Elle regroupe une peu tout est plus plus orienté cas de tout les jours.

Les 3 ont a peu près 60 questions chacune

Toutes les nouveautés sont couvertes dans différentes proportions : on parle de SSDT, SQL Azure, DQS, MDS, PowerPivot, PowerView, ColumnStore, Nouveautés SSIS en veux tu en voilà, Modèle Tabulaire, DAX.

Cela reste des BETA, tout peut encore arrivé.

Et pas mal de question en référence à 2008 aussi.

Certaines questions sont vraiment pointilleuses, d’autres sont des « par coeur », il y en a des fastoches TAC-O-TAC et par rapport aux certifications 2008 il y avait des questions toutes simples mais Dieu sait qu’on a la réponse mais on ne sait plus comment s’appelle ce truc, on l’utilise tous les jours mais on ne fait plus attention au nom de cette propriété, de cette tâche, composant ou onglet. (GRRrrr)

A croire les feuilles imprimées en sortant résultat par mail dans 8 semaines.

Business Intelligence en France : FrenchConnection.BI

Un article pour parler d’une toute nouvelle communauté qui vient de se mettre en place en France.

La FrenchConnection.BI ! Cette volonté de faire connaitre les technologies Microsoft en matière de BI, dans un cadre communautaire en France est initiée par 4 personnes.

  • Francois Jehl
  • Aurélien Koppel
  • Florian Eiden
  • Jean Pierre Riehl

Un peu la crême de la crême, si il fallait monter une équipe BI Nationale ces 4 là seront à coup sûre sélectionnés. Juste pour dire que c’est bon de savoir que la communauté MS BI en France est entre de très bonnes mains.

Très bonne initiative, au programme des évènements pour l’instant pas de grande annonce mise à part un AfterWork et un sujet d’échange sur le Self-Service BI.

Il faudra s’ attendre à d’autres évènements comme des conférences, des débats , des articles, des tips etc., le tout dans une ambiance conviviale.

Plus d’infos visitez le site : http://frenchconnection.bi/communaute-sql-business-intelligence/

Le Facebook : https://www.facebook.com/FrenchConnectionBI