MANAGEMENT DES
MEGADONNEES - S1E3 –
CRYPTOGRAPHIE -
ALGORITHMIQUE/ANALYTIQUES
By: Hermann Djoumessi, MA
1
• TABLE OF CONTENT :
1. ALGORITHME DE DECISION
2. BIG DATA CENTERS ARCHITECTURE
3. BIG DATA AND BUSINESS ANALYTICS
BIG DATA TOP 50 INTERVIEW QUESTIONS :
https://www.whizlabs.com/blog/big-data-interview-questions/
2
1. ALGORITHME DE DECISION
3
• Un algorithme est une suite finie et non ambiguë
d'opérations ou d'instructions permettant de
résoudre une classe de problèmes. Le mot algorithme
vient du nom d'un mathématicien perse du IXᵉ siècle,
Al-Khwârizmî.
• Le domaine qui étudie les algorithmes est appelé
l'algorithmique.
• UBER DATA MODEL:
https://allbigdatathings.blogspot.com/2019/04/uber-
data-architecture.html
1. ALGORITHME DE DECISION
4
• Les algorithmes en langage informatique
• Aujourd’hui, toutes les machines avec des composants électroniques utilisent des
algorithmes, qui peuvent être plus ou moins compliqués.
• Ces algorithmes conçus par des humains, pour être compris par des machines, ces schémas
doivent être traduits en langage informatique.
• Considérons par exemple un algorithme très simple, dans la cuisine : celui qui permet au
four de maintenir la température demandée. Appelons le « algorithme bonne
température ». Voici à quoi il pourrait ressembler (dans une version très simple) :
• UBER DATA ARCHITECTURE :
https://allbigdatathings.blogspot.com/2019/04/uber-data-model.html
5
KHAN ACADEMY DEFINITION : https://www.khanacademy.org/computing/computer-science/algorithms/intro-to-algorithms/a/a-guessing-game
6
• Algorithme bonne température
étape 1 Lire et Mémoriser Tu
• étape 2 Mesurer Tf
• Si Tf est inférieure à Tu : chauffer fortement le four pendant un temps t = 60 secondes puis
revenir à l‘étape 2
• Si Tf est égale à Tu : chauffer modérément le four pendant un temps t = 60 secondes puis
revenir à l‘étape 2
• Si Tf est supérieure à Tu : interrompre le chauffage pendant un temps t = 60 secondes puis
revenir à l‘étape 2
7
• Dans les jeux vidéos par exemple : tout ce qui se passe sur l’écran dépend
d’algorithmes, et le joueur fournis lui.elle même certaines variables en
appuyant sur des boutons.
• Tous les programmes installés sur vos PC/MAC/Serveurs/DATA CENTERS,
utilisent des algorithmes.
• Les moteurs de recherche, la confidentialité des transactions en ligne, la
gestion des bonus dans Candy Crush et celle des analytiques, dépendent
d’algorithmes.
8
2. BIG DATA CENTERS
ARCHITECTURE
9
Architecture BIG DATA et
CRYPOTOGRAPHIE des
Megadonnées.
DATA CENTER: Un centre de données est une installation physique centralisée où vivent
les ordinateurs, le réseau, le stockage et d'autres équipements informatiques d'entreprise qui
prennent en charge les opérations commerciales.
Les ordinateurs d'un centre de données contiennent ou facilitent des applications, des
services et des données critiques pour l'entreprise.
10
3. BLOCKCHAIN AND
CRYPTOGRAPHY
11
12
AMELIORATION DES CHAINES LOGISTIQUES ET
TRACABILITE DES OBJETS
GREEN IT / GREEN COMPUTING
•Une préoccupation du 21ème siècle, sera la traçabilité de nos objetts, leurs
origins et les details de fabrication.
•LE BIG DATA peut résoudre ce problême, via l’utilisation de la
technologie BLOCKCHAIN, pour:
• Valider les données et transactions
• Sécuriser l’autenticité de ces transactions
• Permettre la traçabilité, en temps reel’ de ces transactions et de ces
données (Métadonnées également)
•La Supply Chain (chaîne logistique), est le processus qui est généré
lorsqu’un client passe une commande jusqu'à ce que le produit ou le
service soit livré et payé.
•Par conséquent, la Supply Chain comprend la planification, l'exécution et
le contrôle de toutes les activités liées aux flux de matériaux et
d’information, à l'achat de matières premières, à la transformation
intermédiaire du produit ainsi qu’à sa la livraison au client final.
13
•CRYPTOGRAPHY (CHIFFREMENT)
•Ou… Comment reconquérire la
souveraineté numértique au 21ème siècle ?
14
15
4. BIG DATA and BUSINESS ANALYTICS
16
DATA SCIENCE and DECISION-MAKING
17
•Business Analytics refers to utilizing existing data to make fact-based decisions. Business Analytics
utilizes various skills, methods, hardware and software for processing raw data into reports which are
beneficial for decision-making. Business Analytics uses statistical analysis extensively.
•Types of Business Analytics:
•Reporting or Descriptive Business Analytics: reports on insights from processing historical data (e.g.
totals, means, medians, standard deviations)
•Predictive Business Analytics: uses historical data to forecast the future (e.g. regression analysis)
Business Analytics fait référence à l'utilisation de données existantes pour prendre des décisions
fondées sur des faits. Business Analytics utilise diverses compétences, méthodes, matériels et logiciels
pour traiter les données brutes dans des rapports qui sont bénéfiques pour la prise de décision. Business
Analytics utilise largement l'analyse statistique.
Types d'analyse commerciale :
Reporting ou Descriptive Business Analytics : rapports sur les informations issues du traitement des
données historiques (par exemple, totaux, moyennes, médianes, écarts-types)
Predictive Business Analytics : utilise des données historiques pour prévoir l'avenir (par exemple,
analyse de régression)
BUSINESS ANALYTICS and DECISION-MAKING
18
CE QU’IL FAUT RETENIR :
•1. L’importance des algorithmes dans le traitement des MEGADONNEES
•2. l’importance du cryptage des MEGADONNEES, afin de garantir une souveraineté
des données des utilisateurs (Users)
•3. L’importance de la technologie Blockchain pour la sécurisation des données et leur
validation.
•4. L’architecture Générale des Data centers et la problématique de leur
approvisionement en énergie.
•5. L’utilization des analytiques des MEGADONNES, comme outil d’aide à la
decision
19
END.
20
By: Hermann Djoumessi, MA
21

S3. Big Data. Architecture & Business Analytics

  • 1.
    MANAGEMENT DES MEGADONNEES -S1E3 – CRYPTOGRAPHIE - ALGORITHMIQUE/ANALYTIQUES By: Hermann Djoumessi, MA 1
  • 2.
    • TABLE OFCONTENT : 1. ALGORITHME DE DECISION 2. BIG DATA CENTERS ARCHITECTURE 3. BIG DATA AND BUSINESS ANALYTICS BIG DATA TOP 50 INTERVIEW QUESTIONS : https://www.whizlabs.com/blog/big-data-interview-questions/ 2
  • 3.
    1. ALGORITHME DEDECISION 3
  • 4.
    • Un algorithmeest une suite finie et non ambiguë d'opérations ou d'instructions permettant de résoudre une classe de problèmes. Le mot algorithme vient du nom d'un mathématicien perse du IXᵉ siècle, Al-Khwârizmî. • Le domaine qui étudie les algorithmes est appelé l'algorithmique. • UBER DATA MODEL: https://allbigdatathings.blogspot.com/2019/04/uber- data-architecture.html 1. ALGORITHME DE DECISION 4
  • 5.
    • Les algorithmesen langage informatique • Aujourd’hui, toutes les machines avec des composants électroniques utilisent des algorithmes, qui peuvent être plus ou moins compliqués. • Ces algorithmes conçus par des humains, pour être compris par des machines, ces schémas doivent être traduits en langage informatique. • Considérons par exemple un algorithme très simple, dans la cuisine : celui qui permet au four de maintenir la température demandée. Appelons le « algorithme bonne température ». Voici à quoi il pourrait ressembler (dans une version très simple) : • UBER DATA ARCHITECTURE : https://allbigdatathings.blogspot.com/2019/04/uber-data-model.html 5
  • 6.
    KHAN ACADEMY DEFINITION: https://www.khanacademy.org/computing/computer-science/algorithms/intro-to-algorithms/a/a-guessing-game 6
  • 7.
    • Algorithme bonnetempérature étape 1 Lire et Mémoriser Tu • étape 2 Mesurer Tf • Si Tf est inférieure à Tu : chauffer fortement le four pendant un temps t = 60 secondes puis revenir à l‘étape 2 • Si Tf est égale à Tu : chauffer modérément le four pendant un temps t = 60 secondes puis revenir à l‘étape 2 • Si Tf est supérieure à Tu : interrompre le chauffage pendant un temps t = 60 secondes puis revenir à l‘étape 2 7
  • 8.
    • Dans lesjeux vidéos par exemple : tout ce qui se passe sur l’écran dépend d’algorithmes, et le joueur fournis lui.elle même certaines variables en appuyant sur des boutons. • Tous les programmes installés sur vos PC/MAC/Serveurs/DATA CENTERS, utilisent des algorithmes. • Les moteurs de recherche, la confidentialité des transactions en ligne, la gestion des bonus dans Candy Crush et celle des analytiques, dépendent d’algorithmes. 8
  • 9.
    2. BIG DATACENTERS ARCHITECTURE 9
  • 10.
    Architecture BIG DATAet CRYPOTOGRAPHIE des Megadonnées. DATA CENTER: Un centre de données est une installation physique centralisée où vivent les ordinateurs, le réseau, le stockage et d'autres équipements informatiques d'entreprise qui prennent en charge les opérations commerciales. Les ordinateurs d'un centre de données contiennent ou facilitent des applications, des services et des données critiques pour l'entreprise. 10
  • 11.
  • 12.
  • 13.
    AMELIORATION DES CHAINESLOGISTIQUES ET TRACABILITE DES OBJETS GREEN IT / GREEN COMPUTING •Une préoccupation du 21ème siècle, sera la traçabilité de nos objetts, leurs origins et les details de fabrication. •LE BIG DATA peut résoudre ce problême, via l’utilisation de la technologie BLOCKCHAIN, pour: • Valider les données et transactions • Sécuriser l’autenticité de ces transactions • Permettre la traçabilité, en temps reel’ de ces transactions et de ces données (Métadonnées également) •La Supply Chain (chaîne logistique), est le processus qui est généré lorsqu’un client passe une commande jusqu'à ce que le produit ou le service soit livré et payé. •Par conséquent, la Supply Chain comprend la planification, l'exécution et le contrôle de toutes les activités liées aux flux de matériaux et d’information, à l'achat de matières premières, à la transformation intermédiaire du produit ainsi qu’à sa la livraison au client final. 13
  • 14.
    •CRYPTOGRAPHY (CHIFFREMENT) •Ou… Commentreconquérire la souveraineté numértique au 21ème siècle ? 14
  • 15.
  • 16.
    4. BIG DATAand BUSINESS ANALYTICS 16
  • 17.
    DATA SCIENCE andDECISION-MAKING 17
  • 18.
    •Business Analytics refersto utilizing existing data to make fact-based decisions. Business Analytics utilizes various skills, methods, hardware and software for processing raw data into reports which are beneficial for decision-making. Business Analytics uses statistical analysis extensively. •Types of Business Analytics: •Reporting or Descriptive Business Analytics: reports on insights from processing historical data (e.g. totals, means, medians, standard deviations) •Predictive Business Analytics: uses historical data to forecast the future (e.g. regression analysis) Business Analytics fait référence à l'utilisation de données existantes pour prendre des décisions fondées sur des faits. Business Analytics utilise diverses compétences, méthodes, matériels et logiciels pour traiter les données brutes dans des rapports qui sont bénéfiques pour la prise de décision. Business Analytics utilise largement l'analyse statistique. Types d'analyse commerciale : Reporting ou Descriptive Business Analytics : rapports sur les informations issues du traitement des données historiques (par exemple, totaux, moyennes, médianes, écarts-types) Predictive Business Analytics : utilise des données historiques pour prévoir l'avenir (par exemple, analyse de régression) BUSINESS ANALYTICS and DECISION-MAKING 18
  • 19.
    CE QU’IL FAUTRETENIR : •1. L’importance des algorithmes dans le traitement des MEGADONNEES •2. l’importance du cryptage des MEGADONNEES, afin de garantir une souveraineté des données des utilisateurs (Users) •3. L’importance de la technologie Blockchain pour la sécurisation des données et leur validation. •4. L’architecture Générale des Data centers et la problématique de leur approvisionement en énergie. •5. L’utilization des analytiques des MEGADONNES, comme outil d’aide à la decision 19
  • 20.
  • 21.