Deep Learning

Hoofdstuk 1. Inleiding
Waarom is dit boek geschreven? 1
1.1 Slimme rekenmachines? 2
1.2 Lijken computers op de hersenen? 4
1.3 Leren kijken met deep learning 7
1.4 Doelgroep 9
1.5 Vooruitblik 10

Hoofdstuk 2. Geschiedenis Artificial Intelligence
Hoe heeft AI zich vanaf de Griekse oudheid tot aan nu ontwikkeld? 13
2.1 Logica 14
2.2 Informatica 15
2.3 Cybernetica 17
2.4 De introductie van de term AI 17
2.5 Schaken tegen computers 18
2.6 AI-zomers en -winters 19
2.7 Bayesiaanse statistiek 21
2.8 Neurale netwerken 22

Hoofdstuk 3. Machine learning
Waarin verschillen machine learning-algoritmes van traditionele algoritmes? 25
3.1 Algoritmes 26
3.2 Machine learning en deep learning 27
3.3 Supervised machine learning 34
3.4 Unsupervised machine learning 35
3.5 Reinforcement learning 36

Hoofdstuk 4. Artificial neural networks (ANN’s)
Hoe werken de eerste kunstmatige neurale netwerken? 37
4.1 Neuronen 38
4.2 Biologische neurale netwerken 38
4.3 De eerste ANN’s 43
4.4 Objectherkenning met de eerste ANN’s 48

Hoofdstuk 5. Convolutional neural networks (CNN’s)
Hoe inspireert de menselijke visuele cortex deep learning? 53
5.1 Data op grids 54
5.2 Feature engineering? 55
5.3 De biologische inspiratie 56
5.4 Van cijferherkenning tot objectherkenning 57
5.5 Typen lagen in een CNN 59
5.6 Objectherkenning 63
5.7 Style transfer 65
5.8 Gezichtsherkenning 65
5.9 Pose estimation 68
5.10 Het trainen van CNN’s 71

Hoofdstuk 6. Recurrent neural networks (RNN’s)
Hoe kunnen neurale netwerken omgaan met tijd? 73
6.1 Netwerken met een geheugen 74
6.2 Oprollen en uitrollen 75
6.3 LSTM’s 77
6.4 RNN’s met attention 78
6.5 Transformers 80

Hoofdstuk 7. Generative adverserial networks (GAN’s)
Hoe kunnen neurale netwerken foto’s en video’s vervalsen? 85
7.1 Mensen die niet bestaan 86
7.2 Een wapenwedloop 88
7.3 Het trainen van GAN’s 90
7.4 Conditional GAN’s 91
7.5 Superresolutie 94

Hoofdstuk 8. Spiky neural networks (SNN’s)
Kunnen kunstmatige neuronen nog meer op biologische neuronen lijken? 97
8.1 Digitale hersenen? 98
8.2 Neuroscience versus AI 98
8.3 Kijken in het brein 99
8.4 Neuronen in Spiky Neural Networks 101
8.5 Leren in Spiky Neural Networks 103
8.6 Neuromorfische chips en BCI’s 105

Hoofdstuk 9. Deep reinforcement learning
Hoe kunnen agents leren door interactie met hun omgeving? 109
9.1 Geen voorbeelden, maar ervaring 110
9.2 Space Invaders 110
9.3 Terminologie 112
9.4 Exploitatie versus exploratie 114
9.5 Model-based en model-free 114
9.6 Problemen 116
9.7 Onverwachte resultaten 117

Hoofdstuk 10. Uitlegbaarheid en kwetsbaarheid
Kunnen wij de resultaten nog begrijpen? 119
10.1 Explainable AI 120
10.2 Waarom is explainable AI moeilijk? 120
10.3 Visualisatie van features 124
10.4 Visualisatie van attribution 130
10.5 Visualisatie van activation atlas 131
10.6 Aanvallen op neurale netwerken 132

Hoofdstuk 11. Softwareraamwerken
Met welke software kunt u zelf aan de slag? 137
11.1 Achtergrond 138
11.2 Caffe 139
11.3 Keras 139
11.4 Theano 139
11.5 TensorFlow 140
11.6 PyTorch 140
11.7 YOLO 140
11.8 CNTK 141
11.9 Deeplearning4J 141
11.10 OpenAI gym 141
11.11 ONNX 142
11.12 Software voor specifieke hardware 142

Hoofdstuk 12. Hardware
Welke hardware heeft u nodig voor deep learning? 143
12.1 GPU’s 144
12.2 TPU’s 145
12.3 VPU’s 146
12.4 FPGA’s 146
12.5 CPU’s revisited 147

Hoofdstuk 13. Deep learning in de organisatie
Wat komt er kijken bij de inzet van AI? 149
13.1 Organisatieveranderingen 150
13.2 De ene data scientist is de andere niet 153
13.3 Too many chiefs, not enough Indians 155
13.4 Regels voor een het laten mislukken van een AI-traject 156

Hoofdstuk 14. Literatuur 159