Dyb læring

Lagdelt repræsentation af billeder på flere abstraktionsniveauer.

Deep learning ( tysk : flerlags læring , dyb læring eller dyb læring ) beskriver en metode til maskinel læring, der bruger kunstige neurale netværk (ANN) med talrige mellemliggende lag ( engelske skjulte lag ) mellem inputlaget og outputlaget og derved skaber et omfattende intern struktur. Det er en særlig metode til informationsbehandling.

Til venstre: input lag med i dette tilfælde tre input neuroner. Til højre: output lag med output neuroner, to i dette billede. Det midterste lag kaldes det skjulte lag, fordi dets neuroner hverken er input eller output. Kun et skjult lag kan ses her, men mange netværk har betydeligt mere. Det nødvendige antal niveauer, hvorfra man taler om "dyb læring", er ikke præcist defineret.

Krav og grundlæggende

Problemerne løst i de tidlige dage med kunstig intelligens var intellektuelt vanskelige for mennesker , men lette for computere at behandle. Disse problemer kan beskrives ved formelle matematiske regler. Den virkelige udfordring for kunstig intelligens var imidlertid at løse opgaver, der er lette for mennesker at udføre, men hvis løsning er vanskelig at formulere ved hjælp af matematiske regler. Det er opgaver, som mennesker løser intuitivt , såsom tale eller ansigtsgenkendelse .

En computerbaseret løsning på denne type opgaver involverer computernes evne til at lære af erfaring og forstå verden i form af et hierarki af begreber. Hvert koncept er defineret af dets forhold til enklere begreber. Ved at få viden fra erfaring undgår denne tilgang behovet for, at menneskelige operatører formelt specificerer al den viden, computeren har brug for for at udføre sit job. Koncepthierarkiet giver computeren mulighed for at lære komplicerede begreber ved at samle dem fra enklere. Hvis du tegner et diagram, der viser, hvordan disse begreber er bygget oven på hinanden, så er diagrammet dybt, med mange lag. Af denne grund kaldes denne tilgang "dyb læring" i kunstig intelligens.

Det er svært for en computer at forstå betydningen af ​​rå sensoriske inputdata, f.eks. Ved håndskriftgenkendelse , hvor en tekst i første omgang kun eksisterer som en samling pixels. Konverteringen af ​​et sæt pixels til en kæde af tal og bogstaver er meget kompliceret. Komplekse mønstre skal ekstraheres fra rådata. At lære eller evaluere denne opgave virker uoverkommeligt svært, hvis den blev programmeret manuelt.

En af de mest almindelige teknikker inden for kunstig intelligens er maskinlæring . Maskinlæring er en selvadaptiv algoritme. Deep learning, en delmængde af maskinlæring, bruger en række hierarkiske lag eller et hierarki af begreber til at udføre maskinlæringsprocessen. De kunstige neurale netværk, der bruges her, er bygget som den menneskelige hjerne, hvor neuronerne er forbundet til hinanden som et netværk. Det første lag i det neurale netværk, det synlige inputlag, behandler rådatainput, såsom de enkelte pixels i et billede. Datainput indeholder variabler, der er tilgængelige for observation, derfor det "synlige lag".

Dette første skift videresender sit output til det næste skift. Dette andet lag behandler informationen fra det foregående lag og videresender også resultatet. Det næste lag modtager informationen fra det andet lag og behandler det videre. Disse lag kaldes henholdsvis skjulte lag ( engelske skjulte lag ). De funktioner, de indeholder, bliver mere og mere abstrakte. Deres værdier er ikke angivet i de originale data. I stedet skal modellen bestemme, hvilke begreber der er nyttige til at forklare relationerne i de observerede data. Dette fortsætter på tværs af alle niveauer af det kunstige neurale netværk. Resultatet er output i det sidste synlige skift. Dette opdeler den ønskede komplekse databehandling i en række indlejrede simple associationer, som hver især er beskrevet af et andet lag af modellen.

Historie, udvikling og brug

Den Gruppen fremgangsmåde til datahåndtering -KNNs (GMDH-ANN) af 1960'erne af Oleksiy Iwachnenko var de første Deep-learning systemer i feedforward flerlags perceptronen type. Yderligere dyb læringsmetoder, især inden for maskinsyn , begyndte med neocognitron , som blev udviklet af Kunihiko Fukushima i 1980. I 1989 Yann LeCun og kolleger brugte backpropagation algoritme til at træne flere lag ANNs med det formål at anerkende håndskrevne postnumre. Siden 1997 har Sven Behnke udvidet den fremadrettede hierarkisk-konvolutive tilgang i den neuronale abstraktionspyramide med laterale og bagudrettede forbindelser for fleksibelt at inkludere kontekst i beslutninger og iterativt løse lokale uklarheder.

Udtrykket "dyb læring" blev første gang brugt i forbindelse med maskinlæring i 1986 af Rina Dechter , hvorved hun beskriver en proces, hvor alle løsninger, der bruges i et betragtet søgeområde, registreres, som ikke førte til en ønsket løsning. Analysen af ​​disse registrerede løsninger bør gøre det muligt at kontrollere de efterfølgende tests bedre og dermed forhindre mulige blindgyde i løsningsfundet på et tidligt stadium. I dag bruges udtrykket imidlertid hovedsageligt i forbindelse med kunstige neurale netværk og optrådte i denne sammenhæng for første gang i 2000 i publikationen Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications af Igor Aizenberg og kolleger.

De seneste succeser med dybe læringsmetoder, såsom Go -turneringsgevinsten i AlphaGo -programmet mod verdens bedste menneskelige spillere, er baseret på hardwareens øgede behandlingshastighed og brug af dyb læring til at træne det neurale netværk, der bruges i AlphaGo. Det samme gælder forudsigelsen af proteinfoldninger, der har været vellykket siden 2020 . Disse netværk bruger kunstigt genererede neuroner ( perceptroner ) til at genkende mønstre.

Yann LeCun , Yoshua Bengio og Geoffrey Hinton modtog Turing -prisen i 2018 for bidrag til neurale netværk og dyb læring .

Kompleksitet og grænser for forklarbarhed

Dybe neurale netværk kan have en kompleksitet på op til hundrede millioner individuelle parametre og ti milliarder aritmetiske operationer pr. Inputdata. Evnen til at fortolke parametrene og forklare, hvordan resultaterne blev til, er kun i begrænset omfang mulig og kræver brug af særlige teknikker, som er opsummeret under Forklarelig kunstig intelligens . En anden bivirkning ved dyb læring er modtagelighed for forkerte beregninger, som kan udløses af subtile manipulationer af indgangssignalerne, der ikke er synlige for mennesker, for eksempel i billeder. Dette fænomen er opsummeret under modsætningseksempler .

Program biblioteker

Ud over muligheden, der normalt præsenteres i træningseksempler for at forstå den interne struktur, at programmere et neuralt netværk fuldstændigt i hånden, er der en række softwarebiblioteker , ofte open source , normalt eksekverbare på flere operativsystemplatforme i fælles programmeringssprog som f.eks. som C , C ++ , Java eller Python . Nogle af disse programbiblioteker understøtter GPU'er eller TPU'er til computeracceleration eller giver selvstudier om, hvordan du bruger disse biblioteker. Med ONNX kan modeller udveksles mellem nogle af disse værktøjer.

litteratur

Weblinks

Individuelle beviser

  1. ^ Hannes Schulz, Sven Behnke: Deep Learning: Layer-Wise Learning of Feature Hierarchies . I: AI - Kunstig intelligens . tape 26 , nej. 4. november 2012, ISSN  0933-1875 , s. 357-363 , doi : 10.1007 / s13218-012-0198-z ( springer.com [adgang 13. januar 2020]).
  2. ↑ Herbert Bruderer: Opfindelse af computeren, elektronisk lommeregner, udviklingen i Tyskland, England og Schweiz . I: Milepæle i computing . 2., fuldstændig revideret og stærkt udvidet udgave. tape 2 . De Gruyter, 2018, ISBN 978-3-11-060261-6 , ordbog over teknisk historie , s. 408 ( begrænset forhåndsvisning i Google Bogsøgning [åbnet 23. november 2019]).
  3. ↑ a b c d e f Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning. MIT Press, adgang til 19. februar 2017 .
  4. ↑ a b David Kriesel : En lille oversigt over neurale netværk. (PDF; 6,1 MB) I: dkriesel.com. 2005, adgang 21. januar 2019 .
  5. ^ Li Deng, Dong Yu: Deep Learning: Metoder og applikationer . 1. maj 2014 ( microsoft.com [adgang 17. maj 2020]).
  6. ↑ a b Michael Nielsen: Neurale netværk og dyb læring. Determination Press, åbnet 21. februar 2017 .
  7. ^ Li Deng, Dong Yu: Deep Learning: Metoder og applikationer . I: Microsoft Research (red.): Fundamenter og tendenser i signalbehandling, bind 7, spørgsmål 3-4 . 1. maj 2014, ISSN  1932-8346 (engelsk, microsoft.com [åbnet 22. februar 2017]).
  8. ^ Ivakhnenko, AG og Lapa, VG (1965). Cybernetiske forudsigelsesenheder. CCM Information Corporation.
  9. ↑ Jürgen Schmidhuber : Dyb læring i neurale netværk: En oversigt. I: Neurale netværk. 61, 2015, s. 85, arxiv : 1404.7828 [cs.NE] .
  10. ↑ Jürgen Schmidhuber: Papirkritik af "Deep Learning Conspiracy" (Nature 521 s 436). I: people.idsia.ch . Juni 2015, adgang til 12. april 2019.
  11. ↑ Yann LeCun et al.: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1, s. 541–551, 1989 , åbnet den 11. maj 2020.
  12. ^ Sven Behnke: Hierarkiske neurale netværk til billedfortolkning (=  Forelæsningsnotater i datalogi . Bind 2766 ). Springer Berlin Heidelberg, Berlin, Heidelberg 2003, ISBN 978-3-540-40722-5 , doi : 10.1007 / b11963 ( springer.com [adgang 28. november 2020]).
  13. ^ Rina Dechter: Læring mens du søger i problemer med begrænsningstilfredshed. (PDF; 531 KB) I: fmdb.cs.ucla.edu. University of California, Computer Science Department, Cognitive Systems Laboratory, 1985, adgang 9. juli 2020 .
  14. ↑ Horváth & Partners: "Kunstig intelligens vil ændre alt" (fra 0:11:30) på YouTube , 9. maj 2016, tilgået den 6. november 2018 (præsentation af Jürgen Schmidhuber).
  15. ^ Jürgen Schmidhuber: Deep Learning siden 1991. I: people.idsia.ch. 31. marts 2017, tilgået 1. december 2018 .
  16. ↑ Igor Aizenberg, Naum N. Aizenberg, Joos PL Vandewalle: Multi-Værdsat og Universal Binary neuron: Teori, Læring og Programmer . Springer Science & Business Media, 14. marts 2013, ISBN 978-1-4757-3115-6 .
  17. ↑ Demis Hassabis: AlphaGo: ved hjælp af maskinlæring til at mestre det gamle spil Go. I: blog.google. Google, 27. januar 2016, tilgås 16. juli 2017 .
  18. ↑ AlphaFold: en løsning på en 50-årig stor udfordring i biologi. I: deepmind.com. 30. november 2020, adgang til 19. december 2020 .
  19. ^ Alexander Neumann: Deep Learning: Turing Award for Yoshua Bengio, Geoffrey Hinton og Yann LeCun - heise online. I: heise.de. 28. marts 2019, adgang til 29. marts 2019 .
  20. ↑ Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael Specter: Forklarende forklaringer: En oversigt over fortolkning af maskinlæring . I: 2018 IEEE 5th International Conference on Data Science and Advanced Analytics (DSAA) . IEEE, Torino, Italien 2018, ISBN 978-1-5386-5090-5 , s. 80–89 , doi : 10.1109 / DSAA.2018.00018 ( ieee.org [åbnet 8. december 2019]).
  21. ^ Dan Clark: Top 16 Open Source Deep Learning -biblioteker og -platforme. KDnuggets, april 2018, adgang til 8. januar 2019 .
  22. ↑ Keras dokumentation. I: Keras: Deep Learning -bibliotek for Theano og TensorFlow. Hentet 6. marts 2017 .
  23. ↑ Hvorfor bruge Keras? I: keras.io. Hentet 8. januar 2020 (engelsk): “Keras er også en favorit blandt forskere med dyb læring, der kommer ind på # 2 med hensyn til omtaler i videnskabelige artikler, der er uploadet til fortryksserveren arXiv.org . Keras er også blevet adopteret af forskere fra store videnskabelige organisationer, især CERN og NASA. "
  24. ↑ Fakkel | Videnskabelig databehandling til LuaJIT. Hentet 17. februar 2017 .
  25. ↑ Rainald Menge-Sonnentag: Machine Learning: Facebook udgiver rammer open source til Torch. I: heise.de. 24. juni 2016. Hentet 17. februar 2017 .
  26. ^ Microsoft Cognitive Toolkit. I: microsoft.com. Hentet 11. august 2017 (amerikansk engelsk).
  27. ↑ Hjem. I: paddlepaddle.org. Hentet 17. februar 2017 .
  28. ^ Alexander Neumann: Baidu frigiver deep learning -system som open source. I: heise.de. 2. september 2016. Hentet 17. februar 2017 .
  29. ^ Theano. I: deeplearning.net. Hentet 20. september 2019 .
  30. ↑ Apache MXNet (Inkubation) - Et fleksibelt og effektivt bibliotek til dyb læring. I: mxnet.apache.org. Hentet 5. september 2019 .