Neuromorphe Hardware

Die Forschungsaktivitäten im Bereich der künstlichen Intelligenz (KI), insbesondere im Bereich der Artificial Neural Networks (ANN) und ihrer Anwendungen, haben in den letzten Jahren enorm zugenommen. Durch Verbesserungen bei der Entwicklung von Convolutional Neural Networks (CNN) konnte die Fehlerquote bei Bildklassifizierungen unter die Fähigkeit des menschlichen Gehirns gesenkt werden [1]. Diese neuronalen Netze haben bis zu 167 Schichten mit mehr als hundert Neuronen in einer Schicht. Aufgrund ihrer hochparallelen Architektur verwenden sie GPUs anstelle von CPUs für die Berechnung der Gewichte und Ergebnisse der Netzknoten. Dennoch verbrauchen sie für solche Berechnungen eine enorme Menge an Energie zwischen 0,77 und 1,47 MJ [2], was einem Stromverbrauch von mehr als 100 kW entspricht (das entspricht einem kleinen Kraftwerk!).   Dies ist vor allem auf das so genannten von-Neumann-Bottleneck zurückzuführen, der den Datentransfer zwischen Speicher und Rechenelement beschreibt [3]. Im Vergleich dazu verbraucht das menschliche Gehirn nur 20W und ist damit sogar in der Lage, eine Vielzahl an verschiedenen Aufgaben zu lösen.

Aber auch die Berechnung der Ergebnisse in Silizium erfährt nicht mehr die gleichen Verbesserungen wie in den Jahren zuvor, da das Mooresche Gesetz eine Art Sättigung zu erreichen scheint.

Da der LSE viel im Bereich der intelligenten Sensorsysteme forscht, ist es das Ziel, neuronale Netze in diesen Systemen auf eine sehr energieeffiziente Weise einzusetzen. Ähnlich zu den menschlichen Sensorsystemen/Sinnesorgane (z.B. Nase, Zunge, Haut) sind diese Sensoren ziemlich ungenau in ihren Ausgangssignalen. Grafik 2 zeigt das menschliche Sensorsystem der Sinnesorgane, nämlich Augen (Visuelle Umgebung), Ohren (Geräusche), Nase (Geruch), Haut (Druck, Temperatur) und die Zunge (Geschmack).

Nehmen wir die menschliche Zunge als Beispiel: Wir können Süße, Säure und Temperatur relativ gut erkennen, aber die Auflösung, wie süß sie ist, ist eher gering (was ganz im Gegensatz zu digitalen Sensorsystemen mit einer Auflösung von oft mehr als 10 Bit steht). Andererseits nutzt das menschliche Nervensystem/Gehirn die Korrelation aller Sensorsignale, um die wichtigsten Informationen zu kategorisieren: Schmeckt es "gut" oder "schlecht", ist es heiß (damit wir uns nicht verbrennen) oder ist es sogar giftig (gefährlich)? Hierfür sollten also rekonfigurierbare und adaptive Informationsverarbeitungssysteme eingesetzt werden.

 

Um den Vergleich mit der Natur fortzuführen, entwickeln wir die neuromorphen Schaltungen auf dem Konzept von Spiking Neural Networks (SNN) mit Speicherelementen als Synapsen und einem Schwellwert-Detektor als Neuron. Solche Systeme zeigen das Potential, weniger Energie zu verbrauchen als ihre Vorgänger (ANN).

Außerdem könnten diese intelligenten Sensorsysteme zur dezentralen Informationserfassung eingesetzt werden, wobei nur die relevanten Teile übertragen werden, was eine Menge Ressourcen, Bandbreite und Energie sparen würde.

Das Energieproblem für neuronale Netze kann in zwei Hauptoperationen unterteilt werden:

  • Vorhersage: Feed-forward-Ausbreitung der Signale durch das Netz mit einer Vorhersage am Ausgang
  • Lernen: Anpassen der Gewichte des Netzes, um den Verlust der Vorhersagen zu minimieren.

Die meisten Systeme konzentrieren sich auf die Inferenz mit einem vortrainierten Netz (Offline-Lernen), das oft den Backpropagation-Algorithmus zum Lernen verwendet, andere bauen auch neuromorphe HW, die Online-Lernen ausführen können. Daher versucht der Lehrstuhl auch, analoge HW zu bauen, die unüberwachtes Lernen (Unsupervised Learning) auf dem Chip ausführen können.

[1] He, K., et al. Deep residual learning for image recognition. in Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[2] 2.   Castro, F.M., et al., Energy‐based tuning of convolutional neural networks on multi‐GPUs. Concurrency and Computation: Practice and Experience, 2019. 31(21): p. e4786.

[3] Sze, V., et al., Efficient processing of deep neural networks: A tutorial and survey. Proceedings of the IEEE, 2017. 105(12): p. 2295-2329.

[4] Subbulakshmi Radhakrishnan, Shiva, et al. "A biomimetic neural encoder for spiking neural network." Nature communications 12.1 (2021): 1-10.

[5] Gutiérrez-Capitán, Manuel, et al. "Hybrid electronic tongues applied to the quality control of wines." Journal of Sensors 2014 (2014).