E&M exklusiv Newsletter:
E&M gratis testen:
Energie & Management > IT - Warum bei der KI weniger oft mehr ist
Bild: Fotolia, monsitj
IT

Warum bei der KI weniger oft mehr ist

Künstliche Intelligenz kommt in immer mehr Anwendungen auch in der Energiebranche zum Einsatz. Den hohen Energieverbrauch von KI will die TU Graz mit einem neuen Algorithmus deckeln.
Viele fortschrittliche Anwendungen der KI erfordern sehr große neuronale Netze. Sie bestehen aus hunderten Millionen von künstlichen Neuronen, die in mehreren hundert Schichten angeordnet sind. Diese "tiefen" neuronalen Netze verbrauchen im Computer sehr viel Energie.

Besonders energieintensiv sind jene neuronalen Netze, die in der Bilderkennung eingesetzt werden, da sie in jedem Zeittakt sehr viele Zahlenwerte mit großer Genauigkeit von einer Neuronenschicht zur nächsten senden müssen.

Der Informatiker Wolfgang Maass hat mit seinem Doktoranden Christoph Stöckl nun eine Design-Methode für neuronale Netzwerke gefunden, die den Weg zu einer energieeffizienteren KI-Hardware ebnet. Die beiden Forschenden des Instituts für Grundlagen der Informationsverarbeitung der TU Graz haben neuronale Netzwerke derart optimiert, dass die künstlichen Neuronen – ähnlich wie jene im menschlichen Gehirn – nur relativ selten Signale aussenden müssen und diese Signale sehr einfach sind.
 
 
Gehirn ist Supercomputer mit enormer Energieeffizienz

Die nachgewiesene Klassifizierungsgenauigkeit von Bildern mit diesem Design kommt trotzdem sehr nahe an den aktuellen Stand der Technik derzeitiger Bildklassifizierungstools heran. Maass und Stöckl ließen sich dabei von der Arbeitsweise des menschlichen Gehirns inspirieren. Dieses verarbeitet mehrere Billionen Rechenoperationen in der Sekunde und hat damit zwar die Rechenleistung eines Supercomputers, braucht mit 20 Watt aber nur ein Millionstel von dessen Energie.

Möglich wird dieser geringe Energieverbrauch durch eine Kommunikation zwischen den Neuronen mittels sehr einfacher, elektrischer Impulse, sogenannter Spikes. Die Information wird dabei nicht nur durch die Anzahl der Spikes, sondern auch durch ihre zeitlichen variablen Muster kodiert. „Man kann sich das vorstellen wie einen Morse-Code. Auch die Pausen zwischen den Signalen übertragen Informationen“, erklärt Maass.

Dass eine Spike-basierte Hardware den Energieverbrauch von neuronalen Netzen reduzieren kann, ist nicht neu. Dies konnte aber bisher nicht für die sehr tiefen und großen neuronalen Netze realisiert werden, die man für wirklich gute Bildklassifikation benötigt.

In der Design-Methode von Maass und Stöckl kommt es nun bei der Informationsübertagung nicht nur darauf an, wie viele Spikes ein Neuron aussendet, sondern auch, wann das Neuron diese Spikes aussendet. Die zeitlichen Abstände zwischen den Spikes können dabei sehr viel zusätzliche Information übertragen. „Wir zeigen, dass mit wenigen Spikes – in unseren Simulationen sind es durchschnittlich zwei – genauso viel Informationen zwischen den Prozessoren vermittelt werden können wie in energieaufwendiger Hardware“, so Maass.

​Spike-basierte Kommunikation bereits erprobt

Die Spike-basierte Kommunikation nutzte Maass bereits erfolgreich in einem anderen Kontext, nämlich für einen neuen maschinellen Lernalgorithmus namens "e-prop"

Eigentlich sind Spike-basierte neuronale Netze für das maschinelle Lernen eher schlecht geeignet, weil es aufgrund der seltenen Impulse sehr viel längere Beobachtungen braucht, um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.

Bei vielen der derzeit eingesetzten Machine-Learning-Techniken werden deswegen alle Netzwerkaktivitäten zentral und offline gespeichert, um über die einzelnen Lernschritte nachvollziehen zu können, wie die Verbindungen während der Berechnungen benutzt wurden. Dies erfordert aber einen ständigen Datentransfer zwischen dem Speicher und den Prozessoren. Das ist eine der Hauptursachen für den großen Energieverbrauch gegenwärtiger KI-Implementationen.

E-Prop hingegen funktioniert vollkommen online und erfordert auch im realen Betrieb keinen separaten Speicher – das Lernen wird dadurch viel energieeffizienter. Geschafft haben das Maass und seine Kollegen mittels einer vom Gehirn abgeschauten dezentralen Methode, bei der jedes Neuron in einer sogenannten Ereignisspur dokumentiert, wann seine Verbindungen benutzt wurden.

Freitag, 12.03.2021, 14:14 Uhr
Peter Koller
Energie & Management > IT - Warum bei der KI weniger oft mehr ist
Bild: Fotolia, monsitj
IT
Warum bei der KI weniger oft mehr ist
Künstliche Intelligenz kommt in immer mehr Anwendungen auch in der Energiebranche zum Einsatz. Den hohen Energieverbrauch von KI will die TU Graz mit einem neuen Algorithmus deckeln.
Viele fortschrittliche Anwendungen der KI erfordern sehr große neuronale Netze. Sie bestehen aus hunderten Millionen von künstlichen Neuronen, die in mehreren hundert Schichten angeordnet sind. Diese "tiefen" neuronalen Netze verbrauchen im Computer sehr viel Energie.

Besonders energieintensiv sind jene neuronalen Netze, die in der Bilderkennung eingesetzt werden, da sie in jedem Zeittakt sehr viele Zahlenwerte mit großer Genauigkeit von einer Neuronenschicht zur nächsten senden müssen.

Der Informatiker Wolfgang Maass hat mit seinem Doktoranden Christoph Stöckl nun eine Design-Methode für neuronale Netzwerke gefunden, die den Weg zu einer energieeffizienteren KI-Hardware ebnet. Die beiden Forschenden des Instituts für Grundlagen der Informationsverarbeitung der TU Graz haben neuronale Netzwerke derart optimiert, dass die künstlichen Neuronen – ähnlich wie jene im menschlichen Gehirn – nur relativ selten Signale aussenden müssen und diese Signale sehr einfach sind.
 
 
Gehirn ist Supercomputer mit enormer Energieeffizienz

Die nachgewiesene Klassifizierungsgenauigkeit von Bildern mit diesem Design kommt trotzdem sehr nahe an den aktuellen Stand der Technik derzeitiger Bildklassifizierungstools heran. Maass und Stöckl ließen sich dabei von der Arbeitsweise des menschlichen Gehirns inspirieren. Dieses verarbeitet mehrere Billionen Rechenoperationen in der Sekunde und hat damit zwar die Rechenleistung eines Supercomputers, braucht mit 20 Watt aber nur ein Millionstel von dessen Energie.

Möglich wird dieser geringe Energieverbrauch durch eine Kommunikation zwischen den Neuronen mittels sehr einfacher, elektrischer Impulse, sogenannter Spikes. Die Information wird dabei nicht nur durch die Anzahl der Spikes, sondern auch durch ihre zeitlichen variablen Muster kodiert. „Man kann sich das vorstellen wie einen Morse-Code. Auch die Pausen zwischen den Signalen übertragen Informationen“, erklärt Maass.

Dass eine Spike-basierte Hardware den Energieverbrauch von neuronalen Netzen reduzieren kann, ist nicht neu. Dies konnte aber bisher nicht für die sehr tiefen und großen neuronalen Netze realisiert werden, die man für wirklich gute Bildklassifikation benötigt.

In der Design-Methode von Maass und Stöckl kommt es nun bei der Informationsübertagung nicht nur darauf an, wie viele Spikes ein Neuron aussendet, sondern auch, wann das Neuron diese Spikes aussendet. Die zeitlichen Abstände zwischen den Spikes können dabei sehr viel zusätzliche Information übertragen. „Wir zeigen, dass mit wenigen Spikes – in unseren Simulationen sind es durchschnittlich zwei – genauso viel Informationen zwischen den Prozessoren vermittelt werden können wie in energieaufwendiger Hardware“, so Maass.

​Spike-basierte Kommunikation bereits erprobt

Die Spike-basierte Kommunikation nutzte Maass bereits erfolgreich in einem anderen Kontext, nämlich für einen neuen maschinellen Lernalgorithmus namens "e-prop"

Eigentlich sind Spike-basierte neuronale Netze für das maschinelle Lernen eher schlecht geeignet, weil es aufgrund der seltenen Impulse sehr viel längere Beobachtungen braucht, um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.

Bei vielen der derzeit eingesetzten Machine-Learning-Techniken werden deswegen alle Netzwerkaktivitäten zentral und offline gespeichert, um über die einzelnen Lernschritte nachvollziehen zu können, wie die Verbindungen während der Berechnungen benutzt wurden. Dies erfordert aber einen ständigen Datentransfer zwischen dem Speicher und den Prozessoren. Das ist eine der Hauptursachen für den großen Energieverbrauch gegenwärtiger KI-Implementationen.

E-Prop hingegen funktioniert vollkommen online und erfordert auch im realen Betrieb keinen separaten Speicher – das Lernen wird dadurch viel energieeffizienter. Geschafft haben das Maass und seine Kollegen mittels einer vom Gehirn abgeschauten dezentralen Methode, bei der jedes Neuron in einer sogenannten Ereignisspur dokumentiert, wann seine Verbindungen benutzt wurden.

Freitag, 12.03.2021, 14:14 Uhr
Peter Koller

Haben Sie Interesse an Content oder Mehrfachzugängen für Ihr Unternehmen?

Sprechen Sie uns an, wenn Sie Fragen zur Nutzung von E&M-Inhalten oder den verschiedenen Abonnement-Paketen haben.
Das E&M-Vertriebsteam freut sich unter Tel. 08152 / 93 11-77 oder unter vertrieb@energie-und-management.de über Ihre Anfrage.