Studentische Hilfskraft Im Bereich Adaptability of

Die Fraunhofer-Gesellschaft betreibt in Deutschland derzeit 76 Institute und Forschungseinrichtungen und ist die weltweit führende Organisation für anwendungsorientierte Forschung. Rund 30 000 Mitarbeitende erarbeiten das jährliche Forschungsvolumen von 2,9 Milliarden Euro.

Im Zuge der Energiewende und der damit einhergehenden Transformation des Energiesystems hin zu erneuerbaren Energien besteht erhöhter Bedarf nach intelligenten und flexiblen Möglichkeiten zur Automatisierung des Energiehandels und der Netzsteuerung. Stark fluktuierende Energiequellen wie Sonne und Wind sorgen für eine zunehmende Anzahl an Markt
- bzw. Netzteilnehmern und somit für eine steigende Komplexität von Netzsteuerung bzw. dem automatisierten Energiehandel. Dadurch sind herkömmliche Machine-Learning Verfahren diesen Aufgaben nicht mehr in vollem Umfang gewachsen.
Deep Reinforcement Learning (DRL) bietet dagegen eine Klasse von Frameworks, die durch die Kombination tiefer neuronaler Netze mit dem Konzept des verstärkenden Lernens auch komplexere Strategien erlernen können. In hochkomplexen Spielen wie Schach oder Go und sogar in einem Spiel mit unzähligen stark dynamischen Aktionsmöglichkeiten wie Dota2 erreichten verschiedene Deep Reinforcement Learning Algorithmen bereits ein übermenschliches Level.
Aus diesem Grund sind RL Agenten auch in den Bereichen Energiehandel und Netzsteuerung ein aktueller Forschungsschwerpunkt.

Der Einsatz von DRL im Energiekontext führt jedoch neben dem Mangel an und der gleichzeitigen Notwendigkeit von (bisher nicht gegebener) Erklärbarkeit der algorithmischen Entscheidungen noch zu zahlreichen anderen Herausforderungen.
Eine dieser Herausforderungen ist die große Bedeutung der Anpassungsfähigkeit eines DRL Agenten auf sich verändernde externe Bedingungen. Der Energiemarkt und die Stromnetze hängen von vielen verschiedenen, stark dynamischen und meist externen Faktoren ab, weshalb ein DRL Agent schnell und effizient in der Lage sein muss, weitreichende Änderungen zu erkennen und seine Strategie demgemäß anzupassen.
Klassische RL Methoden erfordern an einem solchen „Changepoint“ ein vollständig neues Training und damit einen (neuerlichen) hohen rechnerischen und zeitlichen Aufwand. Verfahren des Transfer
- und/oder Metalearnings sollen hier Abhilfe schaffen.

Das Konzept des Transferlearnings ist dem Konzept menschlicher Adaption nachempfunden. Eine Person, die bereits fortgeschrittene Skills auf dem Skateboard entwickelt hat, hat stets einen Startvorteil gegenüber anderen Menschen, wenn es gilt, das Skifahren zu erlernen.
Auch für neuronale Netze ist ein solcher Wissenstransfer möglich. Interpretiert man die verschiedenen Schichten eines neuronalen Netzes als unterschiedlich detaillierte Wahrnehmungsebenen, so können die „input-nahen“ Schichten auf einen ähnlichen Task vortrainiert und schließlich im gewünschten speziellen Anwendungsgebiet fine-getuned werden.
Auf dieser Idee beruht auch das Meta-Learning. Hierbei geht es um das allgemeine Erlernen unterschiedlicher, aber zugleich ähnlicher Tasks. Während es sich bei den oben genannten Beispielen des Skateboard
- bzw. Skifahrens um unterschiedliche Aufgaben handelt, ist die abstrakte Aufgabe durchaus sehr ähnlich: Beide Sportarten erfordern z.B. eine gute Balance und die Verlagerung des eigenen Körpergewichtes zur Steuerung.

**Was Sie bei uns tun**

Im Rahmen der angestrebten Zusammenarbeit werden Sie je nach Ihren Interessen und Fähigkeiten bei der
- Recherche,
- Modellierung,
- Implementierung und/oder
- Visualisierung und ggf. Publikation von Forschungsergebnissen

im Bereich des Meta
- bzw. Transfer-Learnings im Energiehandel und der Netzsteuerung unterstützen.

**Was Sie mitbringen**
- Studium der Mathematik, Informatik, Physik o. ä.
- Gute Kenntnisse der Programmiersprache Python
- Gute Kenntnisse im Bereich des Maschinellen Lernens
- Kenntnisse eines Deep Learning Frameworks (z. B. PyTorch, TensorFlow, PyTorch Lightning oder Keras) sind wünschenswert
- Hinreichend gute Kenntnisse der englischen Sprache (mündlich sowie schriftlich)
- Wir legen besonderen Wert auf Eigeninitiative und eine selbstständige Arbeitsweise
- Kommunikationsfähigkeit und Teamfähigkeit
- Die Bereitschaft zum Arbeiten vor Ort an mindestens einem Tag der Woche

**Was Sie erwarten können**

Freuen Sie sich auf ein kooperatives Arbeiten in einem anwendungsgetriebenen, interdisziplinären und dynamischen Umfeld und auf eine Tätigkeit, die einen direkten Impact auf wichtige reale Probleme hat.

Aus der Hilfstätigkeit kann außerdem im weiteren Verlauf eine Bachelor
- bzw. Masterthesis entstehen.

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen - unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleic