Stockholms universitet

Forskningsprojekt Federerad förstärkningsinlärning: algoritmer och teoretiska grunder

Federerad förstärkningsinlärning är ett forskningsområde som håller på att växa fram. Det handlar om att flera AI-system lär sig tillsammans – utan att dela sina privata data. I detta projekt undersöker vi hur skalbara system kan byggas.

Trafik i Hornstull med bilar, bussar, cyklar och gångtrafikanter.
Foto: Roland Magnusson/Mostphotos.

Projektet undersöker hur federerad förstärkningsinlärning (Federated Reinforcement Learning, FedRL, på engelska) kan möjliggöra skalbar och effektiv inlärning i system med flera agenter. Vi vidareutvecklar teori och algoritmer, med tillämpningar i både homogena och heterogena miljöer.

Tidigare forskningsframsteg inom förstärkningsinlärning för enskilda agenter har banat väg för betydande AI-innovationer. Men när det gäller system med flera agenter finns flera utmaningar.

Syftet med vårt projekt är att bygga vidare på de senaste framstegen inom federerad inlärning. Vi kommer att identifiera och utnyttja unika strukturer i FedRL-upplägg som har potential för skalbara lösningar i scenarier med flera agenter. Vårt mål är att vidareutveckla de matematiska och algoritmiska grunderna för FedRL och tänja på gränserna för detta växande forskningsfält.

Utifrån denna vision delas projektet in i fyra delar (work packages, WP, på engelska):

  • WP-A utvecklar algoritmer och teori för homogena agentmiljöer, och lägger grunden för skalbara FedRL-system.
  • WP-B undersöker hur heterogenitet mellan agenter påverkar systemen, vilket är avgörande för att anpassa FedRL till olika verkliga tillämpningar.
  • WP-C utvecklar kommunikationseffektiva strategier och adresserar en av de stora utmaningarna inom federerade miljöer.
  • WP-D tillämpar dessa innovationer i verkliga system för att validera effektivitet och tillämpbarhet av FedRL-principerna.

Tillsammans utgör dessa delar en samlad strategi för att göra viktiga framsteg inom FedRL-området, och skapa förutsättningar för banbrytande forskning och tillämpning.

Projektmedlemmar

Projektansvariga

Sindri Magnússon

Universitetslektor, docent

Institutionen för data- och systemvetenskap
Sindri

researchProjectPageLayout