Kostas Tsampazis


Talks

Deepbots: An easy-to-use Deep Reinforcement Learning framework for robotics

Τα τελευταία χρόνια παρατηρείται μια γενικευμένη αύξηση της εφαρμογής Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning) στην ρομποτική με στόχο την διεκπεραίωση δύσκολων εργασιών. Την ίδια στιγμή, παρατηρείται και μια παράλληλη βελτίωση των προσομοιωτών ρομποτικής, που ενισχύει περαιτέρω την έρευνα στο πεδίο της εφαρμογής αυτών των αλγορίθμων. Εντούτοις, η εφαρμογή αλγορίθμων Βαθιάς Ενισχυτικής Μάθησης (DRL) σε τέτοιου είδους προσομοιωτές συχνά αποτελεί μια χρονοβόρα και δύσκολη διαδικασία καθώς απαιτεί την ανάπτυξη της διεπαφής μεταξύ του προσομοιωτή και των αλγορίθμων, με αποτέλεσμα να περιορίζει σημαντικά την χρήση τους από ερευνητές και τους φοιτητές. Για τον λόγο αυτό αναπτύξαμε μια open-source βιβλιοθήκη για python προκειμένου να ξεπεραστούν οι παραπάνω περιορισμοί. Πιο συγκεκριμένα, το παρόν project αποτελεί ένα εύκολο στην χρήση framework που προσαρμόζει την καθιερωμένη DRL διεπαφή που χρησιμοποιείται από τους ερευνητές, OpenAI gym interface, με τον state-of-the-art και open-source προσομοιωτή Webots προκειμένου να εγκαθιδρύσει έναν τρόπο στην εφαρμογή DRL αλγορίθμων σε πληθώρα ρομποτικών σεναρίων. Στόχος του deepbots είναι να ενσωματώσει τις λεπτομέρειες της διεπαφής του Webots μειώνοντας τον κόπο των ερευνητών στο να αναπτύξουν DRL αλγορίθμους σε τέτοια περιβάλλοντα. Τέλος, στόχος μας είναι να δημιουργήσουμε ένα οικοσύστημα ερευνητών και φοιτητών γύρω από την δημιουργία και τον πειραματισμό τεχνικών βαθιάς ενισχυτικής μάθησης στην ρομποτική.