2020-11-22, 10:00–10:30, Αίθουσα 1
Τα τελευταία χρόνια παρατηρείται μια γενικευμένη αύξηση της εφαρμογής Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning) στην ρομποτική με στόχο την διεκπεραίωση δύσκολων εργασιών. Την ίδια στιγμή, παρατηρείται και μια παράλληλη βελτίωση των προσομοιωτών ρομποτικής, που ενισχύει περαιτέρω την έρευνα στο πεδίο της εφαρμογής αυτών των αλγορίθμων. Εντούτοις, η εφαρμογή αλγορίθμων Βαθιάς Ενισχυτικής Μάθησης (DRL) σε τέτοιου είδους προσομοιωτές συχνά αποτελεί μια χρονοβόρα και δύσκολη διαδικασία καθώς απαιτεί την ανάπτυξη της διεπαφής μεταξύ του προσομοιωτή και των αλγορίθμων, με αποτέλεσμα να περιορίζει σημαντικά την χρήση τους από ερευνητές και τους φοιτητές. Για τον λόγο αυτό αναπτύξαμε μια open-source βιβλιοθήκη για python προκειμένου να ξεπεραστούν οι παραπάνω περιορισμοί. Πιο συγκεκριμένα, το παρόν project αποτελεί ένα εύκολο στην χρήση framework που προσαρμόζει την καθιερωμένη DRL διεπαφή που χρησιμοποιείται από τους ερευνητές, OpenAI gym interface, με τον state-of-the-art και open-source προσομοιωτή Webots προκειμένου να εγκαθιδρύσει έναν τρόπο στην εφαρμογή DRL αλγορίθμων σε πληθώρα ρομποτικών σεναρίων. Στόχος του deepbots είναι να ενσωματώσει τις λεπτομέρειες της διεπαφής του Webots μειώνοντας τον κόπο των ερευνητών στο να αναπτύξουν DRL αλγορίθμους σε τέτοια περιβάλλοντα. Τέλος, στόχος μας είναι να δημιουργήσουμε ένα οικοσύστημα ερευνητών και φοιτητών γύρω από την δημιουργία και τον πειραματισμό τεχνικών βαθιάς ενισχυτικής μάθησης στην ρομποτική.
To deepbots είναι ένα ανοιχτού κώδικα project που στοχεύει: (α) να διευκολύνει και καθοδηγήσει την ανάπτυξη gym-style περιβαλλόντων σύμφωνα με τις ανάγκες των χρηστών (β) να δημιουργήσει μια διεπαφή μεταξύ των ρομποτικών σεναρίων του Webots και των DRL αλγορίθμων, κρύβοντας τις λεπτομέρειες της διεπαφής απο τον χρήστη προκειμένου να μπορεί να επικεντρωθεί στις εργασίες του. Επιπλέων, πληθώρα DRL πρακτόρων έχουν ήδη υλοποιηθεί και μπορούν να χρησημοποιηθούν out-of-the-box με το Webots. Τέλος, στοχεύει στην δημιουργία ενός open-source οικοσυστήματος για τον διαμοιρασμό και την συνεισφορά ρομποτικών σεναρίων και αλγορίθμων που μπορούν να χρησιμοποιηθούν για benchmarking.
Μαζί με τον deepbots έρχεται και το deepworlds το οποίο είναι ένα αποθετήριο ρομποτικών σεναρίων και αλγορίθμων. Με αυτόν τον τρόπο ερευνητές και φοιτητές μπορούν να δοκιμάσουν και να αξιολογήσουν τους αλγορίθμους, τόσο του δικούς τους όσο και της κοινότητας, σε διαφορετικά ρομποτικά σενάρια καθώς και να τα συνεισφέρουν στην κοινότητα. Από την άλλη, δίνεται η δυνατότητα ανάπτυξης ρομποτικών σεναρίων με το Webots κάνοντας την χρήση του deepbots και την προσθήκη τους στο deepworlds αποθετήριο. Επιπλέον, μπορείτε να βρείτε σειρά από παραδείγματα τα οποία έχουν επιλυθεί με well-established DRL αλγορίθμους. Τέλος υπάρχουν εκτεταμένα tutorials για την αρχάριους χρήστες.