Στη μηχανική μάθηση, ένα perceptron είναι ένας εποπτευόμενος αλγόριθμος εκμάθησης για δυαδικούς ταξινομητές. Συχνά ονομάζεται επίσης και perceptron. Ένας δυαδικός ταξινομητής είναι μια συνάρτηση που μπορεί να αποφασίσει εάν μια είσοδος, που αντιπροσωπεύεται από ένα διάνυσμα αριθμών, ανήκει σε κάποια συγκεκριμένη κλάση. Αυτός είναι ένας τύπος γραμμικού ταξινομητή, δηλαδή ένας αλγόριθμος ταξινόμησης που κάνει τις προβλέψεις του με βάση μια γραμμική συνάρτηση πρόβλεψης που συνδυάζει ένα σύνολο βαρών με ένα διάνυσμα χαρακτηριστικών.
Τα τελευταία χρόνια, τα τεχνητά νευρωνικά δίκτυα έχουν κερδίσει την προσοχή λόγω της προόδου στη βαθιά μάθηση. Τι είναι όμως ένα τεχνητό νευρωνικό δίκτυο και από τι αποτελείται;
Γνωρίστε το Perceptron
Σε αυτό το άρθρο, θα ρίξουμε μια γρήγορη ματιά στα τεχνητά νευρωνικά δίκτυα γενικά, μετά θα δούμε έναν μεμονωμένο νευρώνα και τέλος (αυτό είναι το μέρος κωδικοποίησης) θα πάρουμε την πιο βασική έκδοση ενός τεχνητού νευρώνα, το perceptron, και ταξινομήστε τα σημεία του σεαεροπλάνο.
Έχετε αναρωτηθεί ποτέ γιατί υπάρχουν εργασίες που είναι τόσο εύκολες για κάθε άτομο, αλλά απίστευτα δύσκολες για τους υπολογιστές; Τα τεχνητά νευρωνικά δίκτυα (ANN για συντομία) εμπνεύστηκαν από το ανθρώπινο κεντρικό νευρικό σύστημα. Όπως το βιολογικό τους αντίστοιχο, τα ANN είναι χτισμένα σε απλά στοιχεία επεξεργασίας σήματος που συνδυάζονται σε ένα μεγάλο πλέγμα.
Τα νευρωνικά δίκτυα πρέπει να μάθουν
Σε αντίθεση με τους παραδοσιακούς αλγόριθμους, τα νευρωνικά δίκτυα δεν μπορούν να "προγραμματιστούν" ή "συντονιστούν" ώστε να λειτουργούν όπως προβλέπεται. Ακριβώς όπως ο ανθρώπινος εγκέφαλος, πρέπει να μάθουν να ολοκληρώνουν την εργασία. Σε γενικές γραμμές, υπάρχουν τρεις στρατηγικές μάθησης.
Ο ευκολότερος τρόπος μπορεί να χρησιμοποιηθεί εάν υπάρχει μια δοκιμαστική περίπτωση (αρκετά μεγάλη) με γνωστά αποτελέσματα. Στη συνέχεια η εκπαίδευση έχει ως εξής: επεξεργασία ενός συνόλου δεδομένων. Συγκρίνετε το αποτέλεσμα με το γνωστό αποτέλεσμα. Ρυθμίστε το δίκτυο και δοκιμάστε ξανά. Αυτή είναι η στρατηγική μάθησης που θα χρησιμοποιήσουμε εδώ.
Μάθηση χωρίς επίβλεψη
Χρήσιμο εάν δεν υπάρχουν διαθέσιμα δεδομένα δοκιμής και εάν είναι δυνατό να εξαχθεί κάποια συνάρτηση κόστους από την επιθυμητή συμπεριφορά. Η συνάρτηση κόστους λέει στο νευρωνικό δίκτυο πόσο απέχει από τον στόχο. Το δίκτυο μπορεί στη συνέχεια να προσαρμόσει τις παραμέτρους του αμέσως, δουλεύοντας με πραγματικά δεδομένα.
Ενισχυμένη μάθηση
Η μέθοδος «καρότο και ραβδί». Μπορεί να χρησιμοποιηθεί εάν το νευρωνικό δίκτυο παράγει μια συνεχή δράση. Με τον καιρό, το δίκτυο μαθαίνει να προτιμά τις σωστές ενέργειες και να αποφεύγει τις λάθος.
Εντάξει, τώρα γνωρίζουμε λίγα πράγματαφύση των τεχνητών νευρωνικών δικτύων, αλλά από τι ακριβώς αποτελούνται; Τι θα δούμε αν ανοίξουμε το καπάκι και κοιτάξουμε μέσα;
Οι νευρώνες είναι τα δομικά στοιχεία των νευρωνικών δικτύων. Το κύριο συστατικό κάθε τεχνητού νευρωνικού δικτύου είναι ένας τεχνητός νευρώνας. Όχι μόνο έχουν πάρει το όνομά τους από τους βιολογικούς ομολόγους τους, αλλά έχουν επίσης διαμορφωθεί σύμφωνα με τη συμπεριφορά των νευρώνων στον εγκέφαλό μας.
Βιολογία εναντίον τεχνολογίας
Ακριβώς όπως ένας βιολογικός νευρώνας έχει δενδρίτες για να λαμβάνει σήματα, ένα κυτταρικό σώμα για να τα επεξεργάζεται και έναν άξονα για να στέλνει σήματα σε άλλους νευρώνες, ένας τεχνητός νευρώνας έχει πολλαπλά κανάλια εισόδου, ένα στάδιο επεξεργασίας και μία έξοδο που μπορεί διακλαδίζεται σε πολλούς άλλους. τεχνητούς νευρώνες.
Μπορούμε να κάνουμε κάτι χρήσιμο με ένα μόνο perceptron; Υπάρχει μια κατηγορία προβλημάτων που μπορεί να λύσει ένα μόνο perceptron. Θεωρήστε το διάνυσμα εισόδου ως συντεταγμένες σημείου. Για ένα διάνυσμα με n-στοιχεία, αυτό το σημείο θα ζει σε n-διάστατο χώρο. Για να απλοποιήσουμε τη ζωή (και τον παρακάτω κώδικα), ας υποθέσουμε ότι είναι 2D. Σαν ένα κομμάτι χαρτί.
Στη συνέχεια, φανταστείτε ότι σχεδιάζουμε μερικά τυχαία σημεία σε αυτό το επίπεδο και τα χωρίζουμε σε δύο σετ σχεδιάζοντας μια ευθεία γραμμή στο χαρτί. Αυτή η γραμμή χωρίζει τα σημεία σε δύο σετ, ένα πάνω και ένα κάτω από τη γραμμή. Στη συνέχεια, τα δύο σύνολα ονομάζονται γραμμικά διαχωρίσιμα.
Ένα perceptron, όσο απλό και αν φαίνεται, μπορεί να γνωρίζει πού βρίσκεται αυτή η γραμμή και όταν τελειώσει την προπόνηση, μπορεί να καθορίσει εάν ένα δεδομένο σημείο βρίσκεται πάνω ή κάτω από αυτήν τη γραμμή.
Ιστορίαεφευρέσεις
Ο αλγόριθμος αυτής της μεθόδου επινοήθηκε το 1957 στο Cornell Aviation Laboratory από τον Frank Rosenblatt (συχνά το όνομά του), που χρηματοδοτήθηκε από το Γραφείο Ναυτικών Ερευνών των ΗΠΑ. Το perceptron προοριζόταν να είναι μηχανή, όχι πρόγραμμα, και παρόλο που η πρώτη του εφαρμογή ήταν σε λογισμικό για το IBM 704, στη συνέχεια εφαρμόστηκε σε προσαρμοσμένο υλικό ως "Mark 1 Perceptron". Αυτό το μηχάνημα σχεδιάστηκε για αναγνώριση εικόνας: είχε μια σειρά από 400 φωτοκύτταρα τυχαία συνδεδεμένα με νευρώνες. Τα βάρη κωδικοποιήθηκαν σε ποτενσιόμετρα και η ενημέρωση βάρους κατά τη διάρκεια της προπόνησης έγινε με ηλεκτροκινητήρες.
Σε συνέντευξη Τύπου που διοργάνωσε το Πολεμικό Ναυτικό των ΗΠΑ το 1958, ο Rosenblatt έκανε δηλώσεις σχετικά με το perceptron που προκάλεσε έντονες συζητήσεις μεταξύ της νεαρής κοινότητας AI. με βάση τους ισχυρισμούς του Rosenblatt, οι New York Times ανέφεραν ότι το perceptron είναι "ο εμβρυϊκός ηλεκτρονικός υπολογιστής που το Πολεμικό Ναυτικό αναμένει να μπορεί να περπατά, να μιλά, να βλέπει, να γράφει, να αναπαράγει τον εαυτό του και να έχει επίγνωση της ύπαρξής του."
Περαιτέρω εξελίξεις
Αν και το perceptron αρχικά φαινόταν πολλά υποσχόμενο, αποδείχθηκε γρήγορα ότι τα perceptron δεν μπορούσαν να εκπαιδευτούν ώστε να αναγνωρίζουν πολλές κατηγορίες προτύπων. Αυτό οδήγησε σε στασιμότητα στον ερευνητικό τομέα με τα νευρωνικά δίκτυα perceptron για πολλά χρόνια προτού αναγνωριστεί ότι ένα νευρωνικό δίκτυο τροφοδοσίας με δύο ή περισσότερα στρώματα (επίσης αποκαλούμενοπολυστρωματικό perceptron) είχε πολύ μεγαλύτερη επεξεργαστική ισχύ από τα perceptron μονής στιβάδας (ονομάζονται επίσης perceptrons μονής στιβάδας). Ένα perceptron μονής στρώσης είναι ικανό μόνο να μελετά γραμμικά διαχωρίσιμες δομές. Το 1969, το διάσημο βιβλίο "Perceptrons" των Marvin Minsky και Seymour Papert έδειξε ότι αυτές οι κατηγορίες δικτύων δεν μπορούσαν να μάθουν τη συνάρτηση XOR. Ωστόσο, αυτό δεν ισχύει για συναρτήσεις μη γραμμικής ταξινόμησης που μπορούν να χρησιμοποιηθούν σε ένα perceptron μονής στρώσης.
Η χρήση τέτοιων συναρτήσεων επεκτείνει τις δυνατότητες του perceptron, συμπεριλαμβανομένης της υλοποίησης της συνάρτησης XOR. Συχνά θεωρείται (λανθασμένα) ότι υπέθεσαν επίσης ότι ένα παρόμοιο αποτέλεσμα θα ίσχυε για ένα πολυστρωματικό δίκτυο perceptron. Ωστόσο, αυτό δεν συμβαίνει, καθώς τόσο ο Minsky όσο και ο Papert γνώριζαν ήδη ότι τα πολυστρωματικά perceptron ήταν ικανά να παράγουν μια συνάρτηση XOR. Τρία χρόνια αργότερα, ο Steven Grossberg δημοσίευσε μια σειρά εργασιών που παρουσίαζαν δίκτυα ικανά να μοντελοποιούν διαφορικές λειτουργίες, λειτουργίες βελτίωσης αντίθεσης και λειτουργίες XOR.
Έργα δημοσιεύτηκαν το 1972 και το 1973. Ωστόσο, το συχνά παραβλέπεται κείμενο Minsky/Papert προκάλεσε σημαντική μείωση του ενδιαφέροντος και της χρηματοδότησης της έρευνας με το perceptron του νευρωνικού δικτύου. Πέρασαν άλλα δέκα χρόνια προτού αναβιώσει η έρευνα νευρωνικών δικτύων τη δεκαετία του 1980.
Λειτουργίες
Ο Αλγόριθμος Πυρήνα Perceptron εισήχθη το 1964 από τους Yzerman et al. Mori και Rostamizadeh (2013), οι οποίοι επεκτείνουν τα προηγούμενα αποτελέσματα και δίνουν νέα όρια L1.
Το Perceptron είναι ένα απλοποιημένο μοντέλο ενός βιολογικού νευρώνα. Ενώ η πολυπλοκότητα των βιολογικών νευρωνικών μοντέλων απαιτείται συχνά για την πλήρη κατανόηση της νευρικής συμπεριφοράς, η έρευνα δείχνει ότι ένα γραμμικό μοντέλο παρόμοιο με το perceptron μπορεί να προκαλέσει κάποια από τη συμπεριφορά που παρατηρείται σε πραγματικούς νευρώνες.
Το Perceptron είναι ένας γραμμικός ταξινομητής, επομένως δεν θα μπει ποτέ σε κατάσταση με όλα τα διανύσματα εισόδου σωστά ταξινομημένα εάν το εκπαιδευτικό σύνολο D δεν είναι γραμμικά διαχωρισμό, δηλ. εάν τα θετικά παραδείγματα δεν μπορούν να διαχωριστούν από τα αρνητικά με υπερεπίπεδο. Σε αυτήν την περίπτωση, καμία «κατά προσέγγιση» λύση δεν θα περάσει βήμα προς βήμα μέσω του τυπικού αλγόριθμου εκμάθησης, αντίθετα η μάθηση θα αποτύχει εντελώς. Επομένως, εάν η γραμμική δυνατότητα διαχωρισμού του προπονητικού συνόλου δεν είναι γνωστή εκ των προτέρων, θα πρέπει να χρησιμοποιηθεί μία από τις παρακάτω επιλογές εκπαίδευσης.
Αλγόριθμος τσέπης
Ο αλγόριθμος τσέπης καστάνιας λύνει το πρόβλημα της ευρωστίας εκμάθησης του perceptron διατηρώντας την καλύτερη λύση που βρέθηκε μέχρι στιγμής "στην τσέπη". Ο αλγόριθμος τσέπης επιστρέφει στη συνέχεια τη λύση στην τσέπη και όχι την τελευταία λύση. Μπορεί επίσης να χρησιμοποιηθεί για μη διαχωρίσιμα σύνολα δεδομένων όπου ο στόχος είναι να βρεθεί ένα perceptron με λίγες εσφαλμένες ταξινομήσεις. Ωστόσο, αυτές οι λύσεις φαίνονται στοχαστικές και ως εκ τούτου ο αλγόριθμος τσέπης δεν τους ταιριάζει.σταδιακά κατά τη διάρκεια της προπόνησης και δεν είναι εγγυημένο ότι θα εντοπιστούν σε έναν ορισμένο αριθμό προπονητικών βημάτων.
Αλγόριθμος Maxover
Ο αλγόριθμος του Maxover είναι "στιβαρός" με την έννοια ότι θα συγκλίνει ανεξάρτητα από τη γνώση της γραμμικής διαχωρισιμότητας του συνόλου δεδομένων. Στην περίπτωση γραμμικού διαχωρισμού, αυτό θα λύσει το πρόβλημα εκμάθησης, προαιρετικά ακόμη και με βέλτιστη σταθερότητα (μέγιστο περιθώριο μεταξύ των τάξεων). Για μη διαχωρίσιμα σύνολα δεδομένων, θα επιστραφεί μια λύση με μικρό αριθμό εσφαλμένων ταξινομήσεων. Σε όλες τις περιπτώσεις, ο αλγόριθμος προσεγγίζει σταδιακά τη λύση κατά τη διάρκεια της μαθησιακής διαδικασίας, χωρίς να θυμάται προηγούμενες καταστάσεις και χωρίς τυχαία άλματα. Η σύγκλιση έγκειται στη συνολική βελτιστοποίηση για κοινόχρηστα σύνολα δεδομένων και στην τοπική βέλτιστη για μη διαχωρίσιμα σύνολα δεδομένων.
Ψηφίστηκε Perceptron
Ο αλγόριθμος Voted Perceptron είναι μια παραλλαγή που χρησιμοποιεί πολλαπλά σταθμισμένα perceptron. Ο αλγόριθμος ξεκινά ένα νέο perceptron κάθε φορά που ένα παράδειγμα ταξινομείται εσφαλμένα, αρχικοποιώντας το διάνυσμα βάρους με τα τελικά βάρη του τελευταίου perceptron. Σε κάθε perceptron θα δοθεί επίσης διαφορετική βαρύτητα που αντιστοιχεί στο πόσα παραδείγματα ταξινομεί σωστά πριν από την εσφαλμένη ταξινόμηση ενός, και στο τέλος η έξοδος θα είναι μια σταθμισμένη ψήφος σε ολόκληρο το perceptron.
Αίτηση
Σε διαχωρίσιμα προβλήματα, η εκπαίδευση με perceptron μπορεί επίσης να στοχεύει στην εύρεση του μεγαλύτερου ορίου διαχωρισμού μεταξύ των τάξεων. Τα λεγόμεναΈνα βέλτιστο perceptron σταθερότητας μπορεί να προσδιοριστεί χρησιμοποιώντας επαναληπτικά σχήματα εκπαίδευσης και βελτιστοποίησης όπως ο αλγόριθμος Min-Over ή AdaTron. Το AdaTron εκμεταλλεύεται το γεγονός ότι το αντίστοιχο πρόβλημα τετραγωνικής βελτιστοποίησης είναι κυρτό. Το perceptron βέλτιστης σταθερότητας, μαζί με το κόλπο του πυρήνα, είναι η εννοιολογική βάση της μηχανής διανυσμάτων υποστήριξης.
Εναλλακτική
Ένας άλλος τρόπος για την επίλυση μη γραμμικών προβλημάτων χωρίς τη χρήση πολλαπλών επιπέδων είναι η χρήση δικτύων υψηλότερης τάξης (μπλοκ sigma-pi). Σε αυτόν τον τύπο δικτύου, κάθε στοιχείο του διανύσματος εισόδου επεκτείνεται από κάθε συνδυασμό πολλαπλασιασμένων εισόδων κατά ζεύγη (δεύτερη τάξη). Αυτό μπορεί να επεκταθεί σε ένα δίκτυο n-τάξης. Το Perceptron είναι ένα πολύ ευέλικτο πράγμα.
Ωστόσο, να θυμάστε ότι ο καλύτερος ταξινομητής δεν είναι απαραίτητα αυτός που ταξινομεί με ακρίβεια όλα τα δεδομένα εκπαίδευσης. Πράγματι, αν είχαμε τον προηγούμενο περιορισμό ότι τα δεδομένα προέρχονται από ίσες παραλλαγές Gaussian κατανομές, μια γραμμική διαίρεση στο χώρο εισόδου είναι βέλτιστη και μια μη γραμμική λύση παρακάμπτεται.
Άλλοι αλγόριθμοι γραμμικής ταξινόμησης περιλαμβάνουν Winnow, διάνυσμα υποστήριξης και λογιστική παλινδρόμηση. Το Perceptron είναι ένα καθολικό σύνολο αλγορίθμων.
Κύριο πεδίο εφαρμογής για εποπτευόμενη μάθηση
Η εποπτευόμενη μάθηση είναι μια εργασία μηχανικής μάθησης που μαθαίνει μια συνάρτηση που αντιστοιχίζει την είσοδο στην έξοδομε βάση παραδείγματα ζευγών I/O. Συνάγουν ένα χαρακτηριστικό από επισημασμένα δεδομένα εκπαίδευσης που αποτελούνται από ένα σύνολο παραδειγμάτων. Στην εποπτευόμενη μάθηση, κάθε παράδειγμα είναι ένα ζεύγος που αποτελείται από ένα αντικείμενο εισόδου (συνήθως ένα διάνυσμα) και μια επιθυμητή τιμή εξόδου (ονομάζεται επίσης σήμα ελέγχου).
Ο αλγόριθμος εποπτευόμενης μάθησης αναλύει τα δεδομένα εκπαίδευσης και παράγει μια εκτιμώμενη συνάρτηση που μπορεί να χρησιμοποιηθεί για την εμφάνιση νέων παραδειγμάτων. Το βέλτιστο σενάριο θα επέτρεπε στον αλγόριθμο να προσδιορίζει σωστά τις ετικέτες κλάσεων για αόρατες περιπτώσεις. Αυτό απαιτεί από τον αλγόριθμο μάθησης να γενικεύει τα μαθησιακά δεδομένα σε αόρατες καταστάσεις με "λογικό" τρόπο.
Η παράλληλη εργασία στην ψυχολογία ανθρώπων και ζώων ονομάζεται συχνά εννοιολογική μάθηση.
