Ένα μοντέλο πεποίθησης, δικτύου αποφάσεων, μοντέλο Bayesian (ian) ή μοντέλο ακυκλικού γραφήματος βάσει πιθανοτήτων είναι ένα παραλλαγή σχήματος (ένας τύπος στατιστικού μοντέλου) που αντιπροσωπεύει ένα σύνολο μεταβλητών και τις υπό όρους εξαρτήσεις τους μέσω ενός κατευθυνόμενου ακυκλικού γραφήματος (DAG).
Για παράδειγμα, ένα δίκτυο Bayes μπορεί να αντιπροσωπεύει πιθανολογικές σχέσεις μεταξύ ασθενειών και συμπτωμάτων. Δεδομένου του τελευταίου, το δίκτυο μπορεί να χρησιμοποιηθεί για τον υπολογισμό της πιθανότητας εμφάνισης διαφόρων ασθενειών. Στο παρακάτω βίντεο μπορείτε να δείτε ένα παράδειγμα ενός δικτύου πεποιθήσεων Μπεϋζιανών με υπολογισμούς.
Αποτελεσματικότητα
Οι αποτελεσματικοί αλγόριθμοι μπορούν να κάνουν εξαγωγή συμπερασμάτων και εκμάθησης σε δίκτυα Bayes. Τα δίκτυα που μοντελοποιούν μεταβλητές (όπως σήματα ομιλίας ή αλληλουχίες πρωτεϊνών) ονομάζονται δυναμικά δίκτυα. Οι γενικεύσεις των Μπεϋζιανών δικτύων που μπορούν να αναπαραστήσουν και να λύσουν προβλήματα υπό αβεβαιότητα ονομάζονται διαγράμματα επιρροής.
Essence
ΕπίσημαΤα Bayesian δίκτυα είναι DAG των οποίων οι κόμβοι αντιπροσωπεύουν μεταβλητές με την έννοια του Bayes: μπορούν να παρατηρηθούν τιμές, κρυφές μεταβλητές, άγνωστες παράμετροι ή υποθέσεις. Γιατί είναι πολύ ενδιαφέρον.
παράδειγμα δικτύου Bayesian
Δύο γεγονότα μπορεί να προκαλέσουν μούσκεμα του χόρτου: ένας ενεργός καταιονιστήρας ή βροχή. Η βροχή έχει άμεση επίδραση στη χρήση του καταιωνιστή (δηλαδή, ότι όταν βρέχει, ο καταιωνιστής συνήθως είναι ανενεργός). Αυτή η κατάσταση μπορεί να μοντελοποιηθεί χρησιμοποιώντας ένα δίκτυο Bayes.
Simulation
Επειδή το δίκτυο Bayes είναι ένα πλήρες μοντέλο για τις μεταβλητές του και τις σχέσεις τους, μπορεί να χρησιμοποιηθεί για να απαντήσει σε πιθανολογικά ερωτήματα σχετικά με αυτές. Για παράδειγμα, μπορεί να χρησιμοποιηθεί για την ενημέρωση της γνώσης σχετικά με την κατάσταση ενός υποσυνόλου μεταβλητών όταν παρατηρούνται άλλα δεδομένα (μεταβλητές αποδεικτικών στοιχείων). Αυτή η ενδιαφέρουσα διαδικασία ονομάζεται πιθανοτικό συμπέρασμα.
Α εκ των υστέρων δίνει ένα καθολικά επαρκές στατιστικό για εφαρμογές ανακάλυψης κατά την επιλογή τιμών για ένα υποσύνολο μεταβλητών. Έτσι, αυτός ο αλγόριθμος μπορεί να θεωρηθεί ως μηχανισμός αυτόματης εφαρμογής του θεωρήματος Bayes σε πολύπλοκα προβλήματα. Στις εικόνες του άρθρου μπορείτε να δείτε παραδείγματα δικτύων μπεϋζιανών πεποιθήσεων.
Μέθοδοι εξόδου
Οι πιο συνηθισμένες μέθοδοι ακριβούς συμπερασμάτων είναι: η εξάλειψη μεταβλητών, η οποία εξαλείφει (με ολοκλήρωση ή άθροιση) το μη παρατηρήσιμοπαράμετροι χωρίς ερώτημα μία προς μία κατανέμοντας το ποσό στο προϊόν.
Κάντε κλικ στη διάδοση ενός "δέντρου" που αποθηκεύει στην κρυφή μνήμη τους υπολογισμούς, έτσι ώστε να μπορούν να αναζητηθούν πολλές μεταβλητές ταυτόχρονα και οι νέες αποδείξεις να μπορούν να διαδοθούν γρήγορα. και αναδρομική αντιστοίχιση ή/και αναζήτηση, που επιτρέπουν αντισταθμίσεις μεταξύ χώρου και χρόνου και ταιριάζουν με την αποτελεσματικότητα της εξάλειψης μεταβλητών όταν χρησιμοποιείται αρκετός χώρος.
Όλες αυτές οι μέθοδοι έχουν μια ιδιαίτερη πολυπλοκότητα που εξαρτάται εκθετικά από το μήκος του δικτύου. Οι πιο συνηθισμένοι κατά προσέγγιση αλγόριθμοι συμπερασμάτων είναι η εξάλειψη mini-τμημάτων, η κυκλική διάδοση πεποιθήσεων, η γενικευμένη διάδοση πεποιθήσεων και οι μέθοδοι μεταβλητότητας.
Δικτύωση
Για να προσδιοριστεί πλήρως το δίκτυο Bayes και να αναπαρασταθεί πλήρως η κοινή κατανομή πιθανοτήτων, είναι απαραίτητο να καθοριστεί για κάθε κόμβο X η κατανομή πιθανότητας για το X λόγω των γονέων του X.
Η κατανομή του X υπό όρους από τους γονείς του μπορεί να έχει οποιαδήποτε μορφή. Είναι σύνηθες να δουλεύουμε με διακριτές ή Gaussian κατανομές καθώς απλοποιεί τους υπολογισμούς. Μερικές φορές είναι γνωστοί μόνο περιορισμοί διανομής. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε την εντροπία για να προσδιορίσετε τη μοναδική κατανομή που έχει την υψηλότερη εντροπία δεδομένων των περιορισμών.
Ομοίως, στο συγκεκριμένο πλαίσιο ενός δυναμικού Bayesian δικτύου, η υπό όρους κατανομή για τη χρονική εξέλιξη του λανθάνοντοςΗ κατάσταση συνήθως ορίζεται για να μεγιστοποιήσει τον ρυθμό εντροπίας της υπονοούμενης τυχαίας διαδικασίας.
Η άμεση μεγιστοποίηση της πιθανότητας (ή της μεταγενέστερης πιθανότητας) είναι συχνά δύσκολη δεδομένης της παρουσίας μη παρατηρημένων μεταβλητών. Αυτό ισχύει ιδιαίτερα για ένα δίκτυο αποφάσεων Bayes.
Κλασική προσέγγιση
Η κλασική προσέγγιση σε αυτό το πρόβλημα είναι ο αλγόριθμος μεγιστοποίησης προσδοκιών, ο οποίος εναλλάσσει τον υπολογισμό των αναμενόμενων τιμών των μη παρατηρημένων μεταβλητών ανάλογα με τα παρατηρούμενα δεδομένα με τη μεγιστοποίηση της συνολικής πιθανότητας (ή μεταγενέστερης τιμής), υποθέτοντας ότι η προηγουμένως αναμενόμενη οι τιμές είναι σωστές. Υπό συνθήκες μέτριας κανονικότητας, αυτή η διαδικασία συγκλίνει στις μέγιστες (ή μέγιστες εκ των υστέρων) τιμές των παραμέτρων.
Μια πιο ολοκληρωμένη Μπεϋζιανή προσέγγιση στις παραμέτρους είναι να τις αντιμετωπίζουμε ως πρόσθετες μη παρατηρούμενες μεταβλητές και να υπολογίζουμε την πλήρη οπίσθια κατανομή σε όλους τους κόμβους δεδομένων των παρατηρούμενων δεδομένων και στη συνέχεια να ενσωματώνουμε τις παραμέτρους. Αυτή η προσέγγιση μπορεί να είναι δαπανηρή και να οδηγήσει σε μεγάλα μοντέλα, καθιστώντας πιο προσιτές τις κλασικές προσεγγίσεις συντονισμού παραμέτρων.
Στην απλούστερη περίπτωση, ένα δίκτυο Bayes ορίζεται από έναν ειδικό και στη συνέχεια χρησιμοποιείται για την εκτέλεση συμπερασμάτων. Σε άλλες εφαρμογές, το έργο του προσδιορισμού είναι πολύ δύσκολο για έναν άνθρωπο. Σε αυτή την περίπτωση, η δομή του νευρωνικού δικτύου Bayes και οι παράμετροι των τοπικών κατανομών πρέπει να μαθευτούν μεταξύ των δεδομένων.
Εναλλακτική μέθοδος
Μια εναλλακτική μέθοδος δομημένης μάθησης χρησιμοποιεί αναζήτηση βελτιστοποίησης. Αυτό απαιτεί την εφαρμογή μιας συνάρτησης αξιολόγησης και μιας στρατηγικής αναζήτησης. Ένας κοινός αλγόριθμος βαθμολόγησης είναι η οπίσθια πιθανότητα μιας δομής με δεδομένα εκπαίδευσης όπως BIC ή BDeu.
Ο χρόνος που απαιτείται για μια εξαντλητική αναζήτηση που επιστρέφει μια δομή που μεγιστοποιεί τη βαθμολογία είναι υπερεκθετικός ως προς τον αριθμό των μεταβλητών. Η στρατηγική τοπικής αναζήτησης κάνει σταδιακές αλλαγές για να βελτιώσει την εκτίμηση της δομής. Ο Friedman και οι συνεργάτες του σκέφτηκαν να χρησιμοποιήσουν αμοιβαία πληροφορία μεταξύ των μεταβλητών για να βρουν την επιθυμητή δομή. Περιορίζουν το σύνολο των υποψηφίων γονέων σε k κόμβους και τους αναζητούν διεξοδικά.
Μια ιδιαίτερα γρήγορη μέθοδος για την ακριβή μελέτη του BN είναι να φανταστεί κανείς το πρόβλημα ως πρόβλημα βελτιστοποίησης και να το λύσει χρησιμοποιώντας ακέραιο προγραμματισμό. Οι περιορισμοί ακυκλικότητας προστίθενται στο ακέραιο πρόγραμμα (IP) κατά τη διάρκεια της λύσης με τη μορφή επιπέδων κοπής. Μια τέτοια μέθοδος μπορεί να χειριστεί προβλήματα έως και 100 μεταβλητές.
Επίλυση Προβλήματος
Για την επίλυση προβλημάτων με χιλιάδες μεταβλητές, απαιτείται διαφορετική προσέγγιση. Το ένα είναι να επιλέξετε πρώτα μια παραγγελία και μετά να βρείτε τη βέλτιστη δομή BN σε σχέση με αυτήν τη σειρά. Αυτό συνεπάγεται εργασία στον χώρο αναζήτησης πιθανής παραγγελίας, κάτι που είναι βολικό επειδή είναι μικρότερο από το χώρο των δομών δικτύου. Στη συνέχεια επιλέγονται και αξιολογούνται πολλές παραγγελίες. Αυτή η μέθοδος αποδείχθηκεκαλύτερα διαθέσιμα στη βιβλιογραφία όταν ο αριθμός των μεταβλητών είναι τεράστιος.
Μια άλλη μέθοδος είναι η εστίαση σε μια υποκατηγορία αποσυνθέσιμων μοντέλων για τα οποία τα MLE είναι κλειστά. Στη συνέχεια, μπορείτε να βρείτε μια συνεπή δομή για εκατοντάδες μεταβλητές.
Η μελέτη Μπεϋζιανών δικτύων με περιορισμένο πλάτος τριών γραμμών είναι απαραίτητη για την παροχή ακριβών, ερμηνεύσιμων συμπερασμάτων, καθώς η πολυπλοκότητα στη χειρότερη περίπτωση του τελευταίου είναι εκθετική σε μήκος δέντρου k (σύμφωνα με την υπόθεση του εκθετικού χρόνου). Ωστόσο, ως συνολική ιδιότητα του γραφήματος, αυξάνει σημαντικά την πολυπλοκότητα της μαθησιακής διαδικασίας. Σε αυτό το πλαίσιο, το K-tree μπορεί να χρησιμοποιηθεί για αποτελεσματική μάθηση.
Ανάπτυξη
Η ανάπτυξη ενός Bayesian Web of Trust ξεκινά συχνά με τη δημιουργία ενός DAG G έτσι ώστε το X να ικανοποιεί μια τοπική ιδιότητα Markov σε σχέση με το G. Μερικές φορές αυτό είναι ένα αιτιώδες DAG. Εκτιμώνται οι κατανομές πιθανοτήτων υπό όρους κάθε μεταβλητής έναντι των γονέων της στο G. Σε πολλές περιπτώσεις, ιδιαίτερα όταν οι μεταβλητές είναι διακριτές, εάν η κοινή κατανομή του X είναι το γινόμενο αυτών των υπό όρους κατανομών, τότε το X γίνεται ένα Bayesian δίκτυο σε σχέση με Ζ.
Η "κουβέρτα κόμπων" του Markov είναι ένα σύνολο κόμπων. Το πάπλωμα Markov κάνει τον κόμβο ανεξάρτητο από το υπόλοιπο κενό του κόμβου με το ίδιο όνομα και είναι επαρκής γνώση για τον υπολογισμό της κατανομής του. Το X είναι ένα Bayesian δίκτυο σε σχέση με το G εάν κάθε κόμβος είναι υπό όρους ανεξάρτητος από όλους τους άλλους κόμβους, δεδομένου του Markovian τουκουβέρτα.
