Ξέρει η τεχνητή νοημοσύνη τι είναι η Apple; Έχει στόχο να ανακαλύψει. | Περιοδικό Quanta

Αρχίστε να μιλάτε Έλι Πάβλικ για τη δουλειά της — ψάχνει για στοιχεία κατανόησης σε μεγάλα γλωσσικά μοντέλα (LLM) — και μπορεί να ακούγεται σαν να το κοροϊδεύει. Η φράση "χεράκι κυματιστές" είναι αγαπημένη και αν αναφέρει "σημασία" ή "συλλογισμό", συχνά θα συνοδεύεται από εμφανή εισαγωγικά. Αυτός είναι απλώς ο τρόπος της Pavlick να διατηρεί τον εαυτό της ειλικρινή. Ως επιστήμονας υπολογιστών που μελετά γλωσσικά μοντέλα στο Πανεπιστήμιο Μπράουν και στο Google DeepMind, γνωρίζει ότι ο μόνος τρόπος για να το πάρουμε στα σοβαρά είναι να αγκαλιάσουμε την εγγενή υφή της φυσικής γλώσσας. «Αυτός είναι ένας επιστημονικός κλάδος — και είναι λίγο στριμωγμένος», είπε.

Η ακρίβεια και η απόχρωση συνυπήρχαν στον κόσμο της Pavlick από την εφηβεία, όταν της άρεσε τα μαθηματικά και οι επιστήμες «αλλά πάντα ταυτιζόταν ως πιο δημιουργικός τύπος». Ως προπτυχιακός, απέκτησε πτυχία στα οικονομικά και στην απόδοση σαξόφωνου προτού συνεχίσει το διδακτορικό της στην επιστήμη των υπολογιστών, έναν τομέα όπου εξακολουθεί να αισθάνεται σαν ξένη. «Υπάρχουν πολλοί άνθρωποι που [νομίζουν] τα ευφυή συστήματα θα μοιάζουν πολύ με τον κώδικα υπολογιστή: τακτοποιημένα και βολικά όπως πολλά συστήματα [είμαστε] καλοί στην κατανόηση», είπε. «Απλώς πιστεύω ότι οι απαντήσεις είναι περίπλοκες. Αν έχω μια λύση που είναι απλή, είμαι σχεδόν σίγουρος ότι είναι λάθος. Και δεν θέλω να κάνω λάθος».

Μια τυχαία συνάντηση με έναν επιστήμονα υπολογιστών που έτυχε να εργάζεται στην επεξεργασία φυσικής γλώσσας οδήγησε την Pavlick να ξεκινήσει τη διδακτορική της εργασία μελετώντας πώς οι υπολογιστές μπορούσαν να κωδικοποιήσουν τη σημασιολογία ή το νόημα στη γλώσσα. «Νομίζω ότι γρατσούνισε μια συγκεκριμένη φαγούρα», είπε. «Βυθίζεται στη φιλοσοφία και αυτό ταιριάζει με πολλά από τα πράγματα στα οποία δουλεύω αυτήν τη στιγμή». Τώρα, ένας από τους κύριους τομείς έρευνας του Pavlick εστιάζει στη «γείωση» - το ερώτημα εάν η σημασία των λέξεων εξαρτάται από πράγματα που υπάρχουν ανεξάρτητα από την ίδια τη γλώσσα, όπως αισθητηριακές αντιλήψεις, κοινωνικές αλληλεπιδράσεις ή ακόμα και άλλες σκέψεις. Τα γλωσσικά μοντέλα εκπαιδεύονται εξ ολοκλήρου στο κείμενο, επομένως παρέχουν μια γόνιμη πλατφόρμα για τη διερεύνηση της σημασίας της γείωσης στο νόημα. Αλλά το ίδιο το ερώτημα απασχολεί τους γλωσσολόγους και άλλους στοχαστές εδώ και δεκαετίες.

«Αυτά δεν είναι μόνο «τεχνικά» προβλήματα», είπε ο Pavlick. «Η γλώσσα είναι τόσο τεράστια που, για μένα, νιώθω ότι περιλαμβάνει τα πάντα».

Quanta μίλησε με τον Pavlick για την εξαγωγή της επιστήμης από τη φιλοσοφία, το τι σημαίνει «νόημα» και τη σημασία των μη σέξι αποτελεσμάτων. Η συνέντευξη έχει συμπυκνωθεί και επεξεργαστεί για λόγους σαφήνειας.

Τι σημαίνει «κατανόηση» ή «νόημα», εμπειρικά; Τι ψάχνετε συγκεκριμένα;

Όταν ξεκινούσα το ερευνητικό μου πρόγραμμα στο Brown, αποφασίσαμε ότι το νόημα περιλαμβάνει έννοιες με κάποιο τρόπο. Αντιλαμβάνομαι ότι αυτή είναι μια θεωρητική δέσμευση που δεν κάνουν όλοι, αλλά φαίνεται διαισθητική. Εάν χρησιμοποιείτε τη λέξη "μήλο" για να σημαίνει μήλο, χρειάζεστε την έννοια του μήλου. Αυτό πρέπει να είναι ένα πράγμα, είτε χρησιμοποιείτε τη λέξη είτε όχι για να αναφερθείτε σε αυτό. Αυτό σημαίνει να «έχεις νόημα»: πρέπει να υπάρχει η έννοια, κάτι που εκφράζεις.

Θέλω να βρω έννοιες στο μοντέλο. Θέλω κάτι που μπορώ να αρπάξω μέσα στο νευρωνικό δίκτυο, απόδειξη ότι υπάρχει κάτι που αντιπροσωπεύει το «μήλο» εσωτερικά, που του επιτρέπει να αναφέρεται με συνέπεια με την ίδια λέξη. Επειδή φαίνεται να υπάρχει αυτή η εσωτερική δομή που δεν είναι τυχαία και αυθαίρετη. Μπορείτε να βρείτε αυτά τα μικρά ψήγματα με καλά καθορισμένη λειτουργία που κάνουν κάτι αξιόπιστα.

Έχω επικεντρωθεί στον χαρακτηρισμό αυτής της εσωτερικής δομής. Τι μορφή έχει; Μπορεί να είναι κάποιο υποσύνολο των βαρών μέσα στο νευρωνικό δίκτυο, ή κάποιο είδος γραμμικής αλγεβρικής πράξης πάνω σε αυτά τα βάρη, κάποιο είδος γεωμετρικής αφαίρεσης. Αλλά πρέπει να παίξει έναν αιτιολογικό ρόλο [στη συμπεριφορά του μοντέλου]: Συνδέεται με αυτές τις εισόδους αλλά όχι με αυτές, και αυτές τις εξόδους και όχι αυτές.

Αυτό μοιάζει με κάτι που θα μπορούσατε να αρχίσετε να αποκαλείτε «νόημα». Έχει να κάνει με το να ανακαλύψουμε πώς να βρούμε αυτή τη δομή και να δημιουργήσουμε σχέσεις, ώστε μόλις τα έχουμε όλα στη θέση τους, να μπορούμε να την εφαρμόσουμε σε ερωτήσεις όπως «Ξέρει τι σημαίνει «μήλο»;»

Έχετε βρει παραδείγματα αυτής της δομής;

Ναι, ένα αποτέλεσμα περιλαμβάνει όταν ένα γλωσσικό μοντέλο ανακτά μια πληροφορία. Εάν ρωτήσετε το μοντέλο, "Ποια είναι η πρωτεύουσα της Γαλλίας", πρέπει να λέει "Παρίσι" και "Ποια είναι η πρωτεύουσα της Πολωνίας" θα πρέπει να επιστρέψει "Βαρσοβία". Θα μπορούσε πολύ εύκολα απλώς να απομνημονεύσει όλες αυτές τις απαντήσεις και θα μπορούσαν να διασκορπιστούν παντού [μέσα στο μοντέλο] — δεν υπάρχει πραγματικός λόγος που χρειάζεται να υπάρχει σύνδεση μεταξύ αυτών των πραγμάτων.

Αντίθετα, βρήκαμε ένα μικρό μέρος στο μοντέλο όπου βασικά συνοψίζει αυτή τη σύνδεση σε ένα μικρό διάνυσμα. Εάν το προσθέσετε στο "Ποια είναι η πρωτεύουσα της Γαλλίας", θα ανακτήσει το "Παρίσι". και το ίδιο διάνυσμα, αν ρωτήσετε "Ποια είναι η πρωτεύουσα της Πολωνίας", θα ανακτήσει το "Βαρσοβία". Είναι σαν αυτό το συστηματικό διάνυσμα «ανάκτηση-πρωτεύουσα-πόλη».

Αυτό είναι ένα πραγματικά συναρπαστικό εύρημα γιατί φαίνεται ότι [το μοντέλο] αναλύει αυτές τις μικρές έννοιες και στη συνέχεια εφαρμόζει γενικούς αλγόριθμους πάνω τους. Και παρόλο που εξετάζουμε αυτές τις πραγματικά [απλές] ερωτήσεις, πρόκειται για την εύρεση στοιχείων αυτών των ακατέργαστων συστατικών που χρησιμοποιεί το μοντέλο. Σε αυτήν την περίπτωση, θα ήταν ευκολότερο να ξεφύγετε από την απομνημόνευση — από πολλές απόψεις, αυτό είναι που έχουν σχεδιαστεί αυτά τα δίκτυα. Αντίθετα, χωρίζει τις [πληροφορίες] σε κομμάτια και «λογίζει» γι’ αυτήν. Και ελπίζουμε ότι καθώς καταλήγουμε σε καλύτερα πειραματικά σχέδια, μπορεί να βρούμε κάτι παρόμοιο για πιο περίπλοκα είδη εννοιών.

Πώς σχετίζεται η γείωση με αυτές τις αναπαραστάσεις;

Ο τρόπος με τον οποίο οι άνθρωποι μαθαίνουν τη γλώσσα βασίζεται σε έναν τόνο μη γλωσσικών εισροών: τις σωματικές σας αισθήσεις, τα συναισθήματά σας, είτε πεινάτε, οτιδήποτε άλλο. Αυτό θεωρείται ότι είναι πολύ σημαντικό για το νόημα.

Υπάρχουν όμως και άλλες έννοιες της γείωσης που έχουν να κάνουν περισσότερο με εσωτερικές αναπαραστάσεις. Υπάρχουν λέξεις που δεν συνδέονται προφανώς με τον φυσικό κόσμο, ωστόσο εξακολουθούν να έχουν νόημα. Μια λέξη όπως η «δημοκρατία» είναι ένα αγαπημένο παράδειγμα. Είναι κάτι στο μυαλό σου: μπορώ να σκεφτώ τη δημοκρατία χωρίς να μιλάω γι' αυτήν. Έτσι, η γείωση θα μπορούσε να είναι από τη γλώσσα σε αυτό το πράγμα, αυτή την εσωτερική αναπαράσταση.

Αλλά υποστηρίζετε ότι ακόμη και πράγματα που είναι πιο εξωτερικά, όπως το χρώμα, μπορεί να εξακολουθούν να είναι αγκυροβολημένα σε εσωτερικές «εννοιολογικές» αναπαραστάσεις, χωρίς να βασίζονται σε αντιλήψεις. Πώς θα λειτουργούσε αυτό;

Λοιπόν, ένα μοντέλο γλώσσας δεν έχει μάτια, σωστά; Δεν «ξέρει» τίποτα για τα χρώματα. Ίσως λοιπόν [αποτυπώνει] κάτι πιο γενικό, όπως η κατανόηση των σχέσεων μεταξύ τους. Ξέρω ότι όταν συνδυάζω μπλε και κόκκινο, παίρνω μωβ. αυτά τα είδη σχέσεων θα μπορούσαν να καθορίσουν αυτήν την εσωτερική δομή [γείωσης].

Μπορούμε να δώσουμε παραδείγματα χρωμάτων σε ένα LLM χρησιμοποιώντας κωδικούς RGB [συμβολοσειρές αριθμών που αντιπροσωπεύουν χρώματα]. Εάν πείτε "OK, εδώ είναι κόκκινο" και δώσετε τον κωδικό RGB για το κόκκινο και "Εδώ είναι μπλε", με τον κωδικό RGB για το μπλε και μετά πείτε "Πες μου τι είναι το μωβ", θα πρέπει να δημιουργήσει τον κωδικό RGB για μωβ. Αυτή η αντιστοίχιση θα πρέπει να είναι μια καλή ένδειξη ότι η εσωτερική δομή που έχει το μοντέλο είναι υγιής — λείπουν οι αντιλήψεις [για το χρώμα], αλλά η εννοιολογική δομή είναι εκεί.

Αυτό που είναι δύσκολο είναι ότι [το μοντέλο] θα μπορούσε απλώς να απομνημονεύει κωδικούς RGB, οι οποίοι βρίσκονται σε όλα τα δεδομένα εκπαίδευσης του. Έτσι, "περιστρέψαμε" όλα τα χρώματα [μακριά από τις πραγματικές τιμές RGB τους]: Θα λέγαμε στο LLM ότι η λέξη "κίτρινο" συσχετίστηκε με τον κώδικα RGB για το πράσινο, και ούτω καθεξής. Το μοντέλο είχε καλή απόδοση: Όταν ζητούσατε πράσινο, θα σας έδινε την εναλλασσόμενη έκδοση του κώδικα RGB. Αυτό υποδηλώνει ότι υπάρχει κάποιο είδος συνέπειας στις εσωτερικές αναπαραστάσεις του για το χρώμα. Είναι η εφαρμογή της γνώσης των σχέσεών τους, όχι απλώς η απομνημόνευση.

Αυτό είναι όλο το νόημα της γείωσης. Η αντιστοίχιση ενός ονόματος σε ένα χρώμα είναι αυθαίρετη. Είναι περισσότερο για τις σχέσεις μεταξύ τους. Αυτό λοιπόν ήταν συναρπαστικό.

Πώς μπορούν αυτά τα φιλοσοφικά ερωτήματα να είναι επιστημονικά;

Πρόσφατα έμαθα για ένα πείραμα σκέψης: Τι θα γινόταν αν ο ωκεανός παρασύρθηκε πάνω στην άμμο και [όταν] τραβήχτηκε πίσω, τα σχέδια δημιουργούσαν ένα ποίημα; Έχει νόημα το ποίημα; Αυτό φαίνεται εξαιρετικά αφηρημένο, και μπορείτε να κάνετε αυτή τη μακρά φιλοσοφική συζήτηση.

Το ωραίο με τα γλωσσικά μοντέλα είναι ότι δεν χρειαζόμαστε ένα πείραμα σκέψης. Δεν είναι σαν, "Θεωρητικά, θα ήταν το τάδε πράγμα έξυπνο;" Απλώς: Είναι έξυπνο αυτό το πράγμα; Γίνεται επιστημονικό και εμπειρικό.

Μερικές φορές οι άνθρωποι είναι απορριπτικοί. υπάρχει το "στοχαστικοί παπαγάλοι" πλησιάζω. Νομίζω ότι [προέρχεται] από έναν φόβο ότι οι άνθρωποι θα υπερεγγραφούν την ευφυΐα σε αυτά τα πράγματα – που όντως βλέπουμε. Και για να το διορθώσουμε, οι άνθρωποι λένε, «Όχι, όλα είναι απάτη. Αυτό είναι καπνός και καθρέφτες».

Είναι λίγο κακό. Έχουμε χτυπήσει κάτι πολύ συναρπαστικό και αρκετά νέο, και αξίζει να το κατανοήσουμε βαθιά. Αυτή είναι μια τεράστια ευκαιρία που δεν πρέπει να παραβλεφθεί επειδή ανησυχούμε για την υπερβολική ερμηνεία των μοντέλων.

Φυσικα εσυ»παρήγαγε επίσης έρευνα απομυθοποιώντας ακριβώς αυτό το είδος υπερερμηνείας.

Εκείνο το έργο, όπου οι άνθρωποι έβρισκαν όλα τα «ρηχά ευρετικά» που εκμεταλλεύονταν τα μοντέλα [για να μιμηθούν την κατανόηση] — ήταν πολύ θεμελιώδη για την ενηλικίωσή μου ως επιστήμονας. Αλλά είναι περίπλοκο. Είναι σαν να μην κηρύξεις τη νίκη πολύ νωρίς. Υπάρχει λίγος σκεπτικισμός ή παράνοια [σε εμένα] ότι μια αξιολόγηση έγινε σωστά, ακόμα και αυτή που ξέρω ότι σχεδίασα πολύ προσεκτικά!

Αυτό λοιπόν είναι μέρος του: όχι υπερβολική αξίωση. Ένα άλλο μέρος είναι ότι, αν ασχολείσαι με αυτά τα συστήματα [γλωσσικού μοντέλου], ξέρεις ότι δεν είναι σε ανθρώπινο επίπεδο — ο τρόπος με τον οποίο λύνουν τα πράγματα δεν είναι τόσο έξυπνος όσο φαίνεται.

Όταν τόσες πολλές από τις βασικές μεθόδους και όρους είναι προς συζήτηση σε αυτόν τον τομέα, πώς μετράτε την επιτυχία;

Αυτό που νομίζω ότι αναζητούμε, ως επιστήμονες, είναι μια ακριβής, κατανοητή από τον άνθρωπο περιγραφή αυτού που μας ενδιαφέρει - η νοημοσύνη, σε αυτήν την περίπτωση. Και μετά επισυνάπτουμε λέξεις για να μας βοηθήσουν να φτάσουμε εκεί. Χρειαζόμαστε κάποιο λειτουργικό λεξιλόγιο.

Αλλά αυτό είναι δύσκολο, γιατί τότε μπορείς να μπεις σε αυτή τη μάχη της σημασιολογίας. Όταν οι άνθρωποι λένε "Έχει νόημα: ναι ή όχι;" Δεν γνωρίζω. Οδηγούμε τη συζήτηση σε λάθος πράγμα.

Αυτό που προσπαθώ να προσφέρω είναι μια ακριβής περιγραφή των συμπεριφορών που μας ενδιαφέρει να εξηγήσουμε. Και είναι κάπως αμφισβητήσιμο σε εκείνο το σημείο είτε θέλετε να το ονομάσετε «νόημα» ή «αναπαράσταση» ή οποιαδήποτε από αυτές τις φορτωμένες λέξεις. Το θέμα είναι ότι υπάρχει μια θεωρία ή ένα προτεινόμενο μοντέλο στο τραπέζι — ας το αξιολογήσουμε.

Πώς μπορεί λοιπόν η έρευνα για τα γλωσσικά μοντέλα να προχωρήσει προς αυτή την πιο άμεση προσέγγιση;

Τα είδη των βαθιών ερωτήσεων που θα ήθελα πραγματικά να μπορώ να απαντήσω — Ποια είναι τα δομικά στοιχεία της νοημοσύνης; Πώς μοιάζει η ανθρώπινη νοημοσύνη; Πώς μοιάζει η νοημοσύνη του μοντέλου; — είναι πραγματικά σημαντικά. Αλλά νομίζω ότι τα πράγματα που πρέπει να συμβούν για τα επόμενα 10 χρόνια δεν είναι πολύ σέξι.

Αν θέλουμε να ασχοληθούμε με αυτές τις [εσωτερικές] αναπαραστάσεις, χρειαζόμαστε μεθόδους για να τις βρούμε — μεθόδους που είναι επιστημονικά έγκυρες. Αν γίνει με τον σωστό τρόπο, αυτό το χαμηλού επιπέδου μεθοδολογικό υλικό που είναι εξαιρετικά ενημερωμένο δεν θα είναι πρωτοσέλιδο. Αλλά αυτό είναι το πραγματικά σημαντικό πράγμα που θα μας επιτρέψει να απαντήσουμε σωστά σε αυτές τις βαθιές ερωτήσεις.

Εν τω μεταξύ, τα μοντέλα θα συνεχίσουν να αλλάζουν. Έτσι, θα υπάρξουν πολλά πράγματα που οι άνθρωποι θα συνεχίσουν να δημοσιεύουν σαν να είναι «η σημαντική ανακάλυψη», αλλά μάλλον δεν είναι. Στο μυαλό μου, αισθάνομαι πολύ νωρίς για να πετύχω μεγάλες ανακαλύψεις.

Οι άνθρωποι μελετούν αυτές τις πολύ απλές εργασίες, όπως να ρωτούν [ένα γλωσσικό μοντέλο για να ολοκληρώσει] «Ο Γιάννης έδωσε ένα ποτό στον _______» και προσπαθώντας να δουν αν λέει «Γιάννης» ή «Μαίρη». Αυτό δεν έχει την αίσθηση ενός αποτελέσματος που εξηγεί την ευφυΐα. Αλλά στην πραγματικότητα πιστεύω ότι τα εργαλεία που χρησιμοποιούμε για να περιγράψουμε αυτό το βαρετό πρόβλημα είναι απαραίτητα για την απάντηση στις βαθιές ερωτήσεις σχετικά με τη νοημοσύνη.