Phi μοντέλο τεχνητής νοημοσύνης από Microsoft - μικρό, φτηνό και δεν πάσχει από «παραισθήσεις». Αυτό λένε για το νέο γλωσσικό μοντέλο, που προβλέπεται να έχει μεγάλο μέλλον.
Το GPT είναι απολύτως υπέροχο, αλλά ταυτόχρονα, είναι τρομερά ακριβό και δεν μπορεί να είναι τέλειο για όλους. Για αυτούς και πολλούς άλλους λόγους Microsoft πειραματίζεται με πολύ μικρότερα μοντέλα AI. Το Phi-3-mini λέγεται ότι ντροπιάζει ακόμη και τη δουλειά των μηχανικών του OpenAI.
Επίσης ενδιαφέρον: Τρανζίστορ του μέλλοντος: Μια νέα εποχή τσιπ μας περιμένει
Το ChatGPT δεν είναι πανάκεια
Το ChatGPT είναι μια εφεύρεση που χρηματοδοτείται, επιμελείται και βελτιώνεται Microsoft. Στην πραγματικότητα, δεν ανήκει Microsoft, και η εταιρεία OpenAI, η οποία Microsoft δεν κατέχει (είναι ο κορυφαίος, αν και όχι ο μεγαλύτερος, επενδυτής). Το μοντέλο γλώσσας GPT έδωσε Microsoft ένα τεράστιο πλεονέκτημα έναντι των υπόλοιπων μεγάλων εταιρειών τεχνολογίας που τώρα σπεύδουν να καλύψουν τη διαφορά. Ωστόσο, υπάρχει ένας τεράστιος αριθμός προβλημάτων με το GPT, πολλά από τα οποία δεν μπορούν να επιλυθούν ακόμη.
Πρώτα απ 'όλα, αυτό είναι ένα γλωσσικό μοντέλο που απαιτεί πολύ πόρους. Προσανατολισμένο στον Ιστό Microsoft Το Copilot του OpenAI ή το ChatGPT δημιουργούν πολύ υψηλό λειτουργικό κόστος για Microsoft. Αυτό είναι ένα χαρακτηριστικό όχι μόνο του GPT, αλλά και όλων των βασικών μοντέλων γλώσσας. Επιπλέον, το GPT, όπως και οι ανταγωνιστές του, είναι επιρρεπές σε «παραισθήσεις», δηλαδή μπορεί να δημιουργήσει απαντήσεις σε ερωτήματα που περιέχουν ψευδείς ή παραπλανητικές πληροφορίες. Όσο περισσότερα δεδομένα απορροφά ένα τέτοιο μοντέλο, τόσο περισσότερο τείνει να δημιουργεί παρόμοιο περιεχόμενο. Επομένως, οι ψευδαισθήσεις και οι ψευδείς δηλώσεις δεν είναι μύθος που ρουφήχτηκε από το ψηφιακό δάχτυλο. Οι χρήστες συχνά σημειώνουν ότι τα μεγάλα γλωσσικά μοντέλα συχνά κάνουν λάθη, δίνουν ανακριβή δεδομένα και λειτουργούν με ανύπαρκτα γεγονότα.
Και τα δύο προβλήματα είναι πολύ σοβαρά, γι' αυτό το OpenAI, Microsoft, η Meta, η Google και άλλοι εργάζονται για την ανάπτυξη όχι μόνο της τεχνολογίας Large Language Model, αλλά και του Small Language Model, το οποίο στην πράξη μπορεί να παράγει πολύ καλύτερα αποτελέσματα.
Ο βοηθός ψηφιακού λογιστή δεν χρειάζεται να γνωρίζει πολλά για την κβαντική φυσική. Μπορεί να είναι πολύ μικρότερο και λιγότερο περίπλοκο (και επομένως φθηνότερο) και με την εκπαίδευση μόνο στα δεδομένα που είναι απαραίτητα για τον σκοπό του, θεωρητικά θα πρέπει να έχει λιγότερες παραισθήσεις. Ωστόσο, αυτό είναι πιο εύκολο να ειπωθεί παρά να γίνει. Η τεχνολογία GenAI εξακολουθεί να είναι ένα άγριο εγχείρημα πληροφορικής. Και παρόλο που το έργο προχωρά με πρωτοφανή ρυθμό, εξακολουθεί να είναι δύσκολο να σημειωθούν πρακτικά επιτεύγματα σε θεμελιώδη ζητήματα. Αλλά η εταιρεία Microsoft πρόσφατα ανακοίνωσε μια τέτοια σημαντική ανακάλυψη. Μιλάμε για μικρό γλωσσικό μοντέλο Microsoft Phi.
Επίσης ενδιαφέρον: Πώς η Ταϊβάν, η Κίνα και οι ΗΠΑ αγωνίζονται για την τεχνολογική κυριαρχία: ο μεγάλος πόλεμος των τσιπ
Τι είναι γνωστό για Microsoft Phi
Καταρχήν να σημειωθεί ότι το πείραμα διεξήχθη χωρίς τη συμμετοχή της εταιρείας OpenAI. Δηλαδή είναι η εξέλιξη των μηχανικών Microsoft.
Μοντέλα Microsoft Το Phi είναι μια σειρά μοντέλων μικρών γλωσσών (SLM) που επιτυγχάνουν εξαιρετικά αποτελέσματα σε μια ποικιλία δοκιμών. Το πρώτο μοντέλο, το Phi-1, είχε 1,3 δισεκατομμύρια παραμέτρους και πέτυχε τα καλύτερα αποτελέσματα κωδικοποίησης Python μεταξύ των υπαρχόντων SLM.
Στη συνέχεια, οι προγραμματιστές εστίασαν στην κατανόηση και τη σκέψη της γλώσσας, δημιουργώντας το μοντέλο Phi-1.5, το οποίο είχε επίσης 1,3 δισεκατομμύρια παραμέτρους και έδειξε απόδοση συγκρίσιμη με μοντέλα με πενταπλάσιες παραμέτρους.
Το Phi-2 είναι ένα μοντέλο παραμέτρων 2,7 δισεκατομμυρίων που επιδεικνύει εξαιρετικές δυνατότητες συλλογιστικής και κατανόησης γλώσσας, αποδίδοντας στο επίπεδο των καλύτερων βασικών μοντέλων με 13 δισεκατομμύρια παραμέτρους. Το Phi-2 ξεχωρίζει από άλλα μοντέλα λόγω των καινοτομιών του στην εκπαίδευση κλιμάκωσης μοντέλων και επιμέλειας δεδομένων.
Είναι διαθέσιμο στον κατάλογο μοντέλων Azure AI Studio, ο οποίος διευκολύνει την έρευνα και την ανάπτυξη στον τομέα των μοντέλων γλώσσας. Το Phi-2 κυκλοφόρησε τον Δεκέμβριο του 2023. Οι προγραμματιστές διαβεβαιώνουν ότι λειτουργεί εξίσου καλά με το Mistral ή το llama 2 από το Meta. Και το Phi-3 λειτουργεί ακόμα καλύτερα από την προηγούμενη έκδοση.
Ωστόσο, το μοντέλο Phi-3 που μόλις ανακοινώθηκε είναι εντελώς νέο σε ποιότητα. Τουλάχιστον αυτό μπορείς να κρίνεις από τις πληροφορίες που παρέχονται Microsoft. Σύμφωνα με την εταιρεία, σύμφωνα με τους δείκτες όλων των γνωστών σημείων αναφοράς, το Phi-3 αποδίδει καλύτερα από οποιοδήποτε άλλο μοντέλο παρόμοιου μεγέθους, συμπεριλαμβανομένης της ανάλυσης γλώσσας, της εργασίας προγραμματισμού ή της μαθηματικής εργασίας.
Το Phi-3-mini, η μικρότερη έκδοση αυτού του μοντέλου, μόλις έγινε διαθέσιμο σε όλους τους ενδιαφερόμενους. Δηλαδή είναι διαθέσιμο από τις 23 Απριλίου. Το Phi-3-mini έχει 3,8 δισεκατομμύρια παραμέτρους και, σύμφωνα με μετρήσεις Microsoft, δύο φορές πιο αποτελεσματικό από οποιοδήποτε άλλο μοντέλο ίδιου μεγέθους. Μπορείτε να το βρείτε στον κατάλογο μοντέλων AI της υπηρεσίας cloud Microsoft Το Azure, η πλατφόρμα μοντέλων μηχανικής εκμάθησης Hugging Face και το Ollama, ένα πλαίσιο για την εκτέλεση μοντέλων σε τοπικό μηχάνημα.
Όπως ισχυρίζεται Microsoft, το Phi-3-mini δεν απαιτεί ισχυρά τσιπ Nvidia. Το μοντέλο μπορεί να λειτουργήσει σε συνηθισμένα τσιπ υπολογιστών. Ή να ταιριάζει ακόμα και σε τηλέφωνο που δεν είναι συνδεδεμένο στο Διαδίκτυο.
Λιγότερη ισχύς σημαίνει επίσης ότι τα μοντέλα δεν θα είναι τόσο ακριβή. Το Phi-3 δεν θα είναι κατάλληλο για γιατρούς ή φοροτεχνικούς, αλλά θα βοηθήσει σε απλούστερες εργασίες. Για παράδειγμα, για τη στόχευση διαφημίσεων ή τη σύνοψη κριτικών στο Διαδίκτυο.
Δεδομένου ότι τα μικρότερα μοντέλα απαιτούν λιγότερη επεξεργασία, θα είναι φθηνότερα για τις ιδιωτικές εταιρείες η χρήση τους. Δηλαδή σε Microsoft θα υπάρξουν περισσότεροι πελάτες που θα ήθελαν να εμπλέξουν την τεχνητή νοημοσύνη στη δουλειά τους, αλλά το θεωρούσαν πολύ ακριβό. Ωστόσο, δεν είναι ακόμη σαφές πόσο θα κοστίσουν.
Δεν είναι ακόμη γνωστό πότε θα εμφανιστούν τα μικρομεσαία μοντέλα. Αλλά το τελευταίο θα είναι πιο ισχυρό και πιο ακριβό. Αν και είναι ήδη γνωστό ότι το Phi-3-small θα έχει 7 δισεκατομμύρια παραμέτρους και το Phi-3-medium θα έχει έως και 14 δισεκατομμύρια παραμέτρους.
Διαβάστε επίσης:
- Τα μικροτσίπ γραφενίου θα κάνουν τα τηλέφωνα πιο γρήγορα και πιο εύκολα
- Σχετικά με τους κβαντικούς υπολογιστές με απλά λόγια
Πώς να χρησιμοποιήσετε το Phi-3-mini;
Το GPT-4 Turbo απαιτεί ισχυρά τσιπ AI, τα οποία εξακολουθούν να είναι πολύ ακριβά. Το μικρό μοντέλο ομιλίας Phi-3 μπορεί να λειτουργήσει εκτός σύνδεσης, χωρίς το σύννεφο, ακόμη και με τη βοήθεια ενός τσιπ σε ένα κινητό τηλέφωνο.
Το Phi-3 δεν είναι προϊόν για τελικούς χρήστες, αλλά μια τεχνολογία που οι προγραμματιστές θα μπορούν να χρησιμοποιούν και να εφαρμόζουν στις εφαρμογές τους - τόσο με βάση το cloud, δηλαδή απομακρυσμένα, όσο και εκείνες που λειτουργούν τοπικά και εκτός σύνδεσης. Αναμένεται να λειτουργεί απρόσκοπτα με συσκευές και τα εξαρτήματά τους, όπως κινητά τηλέφωνα, αυτοκίνητα και τα συστήματα infotainment τους, ή ακόμα και αισθητήρες IoT. Σε ορισμένα σενάρια, αυτή η τεχνολογία μπορεί να είναι ανεκτίμητη.
Microsoft δίνει ακόμη και ένα συγκεκριμένο παράδειγμα για να μην κουράζουμε τη φαντασία μας. Φανταστείτε έναν αγρότη να επιθεωρεί τις καλλιέργειές του και να βλέπει σημάδια ασθένειας στα φύλλα, τους μίσχους και τα κλαδιά. Όντας μακριά από τους ιστούς τηλεπικοινωνιών, θα χρειαστεί μόνο να βγάλει το τηλέφωνό του, να τραβήξει μια φωτογραφία της ζημιάς, να το βάλει σε μια εφαρμογή που χρησιμοποιεί τεχνολογία Phi-3 - και το μοντέλο θα αναλύσει γρήγορα και εκτός σύνδεσης τη φωτογραφία και θα δώσει συμβουλές για πώς ακριβώς να καταπολεμήσετε αυτήν την ασθένεια.
Όπως εξηγεί Microsoft, το κλειδί για την επιτυχία του GPT ήταν να αντλήσει τεράστιες ποσότητες δεδομένων για εκπαίδευση. Με τόσο μεγάλα σύνολα δεδομένων, η υψηλή ποιότητα δεδομένων αποκλείεται. Εν τω μεταξύ, κατά την εκπαίδευση του μοντέλου Phi, χρησιμοποιήθηκε η ακριβώς αντίθετη προσέγγιση OpenAI. Αντί να στριμώξουμε το μοντέλο με πληροφορίες, η εστίαση ήταν στη σταδιακή και ενδελεχή μάθηση.
Αντί να χρησιμοποιούν ακατέργαστα δεδομένα Διαδικτύου, οι ερευνητές Microsoft δημιούργησε το σύνολο δεδομένων TinyStories, δημιουργώντας εκατομμύρια μικροσκοπικές ιστορίες «μωρών». Αυτές οι ιστορίες χρησιμοποιήθηκαν για να εκπαιδεύσουν πολύ μικρά γλωσσικά μοντέλα. Στη συνέχεια, οι ερευνητές προχώρησαν παραπέρα δημιουργώντας το σύνολο δεδομένων CodeTextbook, το οποίο χρησιμοποίησε προσεκτικά επιλεγμένα, δημόσια διαθέσιμα δεδομένα που φιλτράρονταν για εκπαιδευτική αξία και ποιότητα περιεχομένου. Αυτά τα δεδομένα στη συνέχεια φιλτραρίστηκαν αρκετές φορές και τροφοδοτήθηκαν ξανά σε ένα μεγάλο γλωσσικό μοντέλο (LLM) για περαιτέρω σύνθεση.
Όλα αυτά κατέστησαν δυνατή τη δημιουργία μιας σειράς δεδομένων επαρκών για την εκπαίδευση ενός πιο ικανού SLM. Επιπλέον, μια πολυεπίπεδη προσέγγιση για τη διαχείριση και τον μετριασμό του κινδύνου χρησιμοποιήθηκε στην ανάπτυξη του μοντέλου Phi-3, συμπεριλαμβανομένης της αξιολόγησης, των δοκιμών και των χειροκίνητων προσαρμογών. Ως αποτέλεσμα, όπως υποστηρίζει Microsoft, οι προγραμματιστές που χρησιμοποιούν την οικογένεια μοντέλων Phi-3 μπορούν να επωφεληθούν από το σύνολο εργαλείων που είναι διαθέσιμο στο Azure AI για να δημιουργήσουν πιο ασφαλείς και αξιόπιστες εφαρμογές.
Διαβάστε επίσης: Η τηλεμεταφορά από επιστημονική άποψη και το μέλλον της
Microsoft Θα αντικαταστήσει το Phi τα μοντέλα τύπου ChatGPT;
Καθόλου. Τα μοντέλα μικρών γλωσσών (SLM), ακόμη και όταν εκπαιδεύονται σε δεδομένα υψηλής ποιότητας, έχουν τους περιορισμούς τους και δεν έχουν σχεδιαστεί για βαθιά μάθηση. Τα μοντέλα μεγάλων γλωσσών (LLM) υπερτερούν των SLM σε πολύπλοκη λογική λόγω του μεγέθους και της υπολογιστικής τους ισχύος. Τα LLM είναι, και θα συνεχίσουν να είναι, ιδιαίτερα χρήσιμα σε πεδία όπως η ανακάλυψη φαρμάκων, όπου πρέπει κανείς να αναζητήσει τεράστιες συλλογές επιστημονικών εργασιών και να αναλύσει πολύπλοκα πρότυπα. Από την άλλη πλευρά, το SLM μπορεί να χρησιμοποιηθεί για απλούστερες εργασίες, όπως η σύνοψη των κύριων σημείων ενός εγγράφου μεγάλου κειμένου, η δημιουργία περιεχομένου ή η τροφοδοσία chatbot εξυπηρέτησης πελατών.
Microsoft, είπε, ήδη χρησιμοποιεί εσωτερικά υβριδικά σύνολα μοντέλων, όπου το LLM πρωτοστατεί, κατευθύνοντας ορισμένα ερωτήματα που απαιτούν λιγότερη υπολογιστική ισχύ στο SLM, ενώ χειρίζεται άλλα, πιο σύνθετα ερωτήματα η ίδια. Το Phi είναι τοποθετημένο για υπολογιστές σε συσκευές, χωρίς χρήση του νέφους. Ωστόσο, θα εξακολουθεί να υπάρχει ένα χάσμα μεταξύ των μοντέλων μικρών γλωσσών και του επιπέδου ευφυΐας που μπορεί να αποκτηθεί με μεγάλα μοντέλα στο cloud. Αυτό το κενό, χάρη στη συνεχή ανάπτυξη του LLM, είναι απίθανο να εξαφανιστεί σύντομα.
Το Phi-3 δεν έχει ακόμη επαληθευτεί από εξωτερικά ανεξάρτητα μέρη. Microsoft μερικές φορές μιλά για 25 φορές υψηλότερη απόδοση ή ενεργειακή απόδοση σε ακραίες περιπτώσεις, σε σύγκριση με τους ανταγωνιστές, κάτι που ακούγεται αρκετά υπέροχο. Αν και από την άλλη δεν μπορεί κανείς να ξεχάσει ότι αυτά τα χρόνια πέρασαν Microsoft μας απογαλακτίστηκε λίγο από το γεγονός ότι είναι ξεκάθαρος ηγέτης στις καινοτομίες πληροφορικής και ίσως αυτός είναι ο λόγος που δεν το πιστεύουμε πραγματικά. Προγράμματα που βασίζονται σε AI που ανταποκρίνονται άμεσα και εκτελούνται εκτός σύνδεσης αντί να δημιουργούνται; Αυτό θα ήταν ένα άξιο επιστέγασμα της τρέχουσας επανάστασης. Δυστυχώς, υπάρχει ένα βασικό πρόβλημα.
Διαβάστε επίσης: Όλα για το τσιπ Neuralink Telepathy: τι είναι και πώς λειτουργεί
Phi-3 από Microsoft καταλαβαίνει μόνο αγγλικά
Το Phi-3 δεν καταβρόχθισε τα petabyte που του πετάχτηκαν μαζικά. Η προσεκτική και σχολαστική εκπαίδευση του μοντέλου περιλαμβάνει ένα μικρό πρόβλημα. Το Phi-3 έχει εκπαιδευτεί με πληροφορίες στα Αγγλικά και δεν έχει ιδέα για άλλη γλώσσα ακόμα. Όχι μόνο ουκρανικά, αλλά και γερμανικά, ισπανικά, γαλλικά ή κινέζικα. Φυσικά, αυτό μειώνει σημαντικά την απήχησή του στους περισσότερους χρήστες σε όλο τον κόσμο.
Αλλά σε Microsoft διαβεβαίωσε ότι οι εργασίες για την ανάπτυξη και τη βελτίωσή του βρίσκονται σε εξέλιξη. Αν και δεν πρέπει να εξαπατήσετε τον εαυτό σας από το γεγονός ότι η αγορά της Ουκρανίας αποτελεί προτεραιότητα για οποιαδήποτε από τις μεγάλες εταιρείες. Ως εκ τούτου, θα πρέπει να περιμένουμε πολύ καιρό για την υποστήριξη της ουκρανικής γλώσσας. Αλλά αυτό το γεγονός δεν σταμάτησε ποτέ τους ενθουσιώδεις και όσους θέλουν να συμβαδίζουν με την πρόοδο.
Διαβάστε επίσης: