Ο συν-εφευρέτης του HoloLens Avi Bar-Zeev μοιράζεται: Ο δρόμος προς τα γυαλιά AR παντός καιρού

Ο δρόμος για τα γυαλιά XR παντός καιρού

Για περισσότερα από 30 χρόνια, έχω δουλέψει στο XR, το μετασύμπαν και τους χωρικούς υπολογιστές, συμπεριλαμβανομένης της βοήθειας ή της παροχής συμβουλών σε 10 διαφορετικά έργα ακουστικών XR. Είχα τη μεγάλη τύχη να συνεισφέρω σε μια σειρά έργων από νωρίς, κυρίως αποδεικνύοντας ή απορρίπτοντας απαιτήσεις και ορίζοντας βασικές εμπειρίες χρηστών πριν οι ομάδες ξοδέψουν 1 δισεκατομμύριο δολάρια για την κατασκευή τους. Στην πορεία, πήρα μαθήματα για το τι λειτουργεί και τι όχι. Μερικές φορές, η σωστή απάντηση είναι «δεν είναι ακόμη ώριμη».

Δεν θα αποκαλύψω καμία πληροφορία που ο προηγούμενος εργοδότης μου εξακολουθεί να θεωρεί αποκλειστική. Θα παρέχω συνδέσμους προς δημοσιευμένες πατέντες που μπορούν να μας δώσουν κάποιες πληροφορίες. Αυτός είναι ο πραγματικός σκοπός των διπλωμάτων ευρεσιτεχνίας, είτε το πιστεύετε είτε όχι. Φυσικά, θα απέφευγα τις πατέντες που νομίζω ότι θα προκαλούσαν εικασίες.

Είναι σημαντικό να προσέχετε να μην εκλαμβάνετε οτιδήποτε λέω ή γράφω ως απόδειξη των σχεδίων προϊόντων οποιασδήποτε εταιρείας ή ακόμα και κριτική στις προσπάθειες κανενός. Δεν ήταν καθόλου αυτή η πρόθεσή μου.

Για φόντο, η πρώτη πραγματική εμπειρία XR που έφτιαξα ήταν ένα CAVE. Εκείνη την εποχή, δανείστηκα έναν υπολογιστή 250$,000 και έναν τεράστιο προβολέα και επένδυσα άλλα 30$000 σε πρώτες ύλες. Τα ακουστικά εικονικής πραγματικότητας 100$000 της Disney, τα οποία κατασκευάστηκαν τη δεκαετία του '90, δεν μπήκαν ποτέ στην εμπορική αγορά. Απαιτεί καλώδια που κρέμονται από την οροφή για να αντέχουν το βάρος, αλλά εκατοντάδες χιλιάδες το έχουν δοκιμάσει.

Μέχρι τον Ιανουάριο του 2010, ελπίζω ότι θα είμαστε έτοιμοι να ξεκινήσουμε την ανάπτυξη έτοιμα προς χρήση γυαλιών XR για καταναλωτές. Ήρθε η ώρα να κάνετε μια μεγάλη βουτιά σε αυτό το αργά κινούμενο πεδίο. Επιπλέον, το Google Glass και το Magic Leap εμφανίστηκαν περίπου την ίδια εποχή. Ευτυχώς, ένα από τα καθήκοντα που λάβαμε στην ομάδα επώασης της Microsoft ήταν να βρούμε νέες ιδέες για την επόμενη γενιά του XBox.

«Να είστε επιθετικοί, ακόμη και να μας κάνετε να λέμε «αυτό είναι τρελό», είπε τότε ένα στέλεχος του Xbox.

Σίγουρα έχω «ριζοσπαστικές» ιδέες. Η μικρή μας ομάδα άρχισε σύντομα να εργάζεται πάνω σε μια νέα ιδέα προϊόντος "Screen Zero": την αντικατάσταση όλων των οθονών με μία οθόνη. Ήμουν υπεύθυνος για την τεχνική εξερεύνηση και βοήθησα στον καθορισμό της εμπειρίας στο πρώτο έτος διαμόρφωσης. Οι λόγοι που άφησα δεν αξίζουν τον χώρο σε αυτό το άρθρο. Αλλά μετά από περισσότερα από χίλια άτομα, το HoloLens κυκλοφόρησε το 2016.

Πρόκειται για πρωτοποριακό εξοπλισμό. Αλλά εξακολουθεί να μην είναι ένα φορετό για καταναλωτές παντός καιρού. Κανένα από τα σημερινά Magic Leap 2, Snap Spectacles, Varjo ή Quest.

Λοιπόν, τι ακριβώς χρειάζεται για να επιτύχετε γυαλιά AR που μπορούν να φορεθούν όλη την ημέρα;

1. Μαξιμαλισμός και Μινιμαλισμός

Η μαξιμαλιστική προσέγγιση, όπως αυτή που ακολούθησε η HoloLens, αναφέρεται στην ενοποίηση πολλών αισθητήρων, αλγορίθμων και ισχύος σε ένα σύστημα υψηλής τεχνολογίας. Μόλις έχουμε διευθετήσει τη μηχανική και την εμπειρία χρήστη, μπορούμε θεωρητικά να την περιορίσουμε. Αλλά αυτό απαιτεί περισσότερο χρόνο και μπορεί να χρειαστεί έως και μια δεκαετία για ορισμένα ηλεκτρονικά να βελτιστοποιήσουν μόνο την ισχύ.

Η Cambria και παρόμοιες συσκευές είναι εξίσου μαξιμαλιστικές, τόσο πολύ που προσομοιώνουν το AR με μια τεράστια αδιαφανή οθόνη VR και πολλαπλές κάμερες, με ακριβή έλεγχο pixel-pixel στον συνδυασμό πραγματικότητας και προσομοίωσης. Το Maximalism είναι καλύτερο για εφαρμογές προηγμένης τεχνολογίας και βασική Ε&Α. Κάποιοι υποστηρίζουν ότι ακόμα κι αν οι εφαρμογές είναι πιο βιομηχανικές, είναι τα μόνα εργαλεία που λειτουργούν αυτή τη στιγμή.

Ωστόσο, ακόμη και οι πιο ακριβές συσκευές που κυκλοφορούν σήμερα στην αγορά δεν μπορούν να φορεθούν όλη μέρα και δεν μπορούν να χρησιμοποιηθούν για συνηθισμένες κοινωνικές αλληλεπιδράσεις ή ακόμα και για να περπατήσετε με ασφάλεια στους δρόμους. Τα μαξιμαλιστικά χαρακτηριστικά όπως οι οθόνες ολογραφικών ή φωτεινών πεδίων δεν έχουν ακόμη ωριμάσει.

Από την άλλη πλευρά, οι συσκευές με μινιμαλιστική προσέγγιση περιλαμβάνουν τα Amazon Echo Frames, τα Snap Spectacles και τα Ray-Ban Stories, για να αναφέρουμε μερικά. Συσκευάζουν μόνο τεχνολογία που ταιριάζει στους τρέχοντες περιορισμούς των φορητών γυαλιών, συχνά παραλείποντας εντελώς τις οθόνες.

Ακόμα, μπορούν τα γυαλιά χωρίς οθόνη να μετρούν ως XR;

Εάν ενισχύει την προοπτική της κατάστασης, θα έλεγα ναι. Ένα podcast ή μια μίξη μουσικής δεν είναι XR επειδή εξακολουθεί να μην αντιλαμβάνεται εσάς ή το τρέχον περιβάλλον σας. Οι εφαρμογές πλοήγησης GPS ταιριάζουν λίγο, αλλά δεν αρκούν. Η προσθήκη χωρικού ήχου και καμερών για τεχνητή νοημοσύνη και ακριβής τοποθέτηση μετράει σίγουρα ως XR, ακόμη και χωρίς οθόνη.

Οι μινιμαλιστικές προσεγγίσεις μπορούν να πουλήσουν περισσότερα προϊόντα βραχυπρόθεσμα και συνήθως εστιάζουν σε μια συγκεκριμένη πτυχή και την καθιστούν την καλύτερη λύση στην κατηγορία τους. Εάν μπορείτε να το κάνετε σωστά, όπως το Walkman και το iPhone, μπορείτε να πουλήσετε για δισεκατομμύρια δολάρια. Αλλά μην νομίζετε ότι ο μινιμαλισμός είναι εύκολος, γιατί από πολλές απόψεις, είναι δύσκολο να τα καταφέρετε καλά.

2. Καλύτερη μέθοδος

Ήλπιζα ότι το Screen Zero του XBox ήταν ένα υβρίδιο ανάμεσα σε μινιμαλιστικά γυαλιά και μια μαξιμαλιστική κονσόλα. Τα γυαλιά AR πρέπει να είναι παρόμοια σε μέγεθος με τα γυαλιά Oakley ή μικρότερα. Ο επόμενος οικοδεσπότης θα κάνει το μεγαλύτερο μέρος της άρσης βαρών για έως και τέσσερα ζευγάρια γυαλιών στο ίδιο δωμάτιο.

3. Εργονομία, κατανάλωση ενέργειας και θερμότητα

Γιατί να χωρίσετε; Έχει να κάνει με την κατανάλωση ενέργειας, ή ακριβέστερα: τη θερμότητα.

Όλη η εργασία ενός υπολογιστή καταλήγει με τη μορφή θερμότητας και άλλες μπορεί να περιλαμβάνουν φωτόνια ή/και μηχανικές μονάδες κίνησης, όπως ο ήχος. Πόση θερμότητα; Ένα ζευγάρι ελαφριά γυαλιά AR μπορεί να παράγει περίπου ένα watt ενέργειας.

Ένα τυπικό smartphone μπορεί να παράγει περίπου 10 watt και στη συνέχεια να θερμαίνεται. Ένας κεντρικός υπολογιστής ή ένας υπολογιστής μπορεί να καταναλώνει 10-100 φορές περισσότερη ενέργεια από ένα smartphone και επομένως 100-1000 φορές περισσότερη ενέργεια από τα γυαλιά. Σκεφτείτε μικροσκοπικούς φακούς LED και γιγάντια στεγνωτήρια ρούχων. Αυτή είναι μια τεράστια διαφορά στην κατανάλωση ενέργειας.

Για να εξισορροπήσουμε την κατανάλωση ενέργειας, χρειαζόμαστε λύσεις παρόμοιες με αυτές που εργάζομαι από το 2010, όπως συγχώνευση δεδομένων, διαχωρισμός απόδοσης, βελτιστοποιημένες ροές απόδοσης. Για χαμηλότερα εύρη ζώνης, η απόδοση χρονικής στρέβλωσης βάσει παρακολούθησης ματιών λειτουργεί καλά και καλύπτει καθυστερήσεις επικοινωνίας.

Η CPU, η κάμερα, η οθόνη και η μνήμη RAM καταναλώνουν πολλή ενέργεια και παράγουν πολλή θερμότητα. Έτσι, το μυστικό είναι να τα χρησιμοποιείτε με φειδώ στις περισσότερες περιπτώσεις. Σκεφτείτε προσαρμοσμένο υλικό χαμηλής κατανάλωσης: νέοι αισθητήρες με βάση τα συμφραζόμενα, οθόνες εξαιρετικά χαμηλής κατανάλωσης και αλγόριθμοι που έξυπνα «ξυπνούν».

Αυτό θα πάρει χρόνο για να επιλυθεί. Για παράδειγμα, εάν το οπτικό σας ποντίκι και ο ελεγκτής κεντρικού υπολογιστή δεν είναι σε κατάσταση αναμονής, οι μπαταρίες τους θα εξαντληθούν, οπότε ξεκινούν με μια συνδεδεμένη λύση. Σήμερα, ένα οπτικό ποντίκι μπορεί να αντέξει αρκετούς μήνες με μια μικρή μπαταρία.

4. Έξω από το σαλόνι

Για να υποστηρίξουν μια μεγάλη ποικιλία περιπτώσεων χρήσης, τα οπτικά διαφανή συστήματα AR πρέπει να αποκλείουν ιδανικά το φως από φωτεινά περιβάλλοντα (ακόμη και από φωτισμό παραθύρων ή σαλονιού), να εξατομικεύουν καλύτερα και να συνδυάζουν τον χωρικό ήχο με την πραγματικότητα, να προσαρμόζουν την οπτική εστίαση, να καταγράφουν και να αναπαράγουν εικονικά ολογράμματα άλλων κι αλλα.

Ακόμα κι αν η συσκευή είναι χωρισμένη στην κύρια μονάδα και στο ακουστικό, υπάρχει ακόμα πάρα πολλά «πράγματα» στο κεφάλι μας. Μια τεράστια εργονομική πρόκληση είναι να απαλλαγούμε από τους τεράστιους ιμάντες που εξακολουθούν να χρησιμοποιούν οι περισσότερες συσκευές XR που κάνουν τα ακουστικά να μοιάζουν με σφάλματα που αγκαλιάζουν το πρόσωπο.

Οποιοδήποτε είδος ιμάντων που απαιτεί τέντωμα θα περιορίσει την ποικιλομορφία της βάσης του χρήστη (λαμβάνοντας υπόψη τις διακυμάνσεις του μεγέθους της κεφαλής και την ευαισθησία σε μπερδεμένα μαλλιά) και θα μειώσει την πιθανότητα χρήσης γυαλιών. Αυτό σημαίνει ότι ο εξοπλισμός παντός καιρού πρέπει να είναι εξαιρετικά ελαφρύς και γενικά να ταιριάζει εξίσου καλά με τα κανονικά γυαλιά.

Το να φτάσετε στο μέγεθος των γυαλιών Oakley ή μικρότερο συχνά σημαίνει μετακίνηση μεγαλύτερου μέρους του συστήματος σε κλιπ ή τηλεχειριστήριο. Το Magic Leap προσφέρει ένα τέτοιο κλιπ. Έχω παρατηρήσει συσκευές XR που χρησιμοποιούν μια ρύθμιση ζώνης λαιμού, που σημαίνει ότι κρεμούν τα εξαρτήματα υπολογιστών γύρω από το λαιμό του καταναλωτή. Με αυτόν τον διαχωρισμένο σχεδιασμό, όσο πιο ξεχωριστή εργασία γίνεται, τόσο πιο ελαφρύ μπορεί να είναι το συγκρότημα ματιού/κεφαλιού.

Το 2010, προσωπικά με ενδιέφερε περισσότερο ο δικέφαλος γιατί ήταν ένα σημείο άγκυρας και μια μικρή γραμμή αν χρειαζόταν. Αυτό κρατά τα βαρύτερα και θερμότερα εξαρτήματα μακριά από το κεφάλι και το λαιμό και έχει μεγάλη επιφάνεια για να διαχέει τη θερμότητα. Οι βιοαισθητήρες που βρίσκονται στο χέρι μπορούν επίσης να ανιχνεύουν χειρονομίες, παρόμοια με τον τρόπο που το Meta χρησιμοποιεί τη συσκευή Control plus Labs για να διαβάζει χειρονομίες από τον καρπό. Με αυτόν τον τρόπο, οι σχεδιαστές προϊόντων μπορούν ακόμα να πουν "χωρίς καλώδια".

5. Εστίαση

Επειδή ένας μεγάλος αριθμός ενηλίκων χρειάζεται να διορθώσει την κοντινή και τη μακρινή όραση, ένας φορητός παράγοντας φόρμας για όλη την ημέρα χρειάζεται συχνά να μεγεθύνει και να εστιάζει τον πραγματικό κόσμο για εμάς. Τουλάχιστον, αυτό σημαίνει ότι οι φακοί πρέπει να υποστηρίζουν προσαρμοσμένες οπτικές παραμέτρους όρασης. Μια εταιρεία κυματοδηγών που εξαγόρασε νωρίτερα η Snap ανακοίνωσε σχέδια για ενσωμάτωση των σχετικών οπτικών σε φακούς λειτουργικής όρασης, αλλά αυτό ήταν δύσκολο.

Αρκεί όμως μία παράμετρος όρασης; Πολλοί ενήλικες χρειάζονται μόνο γυαλιά για ανάγνωση ή οδήγηση (υπερμετρωπία), πράγμα που σημαίνει ότι χρειάζονται γυαλιά για να μπορούν να αλλάξουν σε διαφορετικές καταστάσεις. Χρειαζόμαστε, λοιπόν, δύο ή τρία ζευγάρια ακριβά γυαλιά; Ή διεστιακά, τριεστιακά, που λυγίζουν ανάλογα το φως ανάλογα με το πού κοιτάζετε; (Πρακτικό, αλλά όχι ιδανικό)

Μια λύση που πιέζω είναι η δυναμική οπτική ρύθμιση, επιτρέποντας στο ίδιο ζευγάρι γυαλιά να υποστηρίζει ανάγνωση ή οδήγηση, ακόμη και να μεγεθύνει τα ψιλά γράμματα και τις μακρινές πινακίδες. Αυτό επιτρέπει επίσης σε περισσότερους φίλους να το δοκιμάσουν εύκολα. Φανταστείτε αν το XBox σας υποστηρίζει μόνο παιχνίδια για έναν παίκτη και έχετε δύο ή τρεις φίλους στο δωμάτιο; Κάτι κακόγουστο.

Οι τρέχουσες καλύτερες μέθοδοι δυναμικής εστίασης περιλαμβάνουν Alvarez (μηχανική διαφάνεια) και ρυθμιζόμενους φακούς γεμάτους υγρό. Οι μηχανικές λύσεις τείνουν να μειώνουν την αξιοπιστία. Υπάρχει αρκετός όγκος Ε&Α για τη στοίβαξη ειδικών οθονών LCD και την ηλεκτρονική αλλαγή εστίασης. Το Mega απέκτησε μια εταιρεία για να αναλάβει το έργο.

Στη συνέχεια, υπάρχει το πρόβλημα της εστίασης της εικονικής εικόνας με βάση την τρέχουσα οπτική γωνία. Το Avegant και το Magic Leap μας έδειξαν πώς να αλλάζουμε γρήγορα μεταξύ δύο εστιακών αποστάσεων, προσομοιώνοντας μια απλή απεικόνιση πεδίου φωτός, η οποία είναι σημαντική για την πλοήγηση σε "εικονικά αντικείμενα" στη σωστή εστιακή απόσταση εντός του ανοίγματος των φτερών. Έχω εξετάσει αρκετούς τρόπους για τη συνεχή σάρωση της εστιακής απόστασης στο παρελθόν, αλλά οι εμπορικές οθόνες δεν είναι αρκετά γρήγορες στην πράξη.

Η παρακολούθηση των ματιών σας μπορεί να βοηθήσει στην επεξεργασία, να μειώσει τον υπολογιστικό φόρτο και να παρέχει πιο φυσικές πληροφορίες χρήστη. Είμαι πολύ εξοικειωμένος με το πρόβλημα της παρακολούθησης των ματιών και ενημερώνω τους υπεύθυνους λήψης αποφάσεων για τους κινδύνους από νωρίς.

Τέλος, από την πλευρά των επιχειρήσεων, η Luxottica κερδίζει πολλά χρήματα πουλώντας γυαλιά με χαμηλό κόστος και υψηλή τιμή. Κυριαρχεί στην αγορά σήμερα και στις περισσότερες μάρκες γυαλιών που γνωρίζετε. Οι εταιρείες γυαλιών XR πρέπει να συνεργαστούν μαζί τους ή εναντίον τους, καμία από τις δύο δεν είναι εύκολη επιλογή. Ο Meta επέλεξε να συνεργαστεί μαζί τους για να αναπτύξει τα γυαλιά Ray-Ban. Οι ανταγωνιστές της εταιρείας περιλαμβάνουν τον Warby Parke και άλλους μικρούς παίκτες. Δεν μπορείτε να πουλήσετε καλά νέα προϊόντα χωρίς καλά κανάλια διανομής και συνεργάτες.

6. Αντίθεση

Το Magic Leap 2 προσφέρει έναν τρόπο για να θολώσετε επιλεκτικά τον φυσικό κόσμο. Εργάζομαι πάνω σε αυτό το πρόβλημα από το 2010, αλλά ακόμα δεν υπάρχει τέλεια λύση. Μια σειρά από μηχανικούς οπτικών δεν το θεώρησαν απαραίτητο. Οι λόγοι είναι οι εξής:

Είναι γενικά κατανοητό γιατί οι διαφανείς "πρόσθετες" οθόνες δεν μπορούν να αποδώσουν "μαύρες". RGB{{0}},0,0 για μαύρο, το οποίο στην πραγματικότητα δεν προσθέτει τίποτα και δεν είναι ορατό στο υπάρχον φως. Ωστόσο, μπορούμε εύκολα να σας ξεγελάσουμε ώστε να αντιλαμβάνεστε τα μαύρα και τις σκιές πλησιάζοντας πιο φωτεινές περιοχές.

Το πραγματικά δύσκολο πρόβλημα προκύπτει όταν βγάζετε τα γυαλιά XR σας σε εξωτερικούς χώρους και κοιτάτε έναν τοίχο που φωτίζεται από το έντονο ηλιακό φως, πιθανώς κοντά σε μια σκοτεινή ή σκιερή περιοχή. Ορισμένες περιοχές μπορεί να είναι 1000 έως 10000 φορές πιο φωτεινές από άλλες. Η αντίθεση είναι τόσο έντονη σε εσωτερικούς χώρους που τα γραφικά AR φαίνονται εντελώς τρομακτικά. Οι οπτικοί μηχανικοί συχνά υποστηρίζουν ότι για να το ξεπεράσεις αυτό, πρέπει να δώσεις περισσότερο φως. Τα οπτικά τους είναι συνήθως μόνο 1 τοις εκατό -10 τοις εκατό αποδοτικά, πράγμα που σημαίνει ότι το μεγαλύτερο μέρος του φωτός δεν εισέρχεται καν στα μάτια σας και απλώς προσθέτει περισσότερη θερμότητα. Θυμηθείτε ότι δεν μπορείτε απλώς να σχεδιάσετε ένα σύστημα γύρω από τα οπτικά, επειδή η θερμότητα είναι ένας από τους μεγαλύτερους περιοριστικούς παράγοντες.

Η πραγματικότητα είναι ότι οποιοδήποτε ζευγάρι διαφανών γυαλιών AR ή βίντεο πρέπει να λαμβάνει υπόψη την πραγματική σκηνή όταν κάνει οπτικές βελτιώσεις. Στην περίπτωση της διαφάνειας, τα γυαλιά συχνά πρέπει να αφαιρούνται από τον πραγματικό φωτισμό για να ληφθεί το επιθυμητό τελικό χρώμα. Στην περίπτωση της προοπτικής βίντεο, η οθόνη μπορεί να αντικαταστήσει ολόκληρο το εικονοστοιχείο, αλλά οποιαδήποτε διαφάνεια στην εικονική τρισδιάστατη σκηνή πρέπει να αναμιχθεί με το χρώμα του φόντου που διαβάζεται από την κάμερα. Οπότε αυτό που κοιτάτε βασικά είναι μια κάμερα και κύκλωμα υψηλής ενέργειας που είναι είτε διαφανή είτε αδιαφανή. Αυτός είναι ένας τεράστιος σχεδιαστικός περιορισμός, καθώς προσθέτει ενέργεια και βάρος ενώ μπλοκάρει τα μάτια.

Επιφανειακά, η επιλεκτική σκίαση με καθαρά γυαλιά είναι λιγότερο δαπανηρή από την προσθήκη ισχύος στην οθόνη ή την προσθήκη κάμερας. Το 2010, τοποθέτησα μια απλή μονόχρωμη οθόνη LCD μπροστά στον κυματοδηγό. Λειτουργεί όπως αναμενόταν, αποδίδοντας τρισδιάστατα συμπαγή αντικείμενα με απαλά μαύρα περιγράμματα. Αλλά έχει μειονεκτήματα, συμπεριλαμβανομένης της ανάγκης για δυναμική βαθμονόμηση, η LCD παραμορφώνει το πραγματικό φως (κυρίως τη διάθλαση των συρμάτων ελέγχου). Έχει φτωχό δυναμικό εύρος από μόνο του. Σε εξωτερικούς χώρους, μερικές φορές χρειάζεστε σχεδόν 100 τοις εκατό αδιαφάνεια. Σε εσωτερικούς χώρους, ειδικά σε κοινωνικές καταστάσεις και τηλεπαρουσία, θέλετε να είστε πιο διαφανείς για να βλέπετε τους ανθρώπους απευθείας στα μάτια.

Η κύρια αντίρρηση σε αυτήν την προσέγγιση είναι ότι οι οθόνες LCD ή άλλοι διαμορφωτές χωρικού φωτός είναι συχνά εκτός εστίασης, μια ίντσα από το μάτι. Αλλά η παραμόρφωση είναι τέτοια που με τις σωστές διαφανείς οθόνες AR και μερικούς γρήγορους αισθητήρες χαμηλής κατανάλωσης, τα γυαλιά ηλίου σας μπορούν να μπλοκάρουν το φως του ήλιου, τη λάμψη ή τους προβολείς χωρίς να μειώνουν την όρασή σας αλλού. Μπορείτε να αμαυρώσετε τον κόσμο και να κάνετε τα προτεινόμενα βιβλία να φαίνονται λαμπερά. Με πιο προηγμένη αφαίρεση (φιλτράρισμα), τα γυαλιά μπορούν ακόμη και να ξαναχρωματίσουν τον κόσμο, να βελτιώσουν τη νυχτερινή όραση και ακόμη και να παρέχουν βιομετρική ανάδραση όταν αισθάνεστε ανήσυχοι ή αποσπασμένοι.

Έφτιαξα διάφορα επίδειξη και πέρασα πολύ καιρό ψάχνοντας έναν καλύτερο τρόπο. Αλλά όλα έχουν ορισμένα μειονεκτήματα. Ωστόσο, η υλοποίηση του Magic Leap 2 μου δίνει ελπίδα ότι τα βασικά ζητήματα θα επιλυθούν.

7. Δίκτυο

Τα ραδιόφωνα απαιτούν επίσης ενέργεια, επομένως υπάρχει πάντα μια ανταλλαγή σε ένα σύστημα διαχωρισμού. Το πιο πολλά υποσχόμενο μέλλον έγκειται στη χρήση ραδιοσυχνοτήτων υψηλότερης τεχνολογίας για την επίτευξη χαμηλότερης ισχύος και υψηλότερου εύρους ζώνης από σήμερα. Αλλά η κύρια πρόκληση είναι ότι αυτή η συχνότητα δεν μπορεί να περάσει από δέρμα ή τοίχους (καλώς ή κακώς). Επομένως, η λύση πρέπει να είναι πολύ έξυπνη, καθώς τα ραδιοκύματα αναπηδούν και ακτινοβολούν γύρω από δωμάτια και ανθρώπους, επομένως ίσως χρειαστεί να χρησιμοποιηθούν περισσότεροι πομποί από ό,τι σήμερα. Προφανώς, αυτό προσθέτει κόστος και πολυπλοκότητα.

Για φορητές συσκευές όλη την ημέρα, απαιτεί επίσης να είναι διαθέσιμο το δίκτυο πριν πουλήσει προϊόντα που βασίζονται σε αυτό. Αυτός ο περιορισμός είναι ο μεγαλύτερος λόγος για τον οποίο οι επιχειρήσεις δεν κυκλοφορούν ποτέ τη λύση split rendering που υποστηρίζω. Το 5G είναι πιο κοντά σε αυτό που χρειαζόμαστε, αλλά τουλάχιστον στις ΗΠΑ, αυτό λύνει ως επί το πλείστον το πρόβλημα της χαμηλότερης καθυστέρησης και των περισσότερων ατόμων που χρησιμοποιούν το δίκτυο ταυτόχρονα. Χρειαζόμαστε περισσότερα από 5G, αλλά είναι μια καλή αρχή.

Για να απαλλαγούμε από τον αρχικό "οικοδεσπότη" (ή παρόμοιο) στο δωμάτιο, διατηρώντας παράλληλα έναν μικρό και ελαφρύ παράγοντα φόρμας, χρειαζόμαστε έναν τρόπο να "εξυψώσουμε" τους υπολογιστές, συνδυασμένο με τρόπο που να μην παραβιάζει το απόρρητό μας. Η αποστολή των βιομετρικών δεδομένων αισθητήρων τους σε οποιαδήποτε λύση άκρης ή cloud είναι πολύ ανησυχητική για οποιονδήποτε, επειδή μπορεί εύκολα να γίνει κατάχρηση.

8. Κάμερα

Η τοποθέτηση της κάμερας στα γυαλιά είναι δύσκολη υπόθεση. Το Google Glass έχει κάνει πολλά λάθη στην κοινωνική αποδοχή και έχει δεχθεί εκτεταμένες επιθέσεις. Αλλά το Snap φαίνεται να έχει λίγα προβλήματα από αυτή την άποψη. Ταυτόχρονα, το Facebook εργάζεται για την καταγραφή των λεπτομερειών της ζωής του καθενός, πιθανώς για να προσφέρει πιο εξατομικευμένες διαφημίσεις, είτε μας αρέσει είτε όχι.

Ορισμένες κάμερες είναι ενεργοβόρες, όπως η ψηφιοποίηση 3D σκηνής και η ψηφιακή απόφραξη ανθρώπων ή αντικειμένων. Για να τοποθετήσετε σωστά τα τρισδιάστατα γραφικά, πρέπει να παρακολουθείτε συνεχώς το κεφάλι στο διάστημα και οι κάμερες εξακολουθούν να είναι η κορυφαία λύση. Αξιοποιώντας τους αισθητήρες IMU, αυξάνουμε την κατανάλωση ενέργειας.

Η λήψη φωτογραφιών ή βίντεο είναι μια αρκετά δημοφιλής περίπτωση χρήσης, ειδικά αν είναι πιο φυσική και βολική από άλλες συσκευές. Ωστόσο, λόγω περιορισμών μεγέθους και ισχύος, η ποιότητα των φωτογραφιών θα είναι χαμηλότερη από αυτή ενός τυπικού smartphone. Η παροχή ενός μικρού λευκού φωτός στο πλαίσιο δεν αρκεί για να λύσει το περίπλοκο πρόβλημα της κοινωνικής έγκρισης.

Η κατανόηση της σκηνής είναι ευκολότερο να φανταστεί κανείς ως κύριο χαρακτηριστικό των γυαλιών κάμερας, εν μέρει επειδή δεν χρειάζεται να τραβήξει φωτογραφίες άλλων ανθρώπων, αλλά το πιο σημαντικό είναι ότι ανοίγει την πιο σημαντική νέα περίπτωση χρήσης για να φοράτε γυαλιά όλη την ημέρα: την κατανόηση της κατάστασης.

9. Εμπειρία

Το 2010, η Ε&Α που ελπίζω περισσότερο να αναπτύξω είναι τα γυαλιά AR που υποστηρίζουν ισχυρές δυνατότητες παρακολούθησης ματιών και παρακολούθησης σώματος και εξερευνούν μια πιο φυσική διεπαφή χρήστη χωρικών υπολογιστών πέρα ​​από το παραδοσιακό "ορθογώνιο μέσα σε ένα ορθογώνιο" υπολογιστών και ποντικιών. Ενώ το υλικό έχει σίγουρα τους περιορισμούς του, η ευρεία υιοθέτηση του XR απαιτεί από κάποιον να αντιμετωπίσει το βιωματικό ερώτημα «πώς» να αλληλεπιδράσετε στο μέλλον; Το "3D box in a box" σαφώς δεν είναι. Έχουμε λοιπόν πολλή δουλειά ακόμα.

Ενώ η Meta επικεντρώνει τις προσπάθειές της στο VR στο να περάσει το λεγόμενο "Visual Turing Test", τα γυαλιά XR που μπορούν να φορεθούν όλη την ημέρα πρέπει να είναι πιο χρήσιμα από άλλα. Πολλοί φαντάζονται επίπεδα ή κανάλια AR να διαπερνούν την πραγματικότητά μας, να επισημαίνουν όλα όσα βλέπουμε, να προσθέτουν πληροφορίες, να λένε χωρικές ιστορίες σε 3D και να σχεδιάζουν εκ νέου τον κόσμο. Αν και αυτό είναι πιθανό να είναι κατ' απαίτηση, αυτή δεν είναι η καθημερινή εμπειρία που θα περίμενα.

Τις περισσότερες φορές, οι άνθρωποι θέλουν να βελτιώσουν αυτό που κάνουν συχνά: να επικοινωνήσουν, να πλοηγηθούν, να ανακαλύψουν τον κόσμο γύρω μας, να κατανοήσουν και ακόμη και να αλλάξουν ένα μέρος, να ψωνίσουν, να δοκιμάσουν περιεχόμενο και να κερδίσουν χρήματα από την εργασία. Για να είναι επιτυχημένα, τα γυαλιά XR πρέπει να είναι καλύτερα από ό,τι κάνουμε με τα smartphone ή άλλες συσκευές.

Δείτε τι δεν μπορεί να κάνει ένα smartphone. Φανταστείτε ένα ζευγάρι γυαλιά κανονικής εμφάνισης που προσαρμόζουν δυναμικά την εστίαση και αποκλείουν επιλεκτικά το φως. Μπορούν να σας μιλήσουν προληπτικά και ιδιωτικά, χωρίς να χρειάζεται να πληκτρολογήσετε κείμενο ή να ρωτήσετε προφορικά. Αυτό από μόνο του θα ήταν ένα προϊόν δισεκατομμυρίων δολαρίων. Τέτοια γυαλιά μπορούν να σας βοηθήσουν να θυμάστε πράγματα ή να παρέχετε αξιόπιστες προτάσεις ως μέρος της καθημερινής σας εμπειρίας (έναντι διαφημίσεων push).

Η πιο σημαντική έρευνα που έχω κάνει σε αυτόν τον τομέα είναι η ασύγχρονη επικοινωνία χρησιμοποιώντας μη οπτικά γυαλιά XR. Οι δυνατότητες φωνής και κειμένου των smartphone είναι αρκετά καλές σήμερα, αλλά ξέρουν πότε δυσκολεύεστε να εστιάσετε; Μπορούν να σας βοηθήσουν να αλλάξετε περιβάλλον την κατάλληλη στιγμή για να διατηρήσετε τη ροή της δουλειάς ή του παιχνιδιού; Δείτε πώς μπορούν να λάμπουν τα γυαλιά (αν υποθέσουμε ότι μπορούμε να εμπιστευτούμε τον κατασκευαστή).

Όλα όσα περιέγραψα είναι πολύ σκληρά, και η σχετική τεχνολογία είναι σχεδόν ανύπαρκτη. Δεν είναι ακόμα σε μια μινιμαλιστική πίστα, αλλά αυτό οφείλεται στο ότι δεν έχουμε δώσει προτεραιότητα σε σχέση με τη σμίκρυνση της οπτικής και τη μεγιστοποίηση του οπτικού πεδίου. Αλλά αν κάνετε την ερώτηση: Τι είδους γυαλιά XR μπορούν να πετύχουν εκεί που άλλοι δεν το έχουν πετύχει; Εξακολουθώ να πιστεύω ότι όλα όσα ανέφερα παραπάνω θα σας βοηθήσουν να δημιουργήσετε ένα εξαιρετικό προϊόν.