Το σύστημα kinect έγινε γνωστό στο ευρύ κοινό όταν παρουσιάστηκε σαν καινοτόμος μέθοδος χειρισμού παιχνιδιών στις νέες γενιές κονσόλων στα βιντεοπαιχνίδια.
Το συστημα κινέκτ όμως είναι κάτι πολύ παραπάνω. Είναι η εφαρμογή του συνδυασμού hardware και software, δηλαδή συσκευών και ηλεκτρονικού λογισμικού.
Το Kinect περιέχει τρία ζωτικά κομμάτια που συνεργάζονται για να ανιχνεύσουν την κίνηση σας και να δημιουργήσουν τη φυσική εικόνα στην οθόνη: μία έγχρωμη VGA βιντεοκάμερα RGB, έναν αισθητήρα βάθους και ένα μικρόφωνο πολλαπλών συστοιχιών.
Η κάμερα ανιχνεύει τα στοιχεία του κόκκινου, του πράσινου και του μπλε χρώματος καθώς και τα χαρακτηριστικά του σώματος και του προσώπου. Αυτό βοηθά στην αναγνώριση προσώπου και την αναγνώριση σώματος.
Ο αισθητήρας βάθους περιέχει έναν μονόχρωμο αισθητήρα CMOS και έναν υπέρυθρο προβολέα που βοηθούν στη δημιουργία 3D εικόνων σε όλο το δωμάτιο. Μετράει επίσης την απόσταση κάθε σημείου του σώματος του παίκτη μεταδίδοντας αόρατο εγγύς υπέρυθρο φως και μετρώντας τον "χρόνο πτήσης" του αφού αντανακλά τα αντικείμενα.
Το μικρόφωνο είναι στην πραγματικότητα μια σειρά από τέσσερα μικρόφωνα που μπορούν να απομονώσουν τις φωνές της συσκευής αναπαραγωγής από άλλους θορύβους υποβάθρου επιτρέποντας στους παίκτες να χρησιμοποιούν τις φωνές τους ως πρόσθετο χαρακτηριστικό ελέγχου.
Η αναβαθμισμένη έκδοση του Kinect χρησιμοποιεί μια ευρυγώνια κάμερα χρονικής διάρκειας και επεξεργάζεται 2 gigabits δεδομένων ανά δευτερόλεπτο για να διαβάσει το περιβάλλον της. Το νέο Kinect έχει μεγαλύτερη ακρίβεια, με την τριπλάσια πιστότητα έναντι του προκατόχου του και μπορεί να παρακολουθεί χωρίς ορατό φως χρησιμοποιώντας ένα ενεργό αισθητήρα IR. Έχει ένα 60% ευρύτερο οπτικό πεδίο που μπορεί να ξεκινήσει την ανίχνευση από το 1 μέτρο από τον αισθητήρα, σε σύγκριση με τα 3 μέτρα που έχει το αρχικό Kinect, και μπορεί να εντοπίσει έως και 6 σκελετικές δομές ταυτόχρονα.
Μπορεί επίσης να ανιχνεύσει τον καρδιακό ρυθμό ενός ανθρώπου, την έκφραση του προσώπου, τη θέση και τον προσανατολισμό των 25 επιμέρους αρθρώσεων (συμπεριλαμβανομένων των αντίχειρων), το βάρος που τοποθετείται σε κάθε άκρο, την ταχύτητα των κινήσεων των παικτών και τις χειρονομίες των κομματιών που εκτελούνται με έναν τυποποιημένο ελεγκτή. Η έγχρωμη κάμερα καταγράφει βίντεο 1080p που μπορούν να εμφανιστούν στην ίδια ανάλυση με την οθόνη προβολής, επιτρέποντας μια ευρεία σειρά σεναρίων. Εκτός από τη βελτίωση των επικοινωνιών βίντεο και των εφαρμογών ανάλυσης βίντεο, αυτό παρέχει μια σταθερή εισροή για την κατασκευή διαδραστικών εφαρμογών. Το μικρόφωνο του Kinect χρησιμοποιείται για την παροχή φωνητικών εντολών για ενέργειες όπως πλοήγηση, στο μενού του προγράμματος η και να ξυπνήσετε την κονσόλα ή τον υπολογιστή από κατάσταση αναστολής για παράδειγμα.
Το Λογισμικό
Το λογισμικό είναι αυτό που κάνει το Kinect μια πρωτοποριακή συσκευή. Οι προγραμματιστές για το Kinect συγκέντρωσαν ένα απίστευτο ποσό δεδομένων σχετικά με τη δέσμευση κίνησης των πραγματικών κινούμενων αντικειμένων σε σενάρια πραγματικής ζωής. Η επεξεργασία όλων αυτών των δεδομένων με τη χρήση ενός ειδικού αλγόριθμου μάθησης μέσω τεχνητής νοημοσύνης επιτρέπει στο Kinect να αντιστοιχίζει τα οπτικά δεδομένα που συλλέγει σε μοντέλα που αντιπροσωπεύουν άτομα διαφορετικού υποβάθρου (ηλικία, ύψος, φύλο, τύπο σώματος, ρούχα και άλλα). Αυτός είναι μόνο ένας από τους τρόπους με τους οποίους οι προγραμματιστές ήταν σε θέση να βοηθήσουν το Kinect να «μάθει» για το περιβάλλον του και τι πραγματικά βλέπει.
Ο «εγκέφαλος» του Kinect είναι πραγματικά το μυστικό. Αποθηκευμένο στο σύστημα είναι αρκετή νοημοσύνη για να αναλύσει τι βλέπει και να ευθυγραμμίσει αυτό με την αποθηκευμένη συλλογή των σκελετικών δομών για να ερμηνεύσει τις κινήσεις σας. Μόλις ο εγκέφαλος έχει αρκετά δεδομένα για τα μέρη του σώματός σας, εξάγει αυτά τα δεδομένα αναφοράς σε ένα απλοποιημένο σχήμα 3D avatar. Πέρα από τις μετρήσεις των κινήσεων των ανθρώπων, το Kinect πρέπει επίσης να κρίνει τις αποστάσεις των διαφόρων σημείων στο σώμα σας σε όλο τη διάρκεια της ανίχνευσης. Για να γίνει αυτό, χρησιμοποιεί ένα πλήθος αισθητήρων και αναλύει όλα αυτά τα δεδομένα 30 φορές το δευτερόλεπτο.
Έξυπνο Λογισμικό
Τα δεδομένα που τροφοδοτούνται από την κάμερα υποβάλλονται άμεσα σε επεξεργασία από to λογισμικό. Προσδιορίζει τα σχήματα που θα μπορούσαν να είναι ανθρώπινα από τα κεφάλια και τα άκρα, οπότε το Kinect δεν πιστεύει ότι η πολυθρόνα ή η γάτα είναι αυτά που προσπαθούν να κινηθούν στον υπό ανίχνευση χώρο του κινέκτ. Αυτό το λογισμικό ήδη κατανοεί πώς μπορεί να μετακινηθεί ένα ανθρώπινο σώμα, οπότε ξέρει ότι το κεφάλι σας δεν μπορεί να γυρίσει 360 μοίρες στο λαιμό σας και καταγράφει την κίνηση μέσα από περισσότερα από 48 σημεία άρθρωσης.
Η τοποθέτηση του υλικού και του λογισμικού μαζί δίνουν στο Kinect τη δυνατότητα να παράγει εικόνες 3D και να αναγνωρίζει τα ανθρώπινα όντα στο οπτικό πεδίο του. Μπορεί να αναλύσει το πρόσωπο μπροστά του και να περάσει από πολλαπλά "φίλτρα" για να προσδιορίσει ποιος τύπος δομής σώματος ταιριάζει με τον σωστό τύπο που έχει προγραμματιστεί στο σύστημά του. Τα δεδομένα μεταφέρονται διαρκώς μεταξύ του Kinect και των αντικειμένων του οπτικού του πεδίου.
Για όλους αυτούς τους λόγους το Σύστημα Κινέκτ έχει γίνει ένα πολύτιμο εργαλείο στο σύγχρονο Ghost Hunting και στην ανάλυση παραφυσικών φαινομένων.
Βέβαια δεν περιορίζονται οι εφαρμογες του Κινεκτ μόνο στα βιντεοπαιχνιδια και στο ghost hunting, αλλά και σε πολλές άλλες οι οποίες ακόμα αναπτύσσονται.
Ρομποτικές εφαρμογές.
Επειδή το Kinect διαθέτει υπέρυθρο προβολέα, υπέρυθρη κάμερα και έγχρωμη κάμερα, είναι ένα εξαιρετικό εργαλείο απεικόνισης, ακόμα και για ρομπότ. Προκειμένου να ενισχυθεί η εμβέλεια και η αυτόνομη φύση των ρομπότ, πρέπει να μπορούν να δουν το περιβάλλον γύρω τους.
Νοηματική γλώσσα
Οι φοιτητές της Georgia Tech δημιούργησαν το CopyCat, μια πλατφόρμα που σχεδιάστηκε για να συλλέγει δεδομένα χειρονομίας για το σύστημα αναγνώρισης ASL (American Sign Language) και ως πρακτική εφαρμογή για να βοηθήσει τα κωφαλά παιδιά να αναπτύξουν μνήμη εργασίας και γλωσσικές δεξιότητες ενώ παίζουν το παιχνίδι. Ο αισθητήρας Kinect βοήθησε στην εξάλειψη της ανάγκης για χρωματιστά γάντια με επιταχυνσιόμετρα τοποθετημένα στο χέρι. Ο στόχος είναι να ενθαρρυνθεί η πιο σύνθετη κατασκευή σημείων και όχι η κανονική φράση σημάτων ή σημείων.
Επιστημονικές Εφαρμογές
Πέρυσι, ο φοιτητής Ph.D, Ken Mankoff, έστρωσε το δρόμο του σε ένα μικρό σπήλαιο κάτω από τον παγετώνα Rieperbreen στο Svalbard της Νορβηγίας με ένα σακίδιο που περιείχε φορητό υπολογιστή, μπαταρία και Kinect. Μόλις εισήλθε, χρησιμοποίησε τον αισθητήρα Kinect για να σαρώσει το δάπεδο του σπηλαίου σε 3D για να χαρτογραφήσει το μέγεθός του και τις ανωμαλίες στην επιφάνεια.
Αυτό βοηθάει τους επιστήμονες να καταλάβουν καλύτερα πώς ο πάγος πάνω από τη ροή προς τη θάλασσα. Το Kinect γίνεται γρήγορα ένα σημαντικό εργαλείο λόγω των δεδομένων 3D που συλλαμβάνει σε ορατά και υπέρυθρα μήκη κύματος με πολύ υψηλή ακρίβεια.
Διαστημικές εφαρμογές
Ο Naor Movshovitz, ένας πλανητικός Ph.D. φοιτητής στο UC Santa Cruz, δήλωσε ότι τα δεδομένα θα είναι χρήσιμα για μελλοντικές αποστολές όπου ίσως χρειαστεί να εκτρέψουμε μεσαίου έως μεγάλου μεγέθους αστεροειδείς που απειλούν να επηρεάσουν τη Γη.
Έχουμε αρκετά καλά στοιχεία για το πώς τα αντικείμενα επηρεάζουν την επιφάνεια της Γης, αλλά πώς διαφέρουν οι επιπτώσεις όταν υπάρχει εξαιρετικά χαμηλή βαρύτητα. Η ιδέα είναι να χρησιμοποιήθεί ένα από τα αεροσκάφη με μειωμένη βαρύτητα της NASA για να μελετήσετε πώς ένα μικρό βλήμα θα μπορούσε να επηρεάσει ένα σωρό από χώμα, ενώ το Kinect θα χρησιμοποιηθεί για τη μέτρηση της τρισδιάστατης θέσης των αντικειμένων για να πάρει στοιχεία για το πώς απορρίπτονται τα συντρίμμια μετά το βλήμα επίπτωση.