Η εφαρμογή αυτή χρησιμοποιεί την κάμερα της συσκευής στην οποία είναι εγκατεστημένη για να παρακολουθεί το iPad-στόχο, και καταγράφει με τρομακτική ακρίβεια όλα όσα πατάει ο χρήστης-στόχος στο virtual πληκτρολόγιο του iPad.
Ποιό είναι το μυστικό πίσω από το shoulderPad? Όταν πατάει κανείς ένα πλήκτρο στο virtual keyboard του iPad, το κουμπί που πάτησε λάμπει για ένα κλάσμα του δευτερολέπτου με μία γαλάζια λάμψη (ώστε ο χρήστης να ξέρει ποιό πλήκτρο πάτησε). Το shoulderPad εντοπίζει αυτή τη λάμψη και με τους αλγόριθμους αναγνώρισης εικόνας, βασισμένους στο Open CV λογισμικό αναγνώρισης εικόνας, καταλαβαίνει από ποιό σημείο του virtual keyboard προήλθε η λάμψη και άρα ποιό κουμπί πατήθηκε.
Σύμφωνα με το Meer, το σύστημα λειτουργεί από οποιαδήποτε απόσταση, αρκεί να φαίνεται η γαλάζια λάμψη. Επιπλέον, το πρόγραμμα λειτουργεί ακόμα και αν κάποιος έχει απλά κινηματογραφηθεί να χρησιμοποιεί το iPad του, από το βίντεο της αναπαραγωγής.
Δείτε στο παρακάτω βίντεο το πώς λειτουργεί:
