Περιεχόμενο

• Γνωρίστε το κιτ εκμάθησης μηχανών Google
• Πώς μπορώ να χρησιμοποιήσω τα AP AP του Κιτ ML;
• Προσδιορίστε το κείμενο σε οποιαδήποτε εικόνα, με το API αναγνώρισης κειμένου
• Κατανόηση του περιεχομένου μιας εικόνας: το API ετικέτας εικόνας
• Κατανοώντας τις εκφράσεις και τα πρόσωπα παρακολούθησης: το API ανίχνευσης προσώπου
• Σάρωση με Barcode με Firebase και ML
• Εκμάθηση μηχανών στο σύννεφο: το API Αναγνώρισης ορόσημων
• Το API προσδιορισμού γλώσσας: Ανάπτυξη για ένα διεθνές κοινό
• Σύντομα κοντά σας: Έξυπνη απάντηση
• Τι έπεται? Χρησιμοποιώντας το TensorFlow Lite με το κιτ ML
• Τυλίγοντας

Η μηχανική μάθηση (ML) μπορεί να σας βοηθήσει να δημιουργήσετε καινοτόμες, συναρπαστικές και μοναδικές εμπειρίες για τους χρήστες κινητών τηλεφώνων σας.

Αφού αποκτήσετε γνώση του ML, μπορείτε να το χρησιμοποιήσετε για να δημιουργήσετε ένα ευρύ φάσμα εφαρμογών, συμπεριλαμβανομένων των εφαρμογών που οργανώνουν αυτόματα τις φωτογραφίες με βάση το θέμα τους, εντοπίζουν και παρακολουθούν το πρόσωπο ενός προσώπου μέσα από ένα ζωντανό ρεύμα, εξάγουν κείμενο από μια εικόνα και πολλά άλλα .

Αλλά ML δεν είναι ακριβώς αρχάριος φιλικό! Εάν θέλετε να βελτιώσετε τις εφαρμογές σας Android με ισχυρές δυνατότητες εκμάθησης μηχανών, τότε πού ακριβώς ξεκινάτε;

Σε αυτό το άρθρο, θα σας δώσω μια επισκόπηση ενός SDK (Software Development Kit) που υπόσχεται να θέσει τη δύναμη του ML στα χέρια σας, ακόμα κι αν έχετε μηδέν ML εμπειρία. Μέχρι το τέλος αυτού του άρθρου, θα έχετε τα θεμέλια που χρειάζεστε για να ξεκινήσετε τη δημιουργία έξυπνων εφαρμογών που υποστηρίζονται από ML και είναι ικανές να επισημαίνουν εικόνες, να σαρώνονται γραμμωτούς κώδικες, να αναγνωρίζουν πρόσωπα και διάσημα ορόσημα και να εκτελούν πολλές άλλες ισχυρές εργασίες ML.

Γνωρίστε το κιτ εκμάθησης μηχανών Google

Με την απελευθέρωση τεχνολογιών όπως το TensorFlow και το CloudVision, το ML χρησιμοποιείται όλο και περισσότερο, αλλά αυτές οι τεχνολογίες δεν είναι για τους ασθενείς της καρδιάς! Συνήθως θα χρειαστεί μια βαθιά κατανόηση των νευρωνικών δικτύων και της ανάλυσης δεδομένων, απλώς και μόνο ξεκίνησε με μια τεχνολογία όπως το TensorFlow.

Ακόμα και αν εσύ κάνω να έχετε μια εμπειρία με το ML, η δημιουργία μιας κινητής εφαρμογής που βασίζεται σε μηχανές μάθησης μπορεί να είναι μια χρονοβόρα, πολύπλοκη και δαπανηρή διαδικασία, απαιτώντας σας να προμηθευτείτε αρκετά δεδομένα για να εκπαιδεύσετε τα δικά σας μοντέλα ML και, στη συνέχεια, να βελτιστοποιήσετε αυτά τα μοντέλα ML κινητό περιβάλλον. Αν είστε ατομικός προγραμματιστής ή έχετε περιορισμένους πόρους, τότε μπορεί να μην είναι δυνατή η πρακτική εφαρμογή της γνώσης ML σας.

Το ML Kit είναι η προσπάθεια της Google να φέρει τη μάθηση μηχανών στις μάζες.

Κάτω από την κουκούλα, το ML Kit συνδυάζει πολλές ισχυρές τεχνολογίες ML που απαιτούν συνήθως εκτεταμένες γνώσεις ML, όπως το Cloud Vision, το TensorFlow και το Android Neural Networks API. Το ML Kit συνδυάζει αυτές τις εξειδικευμένες τεχνολογίες ML με προ-εκπαιδευμένα μοντέλα για κοινή χρήση κινητών περιπτώσεων, συμπεριλαμβανομένης της εξαγωγής κειμένου από μια εικόνα, σάρωσης ενός γραμμωτού κώδικα και προσδιορισμού των περιεχομένων μιας φωτογραφίας.

Ανεξάρτητα από το αν έχετε προηγούμενη γνώση του ML, μπορείτε να χρησιμοποιήσετε το ML Kit για να προσθέσετε ισχυρές δυνατότητες εκμάθησης μηχανών στο Android σας και εφαρμογές iOS - απλώς μεταβιβάσετε κάποια δεδομένα στο σωστό μέρος του ML Kit, όπως το αναγνωστικό κείμενο ή το API προσδιορισμού γλώσσας, και αυτό το API θα χρησιμοποιήσει την εκμάθηση μηχανών για να επιστρέψει μια απάντηση.

Πώς μπορώ να χρησιμοποιήσω τα AP AP του Κιτ ML;

Το ML Kit χωρίζεται σε αρκετά API που διανέμονται ως μέρος της πλατφόρμας Firebase. Για να χρησιμοποιήσετε οποιοδήποτε API ML Kit, θα χρειαστεί να δημιουργήσετε μια σύνδεση μεταξύ του έργου σας στο Android Studio και ενός αντίστοιχου έργου Firebase και, στη συνέχεια, επικοινωνήστε με το Firebase.

Τα περισσότερα από τα μοντέλα ML Kit είναι διαθέσιμα ως μοντέλα που μπορείτε να λάβετε και να χρησιμοποιήσετε τοπικά, αλλά ορισμένα μοντέλα είναι επίσης διαθέσιμα στο σύννεφο, το οποίο επιτρέπει στην εφαρμογή σας να εκτελεί εργασίες με ML μέσω της σύνδεσης στο διαδίκτυο της συσκευής.

Κάθε προσέγγιση έχει τη δική της μοναδική δέσμη δυνατοτήτων και αδυναμιών, οπότε θα πρέπει να αποφασίσετε αν η τοπική ή η απομακρυσμένη επεξεργασία έχει την πιο νόημα για τη συγκεκριμένη εφαρμογή σας. Θα μπορούσατε ακόμη να προσθέσετε υποστήριξη και για τα δύο μοντέλα και στη συνέχεια να επιτρέψετε στους χρήστες σας να αποφασίσουν ποιο μοντέλο θα χρησιμοποιηθεί κατά το χρόνο εκτέλεσης. Εναλλακτικά, μπορείτε να διαμορφώσετε την εφαρμογή σας για να επιλέξετε το καλύτερο μοντέλο για τις τρέχουσες συνθήκες, για παράδειγμα χρησιμοποιώντας μόνο το μοντέλο που βασίζεται σε σύννεφο όταν η συσκευή είναι συνδεδεμένη στο Wi-Fi.

Αν επιλέξετε το τοπικό μοντέλο, τότε οι λειτουργίες εκμάθησης μηχανών της εφαρμογής θα είναι πάντα διαθέσιμες, ανεξάρτητα από το αν ο χρήστης διαθέτει ενεργή σύνδεση στο Internet. Δεδομένου ότι όλες οι εργασίες εκτελούνται τοπικά, τα μοντέλα on-device είναι ιδανικά όταν η εφαρμογή σας χρειάζεται να επεξεργάζεται γρήγορα μεγάλα ποσά δεδομένων, για παράδειγμα εάν χρησιμοποιείτε το ML Kit για να χειριστείτε μια ζωντανή ροή βίντεο.

Εν τω μεταξύ, τα μοντέλα που βασίζονται σε νέφος συνήθως παρέχουν μεγαλύτερη ακρίβεια από ό, τι τα αντίγραφα των συσκευών τους, καθώς τα μοντέλα σύννεφων αξιοποιούν τη δύναμη της τεχνολογίας μηχανικής μάθησης του Google Cloud Platform. Για παράδειγμα, το μοντέλο on-device API ετικετών ετικετών περιλαμβάνει 400 ετικέτες, αλλά το μοντέλο σύννεφο έχει πάνω 10.000 ετικέτες.

Ανάλογα με το API, ενδέχεται να υπάρχουν και ορισμένες λειτουργίες που είναι διαθέσιμες μόνο στο σύννεφο, για παράδειγμα το API αναγνώρισης κειμένου μπορεί να αναγνωρίσει μόνο μη λατινικούς χαρακτήρες αν χρησιμοποιείτε το μοντέλο που βασίζεται σε σύννεφο.

Τα API που βασίζονται σε σύννεφο είναι διαθέσιμα μόνο για έργα Firebase Blaze-level, οπότε θα χρειαστεί να αναβαθμίσετε σε ένα Blaze pay-as-you-go σχέδιο, προτού χρησιμοποιήσετε οποιοδήποτε από τα μοντέλα cloud του ML Kit.

Αν αποφασίσετε να εξερευνήσετε τα μοντέλα σύννεφο, τότε κατά τη στιγμή της γραφής, υπήρχε μια ελεύθερη ποσόστωση διαθέσιμη για όλα τα AP API Kit ML. Εάν απλά ήθελε να πειραματιστεί με την Ετικέτα Εικόνας που βασίζεται σε σύννεφο, τότε θα μπορούσατε να αναβαθμίσετε το σχέδιο Firebase στο σχέδιο Blaze, να δοκιμάσετε το API σε λιγότερες από 1.000 εικόνες και στη συνέχεια να επιστρέψετε στο δωρεάν σχέδιο Spark χωρίς να χρεωθείτε. Ωστόσο, οι όροι και οι όροι έχουν μια δυσάρεστη συνήθεια να αλλάζουν με την πάροδο του χρόνου, οπότε βεβαιωθείτε ότι έχετε διαβάσει τη μικρή εκτύπωση πριν από την αναβάθμιση σε Blaze, για να βεβαιωθείτε ότι δεν θα σας χτυπήσει από τυχόν απροσδόκητους λογαριασμούς!

Προσδιορίστε το κείμενο σε οποιαδήποτε εικόνα, με το API αναγνώρισης κειμένου

Το API Αναγνώρισης Κειμένου μπορεί να εντοπίσει, να αναλύσει και να επεξεργαστεί κείμενο με έξυπνο τρόπο.

Μπορείτε να χρησιμοποιήσετε αυτό το API για να δημιουργήσετε εφαρμογές που εξάγουν κείμενο από μια εικόνα, έτσι ώστε οι χρήστες σας να μην χάνουν χρόνο για κουραστική εισαγωγή μη αυτόματων δεδομένων. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε το API αναγνώρισης κειμένου για να βοηθήσετε τους χρήστες σας να εξάγουν και να καταγράφουν τις πληροφορίες από αποδείξεις, τιμολόγια, επαγγελματικές κάρτες ή ακόμη και διατροφικές ετικέτες, λαμβάνοντας απλώς μια φωτογραφία του εν λόγω στοιχείου.

Θα μπορούσατε ακόμη και να χρησιμοποιήσετε το API αναγνώρισης κειμένου ως το πρώτο βήμα σε μια εφαρμογή μετάφρασης, όπου ο χρήστης λαμβάνει μια φωτογραφία με κάποιο άγνωστο κείμενο και το API αποσπά όλο το κείμενο από την εικόνα, έτοιμο να μεταφερθεί σε μια υπηρεσία μετάφρασης.

Το API αναγνωριστικού κειμένου ML Kit on-Device μπορεί να εντοπίσει κείμενο σε οποιαδήποτε γλώσσα που βασίζεται στη Λατινική γλώσσα, ενώ το αντίστοιχο σε σύννεφο μπορεί να αναγνωρίσει μια ευρύτερη ποικιλία γλωσσών και χαρακτήρων, συμπεριλαμβανομένων των κινεζικών, ιαπωνικών και κορεατικών χαρακτήρων. Το μοντέλο που βασίζεται σε σύννεφο είναι επίσης βελτιστοποιημένο για να εξαγάγει αραιό κείμενο από εικόνες και κείμενο από πυκνά συσκευασμένα έγγραφα, τα οποία θα πρέπει να λάβετε υπόψη όταν αποφασίζετε ποιο μοντέλο θα χρησιμοποιηθεί στην εφαρμογή σας.

Θέλετε κάποια πρακτική εμπειρία με αυτό το API; Στη συνέχεια, ανατρέξτε στον οδηγό βήμα προς βήμα για τη δημιουργία μιας εφαρμογής που μπορεί να εξαγάγει το κείμενο από οποιαδήποτε εικόνα χρησιμοποιώντας το API αναγνώρισης κειμένου.

Κατανόηση του περιεχομένου μιας εικόνας: το API ετικέτας εικόνας

Το API ετικέτας εικόνας μπορεί να αναγνωρίσει οντότητες σε μια εικόνα, συμπεριλαμβανομένων των τοποθεσιών, των ανθρώπων, των προϊόντων και των ζώων, χωρίς την ανάγκη για επιπλέον πρόσθετα μεταδεδομένα. Το API ετικέτας εικόνας θα επιστρέψει πληροφορίες σχετικά με τις ανιχνευμένες οντότητες με τη μορφή ετικετών. Για παράδειγμα, στο παρακάτω στιγμιότυπο οθόνης έχω δώσει στο API μια φωτογραφία φύσης και η απάντησή του είναι με ετικέτες όπως "Δάσος" και "Ποτάμι".

Αυτή η δυνατότητα αναγνώρισης περιεχομένου μιας εικόνας μπορεί να σας βοηθήσει να δημιουργήσετε εφαρμογές που επισημαίνουν τις φωτογραφίες βάσει του αντικειμένου τους. φίλτρα που προσδιορίζουν αυτόματα το ακατάλληλο περιεχόμενο που έχει υποβληθεί από τον χρήστη και το καταργούν από την εφαρμογή σας. ή ως βάση για τη λειτουργία προηγμένης αναζήτησης.

Πολλά από τα AP API του ML Kit επιστρέφουν πολλαπλά πιθανά αποτελέσματα, συμπληρώνοντας συνοδευτικά αποτελέσματα αξιοπιστίας - συμπεριλαμβανομένου του API ετικετών εικόνας. Εάν περάσετε την ετικέτα εικόνας μια φωτογραφία ενός ποδοκοιλιά, τότε μπορεί να επιστρέψει ετικέτες όπως το "πόδι", "σκύλος", "κατοικίδιο ζώο" και "μικρό ζώο", όλα με διαφορετικές βαθμολογίες που δείχνουν την εμπιστοσύνη του API σε κάθε ετικέτα. Ας ελπίσουμε ότι σε αυτό το σενάριο το "poodle" θα έχει την υψηλότερη βαθμολογία εμπιστοσύνης!

Μπορείτε να χρησιμοποιήσετε αυτήν την βαθμολογία εμπιστοσύνης για να δημιουργήσετε ένα κατώτατο όριο που πρέπει να τηρηθεί, προτού η αίτησή σας ενεργήσει σε μια συγκεκριμένη ετικέτα, για παράδειγμα την προβολή στον χρήστη ή την επισήμανση μιας φωτογραφίας με αυτήν την ετικέτα.

Η ετικέτα εικόνας είναι διαθέσιμη τόσο στην συσκευή όσο και στο νέφος, αν και επιλέγετε το μοντέλο σύννεφο τότε θα έχετε πρόσβαση σε πάνω από 10.000 ετικέτες, σε σύγκριση με τις 400 ετικέτες που περιλαμβάνονται στο μοντέλο της συσκευής.

Για μια πιο εμπεριστατωμένη ματιά στο API ετικέτας εικόνας, ελέγξτε το περιεχόμενο Προσδιορίστε το περιεχόμενο μιας εικόνας με την εκμάθηση μηχανών. Σε αυτό το άρθρο, δημιουργούμε μια εφαρμογή που επεξεργάζεται μια εικόνα και στη συνέχεια επιστρέφει τις ετικέτες και τις βαθμολογίες εμπιστοσύνης για κάθε οντότητα που ανιχνεύεται σε αυτήν την εικόνα. Επίσης, εφαρμόζουμε σε αυτήν την εφαρμογή μοντέλα σε συσκευές και νέφος, ώστε να μπορείτε να δείτε ακριβώς πώς διαφέρουν τα αποτελέσματα, ανάλογα με το μοντέλο που επιλέγετε.

Κατανοώντας τις εκφράσεις και τα πρόσωπα παρακολούθησης: το API ανίχνευσης προσώπου

Το API ανίχνευσης προσώπων μπορεί να εντοπίσει ανθρώπινα πρόσωπα σε φωτογραφίες, βίντεο και ζωντανές ροές και στη συνέχεια εξάγει πληροφορίες για κάθε αναγνωρισμένο πρόσωπο, συμπεριλαμβανομένης της θέσης, του μεγέθους και του προσανατολισμού του.

Θα μπορούσατε να χρησιμοποιήσετε αυτό το API για να βοηθήσετε τους χρήστες να επεξεργαστούν τις φωτογραφίες τους, για παράδειγμα, τραβώντας αυτόματα ολόκληρο τον κενό χώρο γύρω από το τελευταίο headshot.

Το API ανίχνευσης προσώπων δεν περιορίζεται σε εικόνες - μπορείτε επίσης να εφαρμόσετε αυτό το API σε βίντεο, για παράδειγμα μπορείτε να δημιουργήσετε μια εφαρμογή που να αναγνωρίζει όλα τα πρόσωπα σε μια ροή βίντεο και στη συνέχεια να σκιάζει τα πάντα εκτός αυτά τα πρόσωπα, παρόμοια με το χαρακτηριστικό θόρυβου φόντου του Skype.

Η ανίχνευση προσώπου είναι πάντα εκτελείται σε συσκευή, όπου είναι αρκετά γρήγορη για να χρησιμοποιηθεί σε πραγματικό χρόνο, έτσι σε αντίθεση με την πλειοψηφία των API του ML Kit, η ανίχνευση προσώπου δεν δεν περιλαμβάνουν ένα μοντέλο σύννεφο.

Εκτός από την ανίχνευση προσώπων, αυτό το API έχει μερικές πρόσθετες λειτουργίες που αξίζει να εξερευνήσετε. Πρώτον, το API ανίχνευσης προσώπων μπορεί να εντοπίσει ορόσημα προσώπου, όπως μάτια, χείλη και αυτιά, και στη συνέχεια ανακτά τις ακριβείς συντεταγμένες για κάθε ένα από αυτά τα ορόσημα. Αυτό αναγνώριση ορόσημων σας παρέχει έναν ακριβή χάρτη κάθε ανιχνευμένου προσώπου - ιδανικό για τη δημιουργία εφαρμογών επαυξημένης πραγματικότητας (AR) που προσθέτουν μάσκες και φίλτρα στυλ Snapchat στη ροή της κάμερας του χρήστη.

Το API ανίχνευσης προσώπου προσφέρει επίσης προσώπου ταξινόμηση. Επί του παρόντος, το ML Kit υποστηρίζει δύο ταξινομήσεις προσώπου: τα μάτια ανοίγουν και χαμογελούν.

Θα μπορούσατε να χρησιμοποιήσετε αυτή την ταξινόμηση ως βάση για υπηρεσίες προσβασιμότητας, όπως hands-free controls ή για να δημιουργήσετε παιχνίδια που ανταποκρίνονται στην έκφραση του προσώπου του παίκτη. Η δυνατότητα ανίχνευσης αν κάποιος χαμογελά ή έχει τα μάτια του ανοιχτά μπορεί επίσης να έρθει σε πρακτικό εάν δημιουργείτε μια εφαρμογή φωτογραφικής μηχανής - τελικά, δεν υπάρχει τίποτα χειρότερο από τη λήψη μιας δέσμης φωτογραφιών, μόνο αργότερα να ανακαλύψετε ότι κάποιος είχε τα μάτια κλειστά σε κάθε βολή.

Τέλος, το API ανίχνευσης προσώπου περιλαμβάνει ένα στοιχείο εντοπισμού προσώπου, το οποίο αντιστοιχίζει ένα αναγνωριστικό σε ένα πρόσωπο και στη συνέχεια κομμάτια που βλέπουν σε πολλαπλές διαδοχικές εικόνες ή πλαίσια βίντεο. Σημειώστε ότι αυτό είναι πρόσωπο παρακολούθηση και όχι αληθινό πρόσωπο αναγνώριση. Πίσω από τις σκηνές, το API ανίχνευσης προσώπου εντοπίζει τη θέση και την κίνηση του προσώπου και στη συνέχεια υπονοεί ότι αυτή η όψη πιθανότατα ανήκει στο ίδιο πρόσωπο, αλλά τελικά δεν γνωρίζει την ταυτότητα του προσώπου.

Δοκιμάστε το API ανίχνευσης προσώπου για τον εαυτό σας! Μάθετε πώς να δημιουργήσετε μια εφαρμογή ανίχνευσης προσώπου με μηχανική μάθηση και το κιτ Firebase ML Kit.

Σάρωση με Barcode με Firebase και ML

Η σάρωση με Barcode μπορεί να μην ακούγεται τόσο συναρπαστική όσο κάποια από τα άλλα API μηχανών εκμάθησης, αλλά είναι ένα από τα πιο προσιτά μέρη του ML Kit.

Η σάρωση ενός γραμμωτού κώδικα δεν απαιτεί εξειδικευμένο υλικό ή λογισμικό, ώστε να μπορείτε να χρησιμοποιείτε το API σάρωσης γραμμωτού κώδικα διασφαλίζοντας παράλληλα ότι η εφαρμογή σας παραμένει προσβάσιμη σε όσο το δυνατόν περισσότερους ανθρώπους, συμπεριλαμβανομένων των χρηστών σε παλαιότερες συσκευές ή σε συσκευές προϋπολογισμού. Όσο μια συσκευή διαθέτει μια κάμερα που λειτουργεί, δεν θα έχει κανένα πρόβλημα να σαρώνει έναν γραμμωτό κώδικα.

Το API Scanning Barcode AP του ML Kit μπορεί να εξάγει μια ευρεία γκάμα πληροφοριών από τυπωμένους και ψηφιακούς γραμμικούς κώδικες, γεγονός που το καθιστά έναν γρήγορο, εύκολο και προσιτό τρόπο για να περάσει πληροφορίες από τον πραγματικό κόσμο στην εφαρμογή σας, χωρίς να απαιτείται από τους χρήστες να κάνουν οποιαδήποτε κουραστική εισαγωγή .

Υπάρχουν εννέα διαφορετικοί τύποι δεδομένων που το API Scanning Barcode API μπορεί να αναγνωρίσει και να αναλύσει από ένα γραμμωτό κώδικα:

• TYPE_CALENDAR_EVENT. Αυτό περιέχει πληροφορίες όπως η τοποθεσία του εκδήματος, ο διοργανωτής και η ώρα έναρξης και λήξης.Εάν διαφημίζετε ένα συμβάν, τότε μπορείτε να συμπεριλάβετε έναν τυπωμένο γραμμωτό κώδικα στις αφίσες ή τα φυλλάδια σας ή να έχετε έναν ψηφιακό γραμμωτό κώδικα στον ιστότοπό σας. Οι πιθανοί συμμετέχοντες μπορούν στη συνέχεια να εξαγάγουν όλες τις πληροφορίες σχετικά με το συμβάν σας, απλά με τη σάρωση του γραμμωτού κώδικα.
• TYPE_CONTACT_INFO. Αυτός ο τύπος δεδομένων καλύπτει πληροφορίες όπως τη διεύθυνση ηλεκτρονικού ταχυδρομείου της επαφής, το όνομα, τον αριθμό τηλεφώνου και τον τίτλο.
• TYPE_DRIVER_LICENSE. Περιλαμβάνει πληροφορίες όπως ο δρόμος, η πόλη, το κράτος, το όνομα και η ημερομηνία γέννησης που σχετίζονται με την άδεια οδήγησης.
• TYPE_EMAIL. Αυτός ο τύπος δεδομένων περιλαμβάνει μια διεύθυνση ηλεκτρονικού ταχυδρομείου, τη γραμμή θέματος του ηλεκτρονικού ταχυδρομείου και το κείμενο κειμένου.
• TYPE_GEO. Αυτό περιλαμβάνει το γεωγραφικό πλάτος και μήκος για ένα συγκεκριμένο γεωγραφικό σημείο, το οποίο είναι ένας εύκολος τρόπος να μοιραστείτε μια τοποθεσία με τους χρήστες σας ή να μοιραστείτε την τοποθεσία τους με άλλους. Θα μπορούσατε ακόμη και να χρησιμοποιήσετε γεωγραφικούς κωδικούς για να ενεργοποιήσετε γεγονότα που βασίζονται σε τοποθεσίες, όπως η εμφάνιση ορισμένων χρήσιμων πληροφοριών σχετικά με την τρέχουσα τοποθεσία του χρήστη ή ως βάση για παιχνίδια με βάση την τοποθεσία.
• TYPE_PHONE. Περιλαμβάνει τον αριθμό τηλεφώνου και τον τύπο του αριθμού, για παράδειγμα αν είναι τηλεφωνικός αριθμός εργασίας ή οικίας.
• TYPE_SMS. Περιέχει κείμενο κορμού SMS και τον αριθμό τηλεφώνου που σχετίζεται με το SMS.
• TYPE_URL. Αυτός ο τύπος δεδομένων περιέχει μια διεύθυνση URL και τον τίτλο της διεύθυνσης URL. Η σάρωση ενός γραμμωτού κώδικα TYPE_URL είναι πολύ πιο εύκολη από αυτή που βασίζεται στους χρήστες σας να πληκτρολογούν με μη αυτόματο τρόπο μια μακρά, σύνθετη διεύθυνση URL, χωρίς να κάνουν τυπογραφικά ή ορθογραφικά λάθη.
• TYPE_WIFI. Περιλαμβάνει το SSID και τον κωδικό πρόσβασης ενός δικτύου Wi-Fi, καθώς και τον τύπο κρυπτογράφησης, όπως OPEN, WEP ή WPA. Ένας γραμμικός κώδικας Wi-Fi είναι ένας από τους ευκολότερους τρόπους για να μοιραστείτε τα διαπιστευτήρια Wi-Fi, ενώ ταυτόχρονα απομακρύνετε εντελώς τον κίνδυνο των χρηστών σας να εισάγουν εσφαλμένα αυτές τις πληροφορίες.

Το API Scanning Barcode μπορεί να αναλύσει δεδομένα από μια σειρά από διαφορετικούς γραμμικούς κώδικες, συμπεριλαμβανομένων των γραμμικών μορφών όπως Codabar, Code 39, EAN-8, ITF και UPC-A, καθώς και 2D μορφές όπως Aztec, Data Matrix και QR Codes.

Για να διευκολύνετε τους τελικούς χρήστες, αυτό το API σαρώνει ταυτόχρονα όλους τους υποστηριζόμενους γραμμωτούς κώδικες και μπορεί επίσης να εξάγει δεδομένα ανεξάρτητα από τον προσανατολισμό του γραμμωτού κώδικα, οπότε δεν έχει σημασία αν ο γραμμωτός κώδικας είναι εντελώς ανάποδα όταν ο χρήστης το σαρώνει!

Εκμάθηση μηχανών στο σύννεφο: το API Αναγνώρισης ορόσημων

Μπορείτε να χρησιμοποιήσετε το API Landmark Recognition API του ML Kit για να εντοπίσετε γνωστά φυσικά και κατασκευασμένα ορόσημα μέσα σε μια εικόνα.

Αν περάσετε αυτό το API μια εικόνα που περιέχει ένα διάσημο ορόσημο, τότε θα επιστρέψει το όνομα αυτού του ορόσημου, τις τιμές γεωγραφικού πλάτους και γεωγραφικού μήκους και ένα πλαίσιο οριοθέτησης που υποδεικνύει πού εντοπίστηκε το ορόσημο μέσα στην εικόνα.

Μπορείτε να χρησιμοποιήσετε το API Αναγνώρισης Landmark για να δημιουργήσετε εφαρμογές που επισημαίνουν αυτόματα τις φωτογραφίες των χρηστών ή για την παροχή πιο προσαρμοσμένης εμπειρίας, για παράδειγμα αν η εφαρμογή σας αναγνωρίζει ότι ένας χρήστης φωτογραφίζει τον Πύργο του Άιφελ, τότε μπορεί να προσφέρει κάποια ενδιαφέροντα γεγονότα αυτό το ορόσημο, ή προτείνουμε παρόμοια, κοντινά τουριστικά αξιοθέατα που ο χρήστης μπορεί να θέλει να επισκεφτεί στη συνέχεια.

Ασυνήθιστα για το κιτ ML, το API ανίχνευσης ορόσημων είναι διαθέσιμο μόνο ως API που βασίζεται σε σύννεφο, οπότε η εφαρμογή σας θα μπορεί να πραγματοποιεί εντοπισμό ορόσημων μόνο όταν η συσκευή διαθέτει ενεργή σύνδεση στο Internet.

Το API προσδιορισμού γλώσσας: Ανάπτυξη για ένα διεθνές κοινό

Σήμερα, οι εφαρμογές Android χρησιμοποιούνται σε όλα τα μέρη του κόσμου, από χρήστες που μιλάνε πολλές διαφορετικές γλώσσες.

Το API Language Identification του ML Kit μπορεί να σας βοηθήσει να προσελκύσετε την εφαρμογή Android σας σε ένα διεθνές κοινό, λαμβάνοντας μια σειρά από κείμενα και καθορίζοντας τη γλώσσα στην οποία γράφεται. Το API προσδιορισμού γλώσσας μπορεί να αναγνωρίσει πάνω από εκατό διαφορετικές γλώσσες, συμπεριλαμβανομένου του ρομαντικού κειμένου για τα αραβικά, Κινέζικα, ελληνικά, χίντι, ιαπωνικά και ρωσικά.

Αυτό το API μπορεί να είναι μια πολύτιμη προσθήκη σε οποιαδήποτε εφαρμογή που επεξεργάζεται το κείμενο που παρέχεται από το χρήστη, καθώς το κείμενο σπανίως περιλαμβάνει πληροφορίες γλώσσας. Ενδέχεται επίσης να χρησιμοποιήσετε το API Γλώσσας Αναγνώρισης σε εφαρμογές μετάφρασης, ως πρώτο βήμα για τη μετάφραση Οτιδήποτε, γνωρίζει σε ποια γλώσσα εργάζεστε! Για παράδειγμα, εάν ο χρήστης εντοπίζει τη φωτογραφική μηχανή της συσκευής σε ένα μενού, τότε η εφαρμογή σας μπορεί να χρησιμοποιήσει το API προσδιορισμού γλώσσας για να διαπιστώσει ότι το μενού είναι γραμμένο στη γαλλική γλώσσα και στη συνέχεια να προσφέρει τη μετάφραση αυτού του μενού χρησιμοποιώντας μια υπηρεσία, όπως το API Translation Cloud ίσως μετά την εξαγωγή του κειμένου, χρησιμοποιώντας το API αναγνώρισης κειμένου;)

Ανάλογα με την εν λόγω συμβολοσειρά, το API Γλώσσας Αναγνώρισης μπορεί να επιστρέψει πολλές πιθανές γλώσσες, συνοδευόμενες από βαθμολογίες εμπιστοσύνης, ώστε να μπορείτε να προσδιορίσετε ποια εντοπιζόμενη γλώσσα είναι πιο πιθανή να είναι σωστή. Σημειώστε ότι κατά τη στιγμή της σύνταξης του ML Kit δεν ήταν δυνατή η αναγνώριση πολλαπλών διαφορετικών γλωσσών μέσα στην ίδια συμβολοσειρά.

Για να διασφαλίσετε ότι αυτό το API παρέχει γλωσσική ταυτοποίηση σε πραγματικό χρόνο, το API Γλώσσας Αναγνώρισης είναι διαθέσιμο μόνο ως μοντέλο σε συσκευή.

Σύντομα κοντά σας: Έξυπνη απάντηση

Το Google σχεδιάζει να προσθέσει μελλοντικά περισσότερα API στο ML Kit, αλλά ήδη γνωρίζουμε για ένα up-and-coming API.

Σύμφωνα με την ιστοσελίδα ML Kit, την επερχόμενη API έξυπνης απάντησης θα σας επιτρέψει να προσφέρετε απαντήσεις με βάση τα συμφραζόμενα στις εφαρμογές σας, προτείνοντας αποσπάσματα κειμένου που ταιριάζουν στο τρέχον πλαίσιο. Με βάση αυτό που ήδη γνωρίζουμε για αυτό το API, φαίνεται ότι η έξυπνη απάντηση θα είναι παρόμοια με τη λειτουργία προτεινόμενης απάντησης που είναι ήδη διαθέσιμη στην εφαρμογή Android, Wear OS και Gmail.

Το παρακάτω στιγμιότυπο οθόνης δείχνει πώς εμφανίζεται η προτεινόμενη λειτουργία απόκρισης στο Gmail.

Τι έπεται? Χρησιμοποιώντας το TensorFlow Lite με το κιτ ML

Το ML Kit παρέχει προ-κατασκευασμένα μοντέλα για κοινές περιπτώσεις κινητής χρήσης, αλλά σε κάποιο σημείο ίσως θέλετε να προχωρήσετε πέρα ​​από αυτά τα έτοιμα μοντέλα.

Είναι δυνατό να δημιουργήσετε τα δικά σας ML μοντέλα χρησιμοποιώντας το TensorFlow Lite και στη συνέχεια να τα διανείμετε χρησιμοποιώντας το ML Kit. Ωστόσο, να γνωρίζετε ότι σε αντίθεση με τα έτοιμα API του ML Kit, η εργασία με τα μοντέλα ML σας απαιτεί ένα σημαντικός ποσό της εμπειρίας ML.

Αφού δημιουργήσετε τα μοντέλα TensorFlow Lite, μπορείτε να τα ανεβάσετε στη Firebase και η Google θα διαχειρίζεται τη φιλοξενία και την εξυπηρέτηση αυτών των μοντέλων στους τελικούς χρήστες σας. Σε αυτό το σενάριο, το ML Kit λειτουργεί ως επίπεδο API πάνω από το προσαρμοσμένο μοντέλο σας, το οποίο απλοποιεί ορισμένες από τις βαριές ανύψωσης που σχετίζονται με τη χρήση προσαρμοσμένων μοντέλων. Πιο συγκεκριμένα, το ML Kit θα μετακινήσει αυτόματα την πιο πρόσφατη έκδοση του μοντέλου σας στους χρήστες σας, οπότε δεν θα χρειαστεί να ενημερώσετε την εφαρμογή σας κάθε φορά που θέλετε να τροποποιήσετε το μοντέλο σας.

Για να παρέχετε την καλύτερη δυνατή εμπειρία χρήστη, μπορείτε να καθορίσετε τις προϋποθέσεις που πρέπει να πληρούνται, προτού η εφαρμογή σας μεταφορτώσει νέες εκδόσεις του μοντέλου σας TensorFlow Lite, για παράδειγμα μόνο ενημερώνοντας το μοντέλο όταν η συσκευή είναι αδρανής, φορτισμένη ή συνδεδεμένη με Wi- Fi. Μπορείτε ακόμη να χρησιμοποιήσετε το ML Kit και το TensorFlow Lite παράλληλα με άλλες υπηρεσίες Firebase, για παράδειγμα χρησιμοποιώντας Firebase Remote Config και Firebase A / B Testing για να εξυπηρετήσετε διαφορετικά μοντέλα σε διαφορετικά σύνολα χρηστών.

Εάν θέλετε να προχωρήσετε πέρα ​​από τα προ-κατασκευασμένα μοντέλα ή τα υπάρχοντα μοντέλα του ML Kit δεν ανταποκρίνονται στις ανάγκες σας, τότε μπορείτε να μάθετε περισσότερα σχετικά με τη δημιουργία των δικών σας μοντέλων μηχανικής μάθησης, στα επίσημα έγγραφα του Firebase.

Τυλίγοντας

Σε αυτό το άρθρο, εξετάσαμε κάθε συστατικό του κιτ εκμάθησης μηχανών Google και κάλυψαμε ορισμένα συνηθισμένα σενάρια στα οποία ίσως θέλετε να χρησιμοποιήσετε κάθε ένα από τα AP API Kit Kit.

Η Google σχεδιάζει να προσθέσει περισσότερα API στο μέλλον, έτσι ώστε τα API μηχανών εκμάθησης θα θέλατε να δούμε να προστίθενται στο ML Kit στη συνέχεια; Ενημερώστε μας στα σχόλια παρακάτω!