Περιεχόμενο
Το Live Caption είναι ένα από τα πιο cool χαρακτηριστικά του Android, χρησιμοποιώντας την εκμάθηση μηχανών στη συσκευή για τη δημιουργία λεζάντων για τοπικά βίντεο και κλιπ web.
Η Google έχει δημοσιεύσει μια ανάρτηση ιστολογίου που περιγράφει λεπτομερώς πώς λειτουργεί αυτό το ικανό χαρακτηριστικό και αποτελείται από τρία μοντέλα μηχανοκίνητων εκμάθησης σε συσκευή για αρχάριους.
Υπάρχει ένα μοντέλο επαναλαμβανόμενης μεταγωγής αλληλουχίας νευρωνικού δικτύου (RNN-T) για την αναγνώριση ομιλίας, αλλά η Google χρησιμοποιεί επίσης ένα επαναλαμβανόμενο νευρωνικό δίκτυο για την πρόβλεψη της στίξης.
Το τρίτο μοντέλο μηχανικής μάθησης στη συσκευή είναι ένα συνελικτικό νευρωνικό δίκτυο (CNN) για ηχητικά γεγονότα, όπως τραγούδια πουλιών, παλαμάκια και μουσική. Το Google λέει ότι αυτό το τρίτο μοντέλο εκμάθησης μηχανών προέρχεται από την εργασία του σχετικά με την εφαρμογή προσβασιμότητας Live Transcribe, η οποία είναι σε θέση να μεταγράψει συμβάντα ομιλίας και ήχου.
Μείωση του αντίκτυπου της Live Caption
Η εταιρεία λέει ότι έχουν ληφθεί ορισμένα μέτρα για τη μείωση της κατανάλωσης μπαταριών και των επιδόσεων της Live Caption.Για ένα, ο μηχανισμός πλήρους αυτόματης αναγνώρισης ομιλίας (ASR) εκτελείται μόνο όταν ανιχνεύεται ομιλία, σε αντίθεση με τη συνεχή λειτουργία στο παρασκήνιο.
"Για παράδειγμα, όταν ανιχνεύεται η μουσική και η ομιλία δεν υπάρχει στο ρεύμα ήχου, η ετικέτα θα εμφανιστεί στην οθόνη και το μοντέλο ASR θα εκφορτωθεί. Το μοντέλο ASR φορτώνεται ξανά στη μνήμη μόνο όταν η ομιλία βρίσκεται ξανά στη ροή ήχου ", εξηγεί η Google στη δημοσίευσή της στο blog.
Η Google έχει επίσης χρησιμοποιήσει τεχνικές όπως κλάδεμα νευρικής σύνδεσης (μειώνοντας το μέγεθος του μοντέλου ομιλίας), μειώνοντας την κατανάλωση ενέργειας κατά 50% και επιτρέποντας τη συνεχή λειτουργία του Live Caption.
Η Google εξηγεί ότι τα αποτελέσματα αναγνώρισης ομιλίας ενημερώνονται μερικές φορές κάθε δευτερόλεπτο καθώς σχηματίζεται η λεζάντα, αλλά η πρόβλεψη στίξης είναι διαφορετική. Ο γίγαντας της έρευνας λέει ότι παρέχει πρόβλεψη στίξης "στην ουρά του κειμένου από την πιο πρόσφατα αναγνωρισμένη πρόταση" προκειμένου να μειωθούν οι απαιτήσεις των πόρων.
Το Live Caption είναι πλέον διαθέσιμο στη σειρά Google Pixel 4 και η Google λέει ότι θα είναι διαθέσιμη "σύντομα" στη σειρά Pixel 3 και σε άλλες συσκευές. Η εταιρεία λέει ότι εργάζεται επίσης για υποστήριξη για άλλες γλώσσες και καλύτερη υποστήριξη για περιεχόμενο με πολλά ηχεία.
