Περιεχόμενο

• Πώς λειτουργούν τα νευρωνικά δίκτυα
• Νευρωνικά δίκτυα στο εσωτερικό του smartphone σας
• Το AI θα μπορούσε να διαμορφώσει το μέλλον της φωτογραφίας

Εκτός από τη φωτογραφία υπολογισμού, τον εξοπλισμό φωτογραφικής μηχανής υψηλής ποιότητας και τους επεξεργαστές σημάτων εικόνας, η κινητή φωτογραφία αιχμής ασχολείται όλο και περισσότερο με αλγόριθμους μηχανικής μάθησης - γνωστούς και ως τεχνητή νοημοσύνη (AI). Αυτή η τεχνική φωτογραφίας υπόσχεται να βελτιώσει την ποιότητα στην ώθηση προς την ποιότητα τύπου DSLR, προσφέροντας ταυτόχρονα δημιουργικούς νέους τρόπους για να φωτογραφίζετε και να επεξεργάζεστε εικόνες και βίντεο.

Το κλειδί στη μηχανική μάθηση είναι η χρήση νευρωνικών δικτύων. Αυτός είναι ένας τύπος αλγορίθμου ο οποίος συχνά παρομοιάζεται με τον ανθρώπινο εγκέφαλο. Αυτή η σύγκριση προέρχεται από την ικανότητα ενός νευρικού δικτύου να εκπαιδεύεται μέσω της χρήσης δεδομένων για να αναγνωρίζει τα πρότυπα, επιτρέποντάς του να κάνει πολύ ακριβείς ταξινομήσεις για σύνθετους τύπους δεδομένων όπως ήχου και εικόνων.

Όταν πρόκειται για τη φωτογραφία, η δυνατότητα παρακολούθησης, μάθησης, δημιουργίας και ταξινόμησης έχει ένα ευρύ φάσμα εφαρμογών. Αυτές οι εφαρμογές μπορούν να περιλαμβάνουν λειτουργίες όπως η οικοδόμηση τεχνικών υπολογιστικής φωτογράφησης για τη βελτίωση αλγορίθμων μετα-επεξεργασίας, λογισμικού πραγματικού χρόνου bokeh με βίντεο 4K ή ακόμα και την πλήρη εναλλαγή των χρωμάτων των ρούχων που φοράτε.

Πώς λειτουργούν τα νευρωνικά δίκτυα

Τα νευρωνικά δίκτυα είναι ένα εξαιρετικά περίπλοκο θέμα, επομένως θα καλύψουμε μόνο τα βασικά στοιχεία εδώ. Για πιο προχωρημένη ανάγνωση, δείτε τους οδηγούς εδώ και εδώ.

Τα νευρικά δίκτυα αποτελούνται από κόμβους, γεγονός που αποτελεί σηματοδότη για το πού γίνεται κάποιος υπολογισμός. Κάθε κόμβος συνδυάζει μια είσοδο με ένα βάρος που ενισχύει ή μετριάζει τη σημασία αυτού του συγκεκριμένου κόμβου. Αρκετοί κόμβοι συχνά λειτουργούν παράλληλα, δημιουργώντας ένα στρώμα κόμβων που εκτελεί μια μεγαλύτερη εργασία. Αυτό μπορεί να είναι ανίχνευση χαρακτηριστικών μέσα σε μια εικόνα, για παράδειγμα. Πολλαπλοί κόμβοι και επίπεδα μπορούν να αθροιστούν και να μεταφερθούν σε άλλους κόμβους και στρώματα, σχηματίζοντας ένα βαθύτερο δίκτυο με πιο ισχυρές δυνατότητες.

Η έξοδος από κάθε κόμβο και στρώμα κλιμακώνεται ως συνάρτηση πιθανοτήτων. Με την εξέταση πολλών διαφορετικών χαρακτηριστικών και χαρακτηριστικών, ένα νευρωνικό δίκτυο μπορεί να υπολογίσει την είσοδο ως πιθανότατο αγώνα ενάντια σε όλες τις αναμενόμενες δυνητικές εξόδους. Αυτός είναι ο τρόπος με τον οποίο οι αλγόριθμοι ανίχνευσης εικόνας αποφασίζουν αν μια εικόνα μοιάζει περισσότερο με γάτα ή πορτοκαλί, αλλά πρέπει να την πείτε πρώτα.

Τα νευρικά δίκτυα δεν προγραμματίζονται αρκετά όπως οι παραδοσιακοί αλγόριθμοι υπολογιστών. Αντ 'αυτού, εκπαιδεύονται σε σύνολα δεδομένων, όπως εικόνες, αρχεία ήχου κλπ. Τα βάρη κάθε κόμβου ρυθμίζονται σταδιακά με την πάροδο του χρόνου μέσω ενός βρόχου ανατροφοδότησης, με βάση το πόσο καλά το δίκτυο έκανε με την αντιστοίχιση των εισροών με τις σωστές εξόδους. Αυτή η σταδιακή "μάθηση" των κανόνων απαιτεί σημαντική προετοιμασία, χρόνο και υπολογιστική ισχύ, αλλά παράγει φαινομενικά ακριβή αποτελέσματα.

Νευρωνικά δίκτυα στο εσωτερικό του smartphone σας

Τα νευρικά δίκτυα μπορούν να λειτουργούν σε μια ποικιλία εξαρτημάτων υλικού, συμπεριλαμβανομένων των τμημάτων της CPU και της GPU που είναι κοινά μέσα σε μια σειρά υπολογιστικών συσκευών, συμπεριλαμβανομένου του smartphone σας. Ωστόσο, ορισμένα νευρωνικά δίκτυα μπορούν να απαιτήσουν περισσότερη ισχύ επεξεργασίας από ότι αυτά τα εξαρτήματα υλικού μπορούν να δώσουν, και το ειδικό υλικό μπορεί να προσφέρει τη βέλτιστη επεξεργασία που απαιτείται.

Μέσα από την πλατφόρμα Mobile Qualcomm® Snapdragon ™ 855, για παράδειγμα, θα βρείτε τον τελευταίο επεξεργαστή ψηφιακού σήματος Qualcomm® Hexagon ™ 690 (DSP), που διαθέτει βελτιωμένες μονάδες επεξεργασίας Vector και ένα νέο επιταχυντή τανυστή ειδικά για εργασίες εκμάθησης μηχανών. Άλλες κινητές πλατφόρμες Snapdragon διαθέτουν επίσης το εξάρτημα DSP Hexagon, με ποικίλες δυνατότητες. Με αυτό είπε, τα νευρικά δίκτυα δεν περιορίζονται στην εκτέλεση του DSP στο Snapdragon και σε άλλες κινητές πλατφόρμες. Ο τύπος επεξεργαστή που χρησιμοποιείται εξαρτάται από το φόρτο εργασίας.

Qualcomm Snapdragon 855 βελτιώσεις μηχανικής μάθησης σε σύγκριση με την προηγούμενη γενιά

Η Qualcomm Technologies ανοίγει τις δυνατότητες DSP και εκμάθησης μηχανών σε τρίτους προγραμματιστές μέσω του Qualcomm® Neural Processing SDK. Αυτό επιτρέπει στις εφαρμογές να τρέχουν νευρικά δίκτυα σε οποιονδήποτε πυρήνα υλικού μέσα σε μια κινητή πλατφόρμα Snapdragon. Για παράδειγμα, τα έξυπνα τηλέφωνα Google Pixel μπαίνουν στο Hexagon DSP και στο δικό του Visual Core για να επιταχύνουν την εντυπωσιακή φωτογραφική μηχανή HDR +. Η Qualcomm Technologies συνεργάζεται με προμηθευτές λογισμικού όπως το Arcsoft, το Elevoc, το Polar, το Loom, το Mobius, το Morpho και πολλά άλλα, υποστηρίζοντας χαρακτηριστικά που ξεκινούν από το βίντεο bokeh έως τη δημιουργία avatar χρησιμοποιώντας μηχανική μάθηση που τρέχει στο DSP.

Το AI θα μπορούσε να διαμορφώσει το μέλλον της φωτογραφίας

Τώρα γνωρίζουμε πώς λειτουργούν τα νευρωνικά δίκτυα, το σημαντικό ερώτημα είναι τι θα μπορούσε να κάνει για εμάς και τις φωτογραφίες μας;

Τα νευρικά δίκτυα χρησιμοποιούνται για τη βελτίωση μιας σειράς κοινών αλγορίθμων φωτογραφίας. Ο θόρυβος, για παράδειγμα, θα μπορούσε να βελτιωθεί με εκπαίδευση για να προσφέρει εξαιρετική εικόνα καθαρισμού προσαρμοσμένη στη συγκεκριμένη κάμερα ή τύπο λήψης. Ομοίως, για χαμηλό φωτισμό, ένα νευρωνικό δίχτυ θα μπορούσε να ανιχνεύσει φωτεινά και σκοτεινά τμήματα της εικόνας, επιτρέποντας τις φωτεινές και έγχρωμες βελτιώσεις σε συγκεκριμένα μέρη της σκηνής.

Οι πιο προηγμένες περιπτώσεις χρήσης είναι όλο και συχνότερες στη φωτογραφία των έξυπνων τηλεφώνων. Οι ζουμ υπερβολικής ανάλυσης χρησιμοποιούν νευρικά δίκτυα για να συνδυάσουν πολλές εικόνες σε ένα στιγμιότυπο υψηλής ανάλυσης για εξαιρετικό ψηφιακό ζουμ. Τα νευρικά δίχτυα θα μπορούσαν επίσης να εκπαιδεύονται για την ακριβή ραφή πολλαπλών φωτογραφικών εκθέσεων μαζί για ενισχυμένη HDR και νυχτερινές λήψεις.

Η φωτογραφία AI θα μπορούσε να περιλαμβάνει ζουμ υπερ-ανάλυσης, bokeh σε πραγματικό χρόνο και βελτιωμένη ποιότητα εικόνας.

Το βίντεο θα μπορούσε επίσης να ωφεληθεί από την υιοθέτηση αυτής της τεχνολογίας. Η ανίχνευση αντικειμένων σε πραγματικό χρόνο έχει σχεδιαστεί για να επιτρέπει στις εφαρμογές να εισάγουν εφέ λογισμικού bokeh απευθείας στο βίντεο κατά την εγγραφή σας. Παρόμοιες τεχνικές υποστηρίζουν επίσης την αντικατάσταση και την αφαίρεση αντικειμένων σε πραγματικό χρόνο. Αυτό περιλαμβάνει την εναλλαγή του φόντου σε ένα βίντεο, την αλλαγή ή την αφαίρεση χρωμάτων, ακόμα και την αντικατάσταση αντικειμένων ένδυσης ή την επικάλυψη ψηφιακών είδωλων απευθείας στο βίντεό σας.

Η δύναμη της νευρικής δικτύωσης και της φωτογραφίας AI κυμαίνεται από τις βελτιώσεις ποιότητας για να βοηθήσει να κλείσει το κενό στο DSLR σε ισχυρά εργαλεία δημιουργικότητας που συμβάλλουν στην παραγωγή μοναδικού περιεχομένου ένα αεράκι. Είτε έτσι είτε αλλιώς, είναι μια ισχυρή τεχνολογία που είναι θεμελιώδης για τις μελλοντικές βελτιώσεις που κατευθύνονται στην κινητή φωτογραφία.

Επόμενο: Google Pixel 3 XL διεθνές giveaway!

Περιεχόμενο που υποστηρίζεται από την Qualcomm Technologies, Inc.

Τα Qualcomm Snapdragon, η Qualcomm Hexagon, η Qualcomm Adreno, η Qualcomm Spectra, η Qualcomm AI Engine και η Qualcomm Kryo είναι προϊόντα της Qualcomm Technologies, Inc. ή / και των θυγατρικών της.