Αστροφωτογράφοι: Τι κάνετε με τόσο μεγάλο όγκο δεδομένων;

Καλησπέρα σε όλους,

 

Αστροφωτογράφοι , Deep Sky και πλανητικοί, τι κάνετε με τόσο μεγάλο όγκο δεδομένων μετά από κάθε εξόρμηση; Αποθηκεύετε όλα τα *avi κτλ. ή μετά την επεξεργασία τα διαγράφετε; κρατάτε τα καλύτερα;

 

Εγώ πχ. δημιουργώ περίπου 50GB την ώρα και ασχολούμαι μόνο με πλανητική!!!!!!!! Με deep sky πώς τα βγάζετε πέρα;;;;;;;;;;;;;;;;;;

Δεν εχουμε τετοιο ογκο δεδομενων στο deepsky...αντε σε ενα τρισμεγιστο project να φτασεις τα 1-5GB σε πολλες νυχτες.

Όταν λέμε ότι για μια φωτογραφία κάνετε 4 ώρες έκθεση. Σε τι format είναι το output και ποσό μέγεθος μπορεί να έχει;

Είναι σε μορφή FITS (οταν εχεις CCD). Μια συνηθισμενη ληψη πχ 20 λεπτων σε φουλ αναλυση ειναι της ταξεως των 16ΜΒ κ πολλες φορες δεν τραβαμε σε πλήρη αναλυση (bin) οποτε ο ογκος πέφτει σε 2ΜΒ

Κατάλαβα, εμένα σε avi ασυμπίεστο δεν πάει κάτω από 2,5 με 3 GB τη φορά, 30 με 60 seconds maximum.

κακως τα καταγραφεις ασυμπιεστα δεν κερδιζεις τιποτα

 

 

σε τι αναλυση ειναι ατα βιντεο σου ?

 

 

οταν 4Κ βιντεο συμπιεζονται και εχουν 10 λεπτα πχ 3,5 gigabytes σε ποιοτητα απιστευτη το βρισκω ανωφελο να μην εκμεταλευεσαι μορφες Mkv , mp4 , dvix και να ταλαιπωρεισαι με τοsο μεγαλο ογκο δεδομενων

 

 

το βιντεο δεν ειναι σαν την φωτογραφια να την εκμευταλευεσαι σε Raw

Για αστροφωτογραφία τα προτιμούμε ασυμπίεστα! Η συμπίεση μπορεί να έχει καλά αποτελέσματα όταν πρόκειται να το δει άνθρωπος όμως το βίντεο από την πλανητική φωτογράφιση θα υποστεί μαθηματική επεξεργασία στο πρόγραμμα και θα απολεστεί πληροφορία από τη συμπίεση. Εγώ τραβάω πάντα ασυμπίεστα στην πλανητική και έτσι νομίζω κάνουν οι περισσότεροι.

 

Όσον αφορά το τι κάνουμε τα δεδομένα, το deep sky όντως δεν είναι τόσο πρόβλημα όπως είπε ο Δημήτρης. Με την πλανητική υπάρχει θέμα, τα GB είναι πολλά. Εγώ δε κάνω συχνές λήψεις οπότε τα καταφέρνω. Αλλιώς Γιάννη δε βλέπω άλλη λύση από την αγορά επιπλέον σκληρών δίσκων. Τώρα για το αν θα τα κρατάς ή όχι, υπάρχουν διάφορες προσεγγίσεις. Αύριο-μεθαύριο γίνεσαι καλύτερος στην επεξεργασία και μπορεί να θες να επεξεργαστείς μια παλιά λήψη με καλό seeing. Τις λήψεις με πολύ κακό seeing υπάρχει μικρότερο κίνητρο να τις κρατήσεις.

Προσωπικά, πλέον τα σβήνω μετά από περίπου 1 μήνα.

 

Κι αυτό επειδή ποτέ δεν είμαι ευχαριστημένος με τα αποτελέσματα μου, οπότε αν τα κρατάω πολύ καιρό θα τα δουλεύω συνέχεια και θα έχω επιπλέον τα νέα βίντεο.

 

Αυτό που πάντα κρατάω είναι η φωτό μετά το στακάρισμα.

 

Επίσης, μικραίνω το ROI. Π.χ. στο firecapture σχεδιάζεις με τον κέρσορα το μέρος από το καρέ που θέλεις να μείνει.

Επίσης, μικραίνω το ROI. Π.χ. στο firecapture σχεδιάζεις με τον κέρσορα το μέρος από το καρέ που θέλεις να μείνει.

 

Σωστό, παρεμπιπτόντως να πούμε πως αυτό έχει διπλό όφελος καθώς αυξάνει το frame rate.

Από τι είδα τραβάς με την asi 120mc. Αφού κάνεις τις απαραίτητες ρυθμίσεις και απενεργοποιήσεις το debayer κάτα τη λήψη, τότε θα πάρεις μικρότερα αρχεία. Debayer μπορείς να κάνεις αργότερα στο πρόγραμμα που χρησιμοποιείς.

50GB την ώρα για πλανητική; Κάτι κάνεις λάθος.

-Χρησιμοποίησε UT Video ή huffyuv ή lagarith codec. To UT Video είναι το πιο γρήγορο. Δεν αποθηκεύουμε με απωλεστική συμπίεση, αλλά αυτό δε σημαίνει ότι δε χρησιμοποιούμε μη απωλεστική.

-Όπως είπαν παραπάνω, στην πλανητική χρησιμοποιούμε το ROI αλλιώς χάνουμε και framerate

Τραβάω πολλά βίντεο την ώρα 15+ γιατί θέλω να πετύχω το καλύτερο seeing. ανάλογα τις συνθήκες. Το ROI το χρησιμοποιώ αλλά όχι πάντα. Εγώ κραταω τα εξαγόμενα tiff και από τα avi επιλέγω τα καλύτερα, και για μελλοντική καλύτερη επεξεργασία, και τα άλλα τα διαγραφω, δυστυχώς.

Από τι είδα τραβάς με την asi 120mc. Αφού κάνεις τις απαραίτητες ρυθμίσεις και απενεργοποιήσεις το debayer κάτα τη λήψη, τότε θα πάρεις μικρότερα αρχεία. Debayer μπορείς να κάνεις αργότερα στο πρόγραμμα που χρησιμοποιείς.

 

Ναι κι αυτό βοηθάει πάρα πολύ!

 

Μεγάλος όγκος μαζεύεται πολυ γρήγορα, ειδικά αν τραβάς πολλά βίντεο με διαφορετικούς συνδυασμούς Barlow ή/και φίλτρων.

 

Χρησιμοποιώ το ser.

Επίσης συνήθως επεξεργάζομαι σε άλλο υπολογιστή τα βίντεο, οπότε τα αποθηκεύω κατευθείαν σε εξωτερικό.

50GB την ώρα για πλανητική; Κάτι κάνεις λάθος.

 

Κανένα λάθος. ΠΑΝΤΑ λαμβάνουμε ασυμπίεστα αρχεία όσο όγκο και αν έχουν. Το workflow μου έχει ώς εξής:

 

-Λήψη με autorun (Firecapture) για όση περισσότερη ώρα γίνεται. Συνήθως τραβάω σέτ των 10 avi συνεχόμενα για περίοδο γύρω απο τις 2 ώρες (~100GB την ώρα στην περίπτωση μου) και στο μεσοδιάστημα μπορεί να κάνω αλλαγές στο focus ή στις ρυθμίσεις ανάλογα των συνθηκών.

-Batch mode Align και Stack με το Autostakkert με επιλογή 50% stacksize για αξιολόγηση των avi. Εφόσον βρεθούν αυτά με τις καλύτερες συνθήκες ξανά Autostakkert με λιγότερο ποσοστό stacksize (25% ή και λιγότερο ανάλογα των συνθηκών). Έτσι δημιουργούνται απο ένα avi 2 η και περισσότερα raw stacked file.

-Ακολούθως μπαίνουν όλα στο registax για wavelet/color balance e.t.c.

-Winjupos για Derotation (εάν έχεις συνεχόμενες λήψεις μπορείς να συνδυάσεις 2 η και περισσότερες για να αυξήσεις τον λόγο SNR).

-Τέλος με Photoshop για σύνθεση κ παρουσίαση (ελάχιστη επεξεργασία sharpness και levels).

-Τα avi περνάνε απο το Detect.

-Με το πέρας της επεξεργασίας των stacks, τα avi μπορούν να περάσουν απο το Autostakkert με πολλαπλές επιλογές stack size για να έχεις π.χ. απο το ίδιο avi stack των 10%,20%,50% ή και 90% ή όσο θέλεις τέλοσπάντων ανάλογα του άν ψάχνεις λιγότερο θόρυβο ή μέγιστη οξύτητα.

 

Το ιδανικό είναι να έχεις ΠΑΡΑ πολύ χώρο υπο την μορφή δίσκων και να κρατάς τα avi ασυμπίεστα για πάντα. Επειδή είναι δύσκολο και ασύμφορο προσωπικά τα zipάρω ΕΦΟΣΟΝ έχω τελειώσει την επεξεργασία εντελώς. Τα stacks όμως παραμένουν ασυμπίεστα και εφόσον έχω για το ίδιο avi πολλαπλά stack size και εφόσον τα avi πέρασαν απο έλεγχο απο το Detect.

Κανένα λάθος. ΠΑΝΤΑ λαμβάνουμε ασυμπίεστα αρχεία όσο όγκο και αν έχουν.

 

Εννοείς ούτε μη απωλεστική συμπίεση; Μα για ποιό λόγο; Για να γράφεις για zipάρισμα avi, υποπτεύομαι πως δεν έχεις δοκιμάσει lossles codecs.

Δεν ξέρω αν είναι πάντα εφικτό, πχ με το firecapture όταν τραβάω 16-bit ser files δε θυμάμαι αν δίνεται η δυνατότητα για το UT video.

 

Γενικότερα, όντως μπορεί κανείς να χρησιμοποιήσει lossless codec στα avi. Εγώ προτιμώ να τραβάω εντελώς uncompressed και για αρχειοθέτηση το PIPP (πέρα από τα άλλα ωραία που κάνει) μπορεί να μετατρέψει όποια .avi θέλεις να κρατήσεις σε UT video (δείτε εδώ: https://sites.google.com/site/astropipp/example-uasge/example7 ) και να τα κάνει ουσιαστικά μισά σε μέγεθος γεγονός που βοηθάει πολύ αλλά δεν αυξάνει την τάξη μεγέθους του προβλήματος που έχουμε να διαχειριστούμε.

Κανένα λάθος. ΠΑΝΤΑ λαμβάνουμε ασυμπίεστα αρχεία όσο όγκο και αν έχουν.

 

Εννοείς ούτε μη απωλεστική συμπίεση; Μα για ποιό λόγο; Για να γράφεις για zipάρισμα avi, υποπτεύομαι πως δεν έχεις δοκιμάσει lossles codecs.

 

Το zipάρισμα είναι για την αρχειοθέτηση μόνο και εφόσον έχουμε τελειώσει με την επεξεργασία. Έχεις δίκαιο δεν έχω δοκιμάσει κάτι επιπρόσθετο ούτε το έχω ψάξει ιδιαίτερα. Απλά απο συνήθεια τραβάω σε avi (debayer off εννοείται) κατευθείαν (λογική better safe than sorry) και zipάρω αφού τελείωσα με ότι ήθελα να κάνω.

Δεν ξέρω αν είναι πάντα εφικτό, πχ με το firecapture όταν τραβάω 16-bit ser files δε θυμάμαι αν δίνεται η δυνατότητα για το UT video.

 

Γενικότερα, όντως μπορεί κανείς να χρησιμοποιήσει lossless codec στα avi. Εγώ προτιμώ να τραβάω εντελώς uncompressed και για αρχειοθέτηση το PIPP (πέρα από τα άλλα ωραία που κάνει) μπορεί να μετατρέψει όποια .avi θέλεις να κρατήσεις σε UT video (δείτε εδώ: https://sites.google.com/site/astropipp/example-uasge/example7 ) και να τα κάνει ουσιαστικά μισά σε μέγεθος γεγονός που βοηθάει πολύ αλλά δεν αυξάνει την τάξη μεγέθους του προβλήματος που έχουμε να διαχειριστούμε.

 

 

Υπόψιν, αν έχεις μονόχρωμη και θες να κρατήσεις τα 16bit υπάρχει το FFV1 codec, γιατί το UT video είναι 8bit/κανάλι.

Οκ να υπάρχει codec, πρέπει όμως να συνεργάζεται και με το πρόγραμμα λήψης, εν προκειμένω το firecapture που μάλλον είναι το καλύτερο αυτή τη στιγμή. Δεν έχω υπόψη για αν μπορείς να επιλέξεις codec για τα .ser (μόνη επιλογή για 16bit) αλλά νομίζω όχι.

Οκ να υπάρχει codec, πρέπει όμως να συνεργάζεται και με το πρόγραμμα λήψης, εν προκειμένω το firecapture που μάλλον είναι το καλύτερο αυτή τη στιγμή. Δεν έχω υπόψη για αν μπορείς να επιλέξεις codec για τα .ser (μόνη επιλογή για 16bit) αλλά νομίζω όχι.

 

Όχι, το SER δεν παίρνει codec. Δε θυμάμαι αν στα 16bit σε "κλειδώνει" μόνο σε SER και δεν μπορείς έτσι να χρησιμοποιήσεις το FFV1. Αλλά το ανέφερα και για αρχειοθέτηση αν θέλει να κάνει κάποιος, αντί να κρατάει τα SER και δε θέλει να ρίξει ποιότητα.

Βασικά, το πρόβλημα το έχουν οι "Πλανητογράφοι" και μετά όσοι ασχολούνται με το βίντεο και είναι όπως ακριβώς το παρουσιάζεις.

 

Εαν έχεις χρήμα αγοράζεις κάθε μερικούς μήνες έναν 4TB δίσκο και τα βάζεις μέσα και μετα στο συρτάρι.

Αλλιώς κάνεις διαλογή, κρατάς μόνο τα καλά και αν νομίζεις, ότι έχουν ζουμί για το μέλλον τα zipαρεις και τα αρχειοθετείς, όπως περίπου είπαν όλοι οι παραπάνω, ανάλογα τι σε βολεύει και τι ζητάς.

 

 

 

Τα Deepsky και οι φωτογραφίες δεν έχουν πολύ όγκο, εκτος και αν μιλάμε για timelapse όπου εκει πάλι είναι τι ζητάμε αλλά πάμε αλλού...