• Κόβουμε το παντεσπάνι σε φέτες 1 εκατοστού. Στραγγίζουμε τα γλυκά από το σιρόπι τους και τα κόβουμε σε μπουκιές. Σε ένα μπολ ανακατεύουμε το κονιάκ με το σιρόπι από τα γλυκά και το νερό από άνθη πορτοκαλιάς αν θα χρησιμοποιήσουμε.

Φτιάχνουμε την κρέμα ζαχαροπλαστικής

• Σε μια μεγάλη κατσαρόλα ζεσταίνουμε το γάλα και την κρέμα γάλακτος με τη μισή ζάχαρη. Σε ένα άλλο μεγάλο μπολ χτυπάμε τα αυγά, τους κρόκους, το κορν φλάουρ, τη βανίλια και την υπόλοιπη ζάχαρη. Όταν το γάλα/κρέμα είναι ζεστό, ρίχνουμε το μισό στο μείγμα των αυγών και χτυπάμε να ενωθούν. Ρίχνουμε το υπόλοιπο μείγμα κρέμας γάλακτος στα αυγά και ανακατεύουμε. Περνάμε το μείγμα από ένα σουρωτήρι και πάλι στην κατσαρόλα που βράσαμε το γάλα. Αυτό θα το απαλλάξει από τυχόν ψημένα κομμάτια κρόκου. Ανακατεύουμε την κρέμα σε μέτρια φωτιά μέχρι να πάρει μια βράση. Χρησιμοποιούμε ένα σύρμα για να ανακατέψουμε δυνατά για ένα λεπτό. Κατεβάζουμε την κρέμα από τη φωτιά και προσθέτουμε το βούτυρο. Ανακατεύουμε μέχρι να λιώσει το βούτυρο και να γίνει λεία η κρέμα. Μοιράζουμε την κρέμα εξίσου σε δύο μπολ.

Συναρμολογούμε το γλυκό όσο η κρέμα είναι ζεστή

• Μπορούμε να στρώσουμε τα υλικά για αυτό το γλυκό σε μία ή δύο στρώσεις. Μπορούμε επίσης να το συναρμολογήσουμε σε ένα ορθογώνιο ή στρογγυλό σκεύος. Εγώ διάλεξα το δεύτερο.
• Στρώνουμε τις μισές φέτες παντεσπάνι στο δοχείο. Περιχύνουμε με το μισό μείγμα σιροπιού/κονιάκ. Από πάνω ρίχνουμε τις μισές φέτες γλυκού και 1 κουταλιά της σούπας ψιλοκομμένα αμύγδαλα. Καλύπτουμε με τη μισή ζεστή κρέμα ζαχαροπλαστικής (την άλλη μισή την κρατάμε καλυμμένη με πλαστική μεμβράνη για να μην σχηματιστεί πέτσα).
• Επαναλαμβάνουμε με το υπόλοιπο παντεσπάνι, το σιρόπι, τα γλυκά, τα αμύγδαλα και την υπόλοιπη κρέμα ζαχαροπλαστικής. Καλύπτουμε την επιφάνεια της κρέμας με ψιλοκομμένα αμύγδαλα και ίσως μερικές γλυκές φέτες γλυκού. Μεταφέρουμε τη «σαρλότα» στο ψυγείο να παγώσει και να ενωθούν οι γεύσεις. Τη σερβίρουμε κρύα.