Året er 1940.
I Vedby emmer alt af fred og idyl indtil en tidlig morgen – den 9. april. Ligesom resten af Danmark er familien Madsen skræmte over at se tyskernes fly over Danmarks himmel. Gustav og Agnete ser hinanden i øjnene, og de kan mærke de bange anelser, som fylder deres kroppe. Deres lille søn, Jørgen, kommer løbende ind til dem, og imens Agnete holder ham i sine arme, spekulerer hun på, hvad fremtiden mon vil bringe dem.
Hemmelighederne der ikke kunne siges er en familiekrønike, som følger familien Madsen igennem årene 1939-1981. Gustav og Agnete gennemlever Anden Verdenskrig som et ægtepar, der kæmper for Danmark. Vi følger dem i romantiske, magtesløse, tårevædede og lykkelige øjeblikke. Vi ser dem prøve at komme videre og inderligt håbe på, at deres børn ikke kommer til at begå de samme fejl, som de gjorde – måske uden held.
