Allen je imao tri supruge, Harlene Rosen od 1954. do 1959., Louise Lasser od 1966. do 1970. i trenutnu Soon-Yi Previn s kojom se oženio 1997. godine. Iako je bio u 12-godišnjoj vezi s glumicom Mijom Farrow , nikada nisu stupili pred oltar. Bio je u vezi i s glumicama Stacey Nelkin i Diane Keaton . Potonju je glumicu Allen angažirao u svojoj Broadwayskoj predstavi Play it Again, Sam " nakon čega su bili u vezi godinu dana. Iako su prekinuli, glumila je u nekolicini njegovih filmova poput Annie Hall " i Spavaču ". Od Zagonetnog ubojstva na Manhattanu " bivši par nije surađivao, ali su ostali bliski prijatelji. Upravo se spomenuti film bazira na Allenovoj vezi s glumicom Stacey Nelkin koja je počela kada je ona imala samo 17 godina. Glumica Mariel Hamingway je u svojim memoarima napisala da je slavni redatelj bio zaljubljen u nju iako je ona imala 17 godina, a on je bio u svojim 40-ima. Allen joj je predložio zajednički odmor u Parizu, bez naznake da će dijeliti spavaću sobu, no glumica je u konačnici odbila sve njegove nasrtaje.
Početkom 1980. godine Allen je počeo desetogodišnju vezu s glumicom Mijom Farrow koja je glumila u 13 njegovih filmova od 1982. do 1992. Nikada se nisu vjenčali niti živjeli zajedno, ali su živjeli u blizini jedno drugoga, na suprotnim stranama njujorškog Central Parka. U prosincu 1991., nakon deset godina veze, Allen je službeno posvojio dvoje djece koje je Mia prethodno posvojila, Dylan i Mosesa . Iako je glumica tvrdila da je redatelj izvrstan otac, već je sljedećeg mjeseca promijenila mišljenje kada je u njegovom stanu pronašla nage fotografije njene druge posvojene kćeri, 21-godišnje Soon-Yi Previn koju je Allen fotografirao. Farrow je shvatila da ju vara s pokćerkom, što je rezultiralo njihovim prekidom, dok se Soon-Yi preselila k redatelju.
Budući da se Allen i Farrow nikada nisu vjenčali, redatelj nije bio zakonski očuh Soon-Yi, stoga su se vjenčali 1997. i imaju dvije posvojene kćeri.S Mijom Farrow ima biološko dijete, Satchela Ronana Farrowa . Međutim, njegovo je očinstvo došlo u pitanje kada je 2013. godine njegova majka podigla sumnju da bi mogao biti sin Franka Sinatre, njenog prvog supruga, s kojim nikada zapravo nije prekinula". Nakon burne rastave, glumica je dobila bitku za skrbništvo, a Allenu su uskraćene posjete, a Ronana je mogao vidjeti samo pod nadzorom. Farrow je pokušala poništiti oba Allenova posvajanja, ali je sud odlučio u njegovu korist te je on i dalje njihov zakonski otac.
Tijekom emotivne i burne rastave, Allen je bio optužen i za seksualno zlostavljanje djeteta. Naime, u kolovozu 1992., Allen je posjetio svoju djecu u domu svoje bivše partnerice, nakon čega ga je ona optužila za zlostavljanje 7-godišnje kćeri Dylan te je podnijela optužnicu policiji. Dylan je tvrdila da se sve odvilo na tavanu, dok joj je proturječio brat Moses koji je rekao da je nekoliko ljudi bilo prisutno tijekom njegova posjeta te da se nitko nije zadržavao u odvojenim prostorijama. Slučaj je odbačen 1993. nakon sedmomjesečnog policijskog ispitivanja i nakon što je medicinski tim zaključio da Dylan nije bila zlostavljana.
U veljači prošle godine, Dylan Farrow je ponovila optužbe u otvorenom pismu kojeg je objavio Nicholas Kristof u Vanity Fairu. Allen je ponovno zanijekao optužbe nazivajući ih netočnima i sramotnima" te je odgovorio u svom pismu u New York Timesu. Dylanin brat Moses, ponovno je tvrdio da Woody nije zlostavljao njegovu sestru, već je Mia Farrow manipulirala njima kako bi ga zamrzili kao svojevrsnu osvetu za vezu sa Soon-Yi. Dylan je opovrgnula da ju je majka natjerala da bilo što kaže te je stala iza svojih optužbi.
Allenovu romantičnu komediju "Moćna Afrodita" pogledajte u nedjelju u 00:35 sati na RTL-u 2.