Родился 24 мая 1940 года в Ленинграде в еврейской семье. Отец, капитан 3-го ранга ВМФ СССР Александр Иванович Бродский (1903—1984), был военным фотокорреспондентом, после Великой Отечественной войны поступил на работу в фотолабораторию Военно-морского музея. В 1950 году демобилизовался и затем работал фотографом и журналистом в нескольких ленинградских газетах. Мать, Мария Моисеевна Вольперт (1905—1983), работала бухгалтером. Родная сестра матери — актриса БДТ и Театра им. В. Ф. Комиссаржевской Дора Моисеевна Вольперт.

В 1954 году Бродский подал заявление во Второе Балтийское училище (морское училище), но не был принят. В 1955 году в неполные шестнадцать лет, закончив семь классов и начав восьмой, Бродский бросил школу и поступил учеником фрезеровщика на завод «Арсенал». Это решение было связано как с проблемами в школе, так и с желанием Бродского финансово поддержать семью. Фрезеровщиком он работал 9 месяцев. Безуспешно пытался поступить в школу подводников. В 16 лет загорелся идеей стать врачом, месяц работал помощником прозектора в морге при областной больнице, увлёкся анатомией и генетикой, анатомировал трупы, но в конце концов отказался от медицинской карьеры. Кроме того, в течение следующих пяти лет после ухода из школы он работал истопником в котельной, матросом на маяке. Среднее образование он получил в школе рабочей молодёжи[5]. Майкл Шапиро, нью-йоркский публицист и композитор, в книге «Сто великих евреев» утверждает, что Бродский учился в школе рабочей молодёжи, однако аттестата об окончании школы не получил[6].

Бродский был арестован и отправлен в ссылку юношей в 23 года, а вернулся двадцатипятилетним сложившимся поэтом. Оставаться на родине ему было отведено менее семи лет. Наступила зрелость, прошло время принадлежности к тому или иному кругу. Вечером 5 марта 1966 года Ленинград потрясла кончина Анны Ахматовой. Для Бродского это была тяжёлая утрата, он был знаком с ней с 1960 года. Ещё ранее начал распадаться окружавший её «волшебный хор» молодых поэтов. Положение Бродского в официальной советской культуре в эти годы можно сравнить с положением Ахматовой в 1920—1930-е годы или Мандельштама в период, предшествовавший его первому аресту.
В конце 1965 года Бродский сдал в Ленинградское отделение издательства «Советский писатель» рукопись своей книги «Зимняя почта (стихи 1962—1965)». Год спустя, после многомесячных мытарств и несмотря на многочисленные положительные внутренние рецензии, рукопись была возвращена издательством. «Судьба книги решалась не в издательстве. В какой-то момент обком и КГБ решили в принципе перечеркнуть эту идею».