События фильма происходят через девять лет после таинственного провала миссии космического корабля «Дискавери». Американцы пытаются понять проблемы, вызвавшие неполадки на «Дискавери», и причину исчезновения Боумэна, а также, если это будет возможно, исследовать опустевший корабль и находящийся на околопланетной орбите Юпитера монолит. Советский Союз тоже ведёт подготовку своей экспедиции с теми же целями и опережает американцев на пару лет, но у СССР нет специалистов по компьютерным системам для ввода в строй HAL 9000 и «Дискавери». К тому же русским не известно, что произошло у Юпитера, и они боятся повторения ошибок американцев, поэтому они предлагают американцам включить в экипаж советского корабля своих специалистов. СССР и США формируют совместную экспедицию, которой предстоит отправиться к Юпитеру на борту советского корабля «Алексей Леонов». В состав международного экипажа наряду с командиром Татьяной Кирбук и другими советскими космонавтами Максимом Брайловским, Василием Орловым, Ириной Якуниной, Владимиром Руденко, Александром Ковалёвым и Николаем Терновским входят Хейвуд Флойд (из «Космической одиссеи 2001 года»), создатель суперкомпьютера HAL 9000 доктор Чандра и американский военный инженер Уолтер Курноу, принимавший участие в создании «Дискавери».
Достигнув Юпитера, на спутник планеты Европу с «Алексея Леонова» отправляют исследовательский зонд, оснащённый новейшим оборудованием. Зонд фиксирует движение некой крупной формы жизни под толстым слоем льда, покрывающим поверхность планеты. Однако зонд уничтожается вспышкой света при первой же попытке сфотографировать таинственный объект.
«Дискавери» обнаруживается заброшенным на орбите другого Галилеевого спутника Юпитера — Ио. Вследствие вулканической активности на Ио корабль покрыт толстым слоем серы. Экипаж «Леонова» очищает его от наслоений, и Брайловский с Курноу получают возможность возвратить «Дискавери» в рабочее состояние. В результате, доктор Чандра вновь активизирует HAL 9000, чтобы обнаружить в его базе данных информацию о происшествиях на корабле.
На орбите Юпитера открыт большой чёрный монолит, аналогичный изображённым в «Космической одиссее 2001 года». Отдалённые снимки не позволяют изучить его природу, и Максиму Брайловскому приходится направиться вплотную к объекту, повторяя ошибку Боумэна. Когда Максим приближается к монолиту, из последнего вырывается всплеск энергии, по всей видимости, уничтожающий капсулу Брайловского. Следует учитывать, что данный эпизод введён в фильме, в книге же Максим остаётся в живых в финале.
Затем следуют сцены с участием Дэйва Боумэна, превращённого четвёртым монолитом в «дитя звёзд». Одно из его воплощений появляется на Земле, вступая в контакт со старыми знакомыми. Например, он обращается к своей вдове с экрана телевизора. Затем его воплощение предстаёт перед Флойдом на «Дискавери», предупреждая о необходимости покинуть орбиту Юпитера в течение двух дней. Флойд интересуется, что может случиться в противном случае, на что дух его коллеги отвечает «Что-то прекрасное».
Между тем, происходит эскалация напряжения в отношениях Советского Союза и Соединённых Штатов. Американским астронавтам приказано оставить борт корабля «Алексей Леонов» как «вражескую территорию» и перейти на «Дискавери». Однако вскоре случается событие, заставляющее советских и американских космонавтов забыть былые невзгоды: телескопы на «Леонове» устанавливают, что ранее появившееся Большое чёрное пятно в атмосфере Юпитера на самом деле является не ураганом, а скоплением монолитов, количество которых увеличивается в геометрической прогрессии.
Оказывается, что ни «Алексей Леонов», ни «Дискавери» не смогут доставить свои экипажи на Землю в одиночку, если они будут запущены в спешном порядке, поскольку стартовое окно открывается лишь через несколько дней. Поэтому экипаж советского корабля и Флойд создают план спасения, в котором американскому аппарату предстоит сыграть роль стартового ускорителя «Леонова», на который планируется эвакуировать обе команды. Однако в таком случае «Дискавери» и HAL 9000, управляющий им, останутся скованными на орбите Ио, не имея достаточно горючего для дальнейшего перелёта. Доктору Чандре предстоит убедить HAL в опасности, нависшей над людьми на борту обоих кораблей, и предотвратить поведение компьютера, наблюдавшееся в 2001. В конце концов HAL соглашается пожертвовать собой ради спасения людей на «Леонове».
Покидая орбиту Юпитера, экипаж «Леонова» наблюдает, как монолиты опоясывают всю планету. В конечном итоге, они увеличивают плотность планеты до такой степени, что поднявшиеся давление и температура делают возможным начало процесса термоядерного синтеза на планете-гиганте. Юпитер превращается в малую звезду. Фильм представляет фотографии известных мест Земли с двумя солнцами на небе. Как следует из монолога Флойда, это чудесное событие заставляет лидеров двух враждующих в холодной войне сверхдержав — СССР и США — прекратить противостояние и заключить мир.
Когда «Леонов» направляется к Земле, HAL приказано передавать сообщение следующего содержания: «Все эти миры, кроме Европы, принадлежат вам. Не приближайтесь сюда. Пользуйтесь ими вместе. Пользуйтесь ими в мире». В финале картины изображается преобразование Европы из безжизненной ледяной пустыни в цветущие джунгли. В последних кадрах представлен стоящий посреди озера на Европе монолит, ожидающий зачатки разумных форм жизни.
