Первые работы Леоне в кино связаны с жанром пеплума. Леоне начал карьеру в кино как помощник режиссёра, в этом качестве он участвовал в таких крупнобюджетных пеплумах, как «Камо грядеши» (1951) и «Бен Гур» (1959). В 1958 году он попробовал себя как сценарист и в дальнейшем выступал сценаристом всех своих режиссёрских работ.

В 1959 году Марио Боннар, снимавший фильм «Последние дни Помпеи», заболел, и доснимать фильм предложили Леоне, который был помощником режиссёра. Однако в титрах «Последних дней…» Леоне не был указан, и его настоящим дебютом как режиссёра можно назвать фильм 1961 года «Колосс Родосский». «Колосс Родосский» был снят полностью на французском языке, тем не менее все авторы сценария были из Италии, а режиссёр вовсе почти не знал французского и пользовался переводчиками. На этом настояли основные инвесторы фильма.

В интервью Серджо Леоне всегда говорил, что сделал Колосс Родосский лишь для того, чтобы оплатить медовый месяц в Испании. Дело в том, что в 1960 году Леоне не только дебютировал в кино, но и женился.

В начале 1960-х годов Леоне переключил внимание с исторического жанра на вестерны. Сюжет его первого вестерна «За пригоршню долларов» (1964) был основан на сюжете фильма японского режиссёра Акиры Куросавы «Телохранитель». Леоне перенёс действие из Японии на Дикий Запад, а главного героя сделал из самурая (в фильме Куросавы его играл Тосиро Мифунэ) вольным стрелком. На роль главного героя приглашались Чарльз Бронсон и Генри Фонда, ранее снимавшиеся в вестернах, но они оба отказались. В итоге главную роль сыграл малоизвестный тогда американский актёр Клинт Иствуд. Фильм, снятый в Испании, с итальянскими актёрами, с музыкой Эннио Морриконе положил начало спагетти-вестернам. Фильм также и открыл эпоху популярности «спагетти-вестернов» и определил многие их характерные черты. В частности, эти фильмы представляют собой скорее кинематографические притчи, нежели реалистические произведения. Подчёркнутая фантастическая меткость персонажей, перенос акцента с сюжетной логики на эффектный зрительный ряд, эпическая цельность характеров и другие моменты позволяют чётко отличить их от вестернов американского производства, которые воспринимались аудиторией как претендующие на реалистичность, в то время как у вестернов Серджио Леоне такой претензии нет.

Будучи достаточно точным сюжетным римейком «Телохранителя» Куросавы, фильм в то же время никак не ссылался на первоисточник. Это вызвало судебный иск со стороны Куросавы о защите авторских прав. В письме Леоне японский режиссёр написал: «Это очень хороший фильм, но это мой фильм». Судебное разбирательство создатели фильма проиграли и были вынуждены выплатить компенсацию в размере 100 тысяч долларов и 15 % от всех кассовых сборов фильма, а также уступить права на прокат фильма в Японии, Южной Корее и на Тайване.

Скоро последовали два продолжения фильма — «На несколько долларов больше» и «Хороший, плохой, злой». В них, помимо Иствуда, сыграл другой американский актёр — Ли Ван Клиф. Все три фильма, объединённые одним главным героем, «Человеком без имени», получили название «Долларовая трилогия».

Следующий спагетти-вестерн «Однажды на Диком Западе» (1968), был снят при участии американской компании «Paramount Pictures». В нём снимались актёры Чарльз Бронсон и Генри Фонда, а главную женскую роль сыграла Клаудиа Кардинале. В написании сценария участвовали Дарио Ардженто и Бернардо Бертолуччи.

В 1971 году режиссёр снял фильм «За пригоршню динамита». В драме, действие которой происходит во время Мексиканской революции, снимались Джеймс Кобурн в роли ирландского революционера и Род Стайгер в роли мексиканского бандита.

После этого фильма Леоне занялся продюсированием фильмов, иногда выступая в них режиссёром отдельных сцен, как в пародийных вестернах «Меня зовут Никто» и «Гений, два земляка и птенчик» с Теренсом Хиллом в главной роли.

Следующий фильм Леоне-режиссёра вышел только в 1984 году. Им стала сага «Однажды в Америке», рассказывающая о том, как еврейская компания нью-йоркских мальчишек (главарей сыграли Роберт де Ниро и Джеймс Вудс) превратилась в серьёзную гангстерскую группировку.

Фильм был доснят в 1984 году и частично был основан на автобиографическом произведении Хэрри Грэя. Фильм в форме комбинирования сцен из различных временных отрезков рассказывает историю нескольких друзей-гангстеров, встретившихся в начале двадцатого века в еврейском квартале Нью-Йорка и разбогатевших во времена «сухого закона» в США в 1930-х. Фильм построен как переплетение трёх временных (1920-е, 1930-е и 1960-е годы) и двух смысловых сюжетных линий.

Последняя режиссёрская работа Серджио Леоне получила 11 наград и 5 номинаций.

Последние 15 лет жизни Леоне планировал снять масштабный фильм о блокаде Ленинграда во время Второй мировой войны. Рабочее название картины было «900 дней». Во второй половине 1980-х проект уже возможно было реализовать таким, каким его видел режиссёр. Леоне собирался провести съёмки в Советском Союзе, однако, планам не было суждено сбыться. В марте 1989 года он приезжал в СССР для переговоров по проекту будущей картины, но уже 30 апреля, вернувшись в Рим, Серджио Леоне умер от инфаркта миокарда у телевизора.