Sérgio Conceição a commencé sa carrière de joueur en 1994, lorsqu'il a rejoint le club portugais de Benfica. Il a joué pour le club pendant quatre saisons, remportant le championnat portugais en 1995 et 1996. En 1998, il a rejoint le club de Sporting CP, où il a remporté le championnat portugais en 1999 et 2000. En 2001, il a rejoint le club de FC Porto, où il a remporté le championnat portugais en 2002 et 2003. En 2004, il a rejoint le club de Braga, où il a remporté le championnat portugais en 2005. En 2006, il a rejoint le club de Vitoria Setubal, où il a joué jusqu'à sa retraite en 2008.