Em 2004, DeFer começou sua carreira como atriz na série da Nickelodeon Drake & Josh. Desde então, ela vem participando de várias séries como Ghost Whisperer, CSI: Miami, How I Met Your Mother e Quintuplets. Ela também foi modelo de capa do álbum de Reeve Oliver, Touchstone Inferno, que foi lançado em dezembro de 2007.
Em maio de 2004, DeFer fez parte do elenco da série de televisão americana The Mountain. A série foca na vida pessoal de amigos em uma loja de ski. DeFer interpretava o papel de Scarlett. A série começou no dia 22 de setembro de 2004 e foi cancelada devido a baixa audiência.
Em abril de 2005, DeFer participou da sitcom americana The War At Home, que focava no dia a dia de uma família rica que reside em Long Island, Nova Iorque. DeFer interpretou uma garota de 17 anos, Hillary Gold que constantemente se comportava muito mal. A série começou no dia 11 de setembro de 2005, conseguiu um bom número na audiência mas recebeu criticas negativas. A série foi ao ar durante 2 anos e foi cancelada devido a baixa audiência.
Em outubro de 2006, DeFer começou sua carreira no cinema atuando em filmes como Flicka - onde interpretou a antagonista, Miranda Koop - e em 2011, atuou em Mattie.
Em abril de 2011, a The CW anunciou que DeFer participaria da famosa série de televisão Gossip Girl na quarta temporada e mais tarde, na quinta temporada da série, DeFer foi promovida como elenco principal. Primeiramente, DeFer fez teste para fazer o papel de Raina Thorpe, outra personagem da série, mas não recebeu o papel. Ela interpreta o papel de Ivy Dickens, uma atriz que finge ser Charlotte "Charlie" Rhodes, a prima de uma das protagonistas, Serena van der Woodsen: Ivy foi contratada pela mãe de Charlie, Carol Rhodes, para ter acesso à fortuna da filha. DeFer está em Gossip Girl junto com seu parceiro de The Mountain, Penn Badgley. A personagem foi bem elogiada pela critica americana e a atriz irá voltar na sexta e última temporada da série.