Das raças mais antigas que se tem noticia e embora a sua origem seja uma questão obscura, existe a hipótese que ela tenha surgido como cão pastor na Ásia Central e que tenha sido trazida para a Península Ibérica pelos bárbaros.
Achados arqueológicos permitem afirmar a existência de cães de gado que teriam originado, por cruzamentos consanguíneos, um tipo semelhante ao cão de água. Há também provas que indicam que na era pré cristã, era considerado um animal sagrado, e quem matava um cão de água, recebia severo castigo.
Sabemos seguramente que em toda a bacia mediterranica, o cão de tipo mais ou menos idêntico ao actual era usado pelos pescadores e originou diferentes raças de cães de água hoje existentes. A história de Portugal é rica em invasões e descobertas, e sendo um povo de navegadores, é aceitável que os levassem como auxiliares na suas deambulações marítimas e os tivessem difundido pelas várias regiões. Daí há quem defenda que o cão de água é o ascendente do cão da Terranova, Chesapeake Bay, Retriever do labrador, Poodle e até o Cão de água irlandês. Em 1588, 130 navios da Invencível Armada partiram de Lisboa, levando cães a bordo. Ao largo da Irlanda, não só devido a grandes tempestades como á derrota perante os ingleses, muitos navios se afundaram e apenas metade dos barcos regressaram. Crê-se que muitos dos cães tenham sobrevivido e misturados com raças locais, tenham originado o cão de água irlandês.