Un elemento o compuesto químico puede formar un compuesto CON cloro (es decir, combinarse CON cloro formar un nuevo compuesto que "contiene" cloro). El resultado es un COMPUESTO DE CLORO. La razón de que se emplee DE en vez de CON es que el cloro no es un "objeto" que se tenga o no, sino que está químicamente unido dentro del compuesto y forma parte de el como un TODO (aunque en ciertas condiciones pueda ser liberado o intervenir en algún tipo de intercambio). Valga como ejemplo el nombre que se da en wikipedia a la categoría (nada menos) correspondiente.

http://es.wikipedia.org/wiki/Categoría:Compuestos_de_cloro

Nota: No me gusta demasiado emplear Wikipedia como referencia a ultranza, pero tiene un cierto valor "estadístico" de corroboración y en cuestiones técnica los artículos suelen ser aportados por personas suficientemente motivadas y conocedoras del tema en cuestión como para aportar cierta fiabilidad.

Las otras dos respuestas están bien, pero la más exacta es ésta.
El problema con la de Alberto es que "de Cloro" no lo he leído nunca.