Hola,
Fíjate en los videos que te adjunta el compañero Salvador por si ves algo que en tu diseño o esquema esta equivocado.
Si no, adjunta una imagen que podamos ver el esquema utilizado para ver posible error del diseño. También concreta qué carga conectas y como la conectas no sea que superas el límite del LM317 o del circuito montado. Y por último, que el LM317 no esté en mal estado
En cuanto a tu pregunta de conectarlo la fuente de 12V, 11A no pasará nada. El circuito con el LM317 absorberá de la fuente de pc sólo la corriente que la carga necesita más la propia del circuito diseñado incluyendo el regulador.
Saludos