Come e dove posso iniziare a imparare la programmazione in C?

Non si "avvia" realmente il C stesso; a differenza di Python, non c'è una shell interattiva che si può avviare e digitare comandi. Il tipico flusso di lavoro in C è che si scrive un programma valido in un file di testo, si usa un compilatore per trasformare quel codice in un file eseguibile, e si prova ad eseguire l'eseguibile. (Beh, idealmente. Ciò che tipicamente accade è che la vostra prima versione non riesce a compilare, poi passate un po' di tempo a modificarla finché il compilatore non è finalmente felice).

Se avete un Mac, una macchina linux, o una macchina linux virtuale a portata di mano, vi consiglio di iniziare con la configurazione più semplice possibile: Un editor di testo che vi piace, un terminale e un compilatore (gcc o clang). Imparare come compilare un file di testo nel terminale è utile di per sé, e non c'è davvero molto da fare. L'unica complicazione è imparare come funziona gdb/lldb quando si ha bisogno di un debugger - anche se è vero che questi hanno un po' una curva di apprendimento...

Sebbene lavorare in questo modo sia un po' primitivo, ti tiene vicino a ciò che sta accadendo, e le abilità che impari saranno per lo più trasferite bene. Usare un IDE può essere molto utile, quindi dovreste probabilmente provare ad usarne uno o più - ma solo dopo aver appreso le basi (testo+compilatore=eseguibile).

Se volete imparare su Windows, le cose sono un po' più incerte. La cosa più semplice è probabilmente installare Visual Studio C++ Express e lavorare lì. Basta tenerlo d'occhio in modo da ottenere il C e non il C++: la maggior parte del C è anche C++ valido, ma il contrario non è vero - quindi usare accidentalmente il compilatore C++ potrebbe rendere le cose un po' confuse.

In alternativa, se volete la giusta sensazione di salita e discesa in Windows, potete installare cygwin, che vi darà gcc e un terminale simile a linux. Combinatelo con un qualsiasi editor di testo (a me piace Notepad++) e sarete pronti a partire.

2019 Update: se volete solo un posto facile per giocare con GCC/clang in windows in questi giorni, vi consiglio WSL. Andate nel Windows Store, trovate e installate Ubuntu, e seguite le loro istruzioni su come abilitare il relativo componente di Windows. Ora avete un'applicazione per Ubuntu da cui potete partire per ottenere una shell Linux funzionante.