Código Visual Studio no vienen con el proveedor de control de código fuente de Git integrado. Sin embargo, para que eso funcione, Git también debe estar instalado en su sistema. Así que simplemente descargue e instale Git en su máquina, y Visual Studio Code también podrá usarlo.
Si bien el panel de control de la fuente no le dice esto, pero desafortunadamente se mantiene en silencio, sin ofrecer nada, hay una manera de que VS Code le diga esto: En la página de "Bienvenida" que se muestra cuando inicia la aplicación, hay un enlace "Clonar repositorio Git ..." . Si hace clic allí, VS Code le dirá que falta Git:

Una vez que haya instalado Git y reiniciado Visual Studio Code, verá un pequeño icono de Git en la parte superior del panel de control de código fuente (a menos que ya tenga un repositorio abierto, por supuesto):

Esto le dirá que Git está ahí y puede hacer clic en el icono para inicializar un repositorio, o simplemente abrir un repositorio existente.