私も一人で運転するのは、せいぜい自宅から実家（歩いても12分くらいの
ところ）までですね。勤めていますから完全に週末ドライバーです。
家族以外の人を乗せるのは絶対ダメ！と、今でも
言われています。そろそろ一人で乗る練習しなくてはと思うのですが、
時々後ろから「ギア！」とか「ブレーキ！」と罵声が飛んできます。

怖いという気持ちはある程度持っていたほうがよいと思いますよ。
慣れてくる頃が緊張感がゆるんで一番危ない時ですから。
これも教習と同じで、個人のペースで徐々に慣れていけば
よい事だと思います（上州児さんもおっしゃっていますね）。