まず、拾ってきたのは本当に赤ちゃんコウモリなのでしょうか？
アブラコウモリという種類は大人でも体長5cmで体重10g以下と小さく、よく赤ちゃんコウモリと間違われます。出産シーズンにあたる6月から7月には幼獣が民家に迷い込んだり、冬眠前の10月頃には越冬場所を探しに迷い込んだ個体などが多く保護されるようです。
大きなケガをしていたり、毛も生えていないような赤子でない限りは、屋外の木や壁などにぶら下げておけばそのうちどこかへ飛んでいくでしょう。コウモリは、蚊や蛾など小型の昆虫をエサにしており飼育はとても難しいとされています。
衰弱している場合でも、一時的に水やミルクを与えて脱水を防いでやる程度にとどめ、なるべく早く保護施設等へ連絡をとり、専門家にまかせましょう。