دوره ChatGPT رو میخوام با کولب پیش ببرم که همه بتونن ازش استفاده کنن. اما، میخوام برای یک قسمت سختافزار اجاره کنم که بشه برای طولانیمدت مدل رو آموزش داد. شایدم سایز مدل و دیتا رو افزایش بدم. از طرفی این پروسه هم آموزنده هست. گوگل کردم runpod، بعد یک نکته جالب دیدم! سایت runpod.io سختافزار GPU اجاره میده ولی یه سایت دیگه هم بنام runpod.ie وجود داره که لوازم و لباس ورزشی میفروشه!
از این نکته که بگذریم؛ GPU-های رده بالایی که توی runpod در دسترس هستن واقعا هیجانانگیزن! H200 H100 A100. هر سه اینها آپشنهای خوبی برای آموزش مدل هستن. ولی H100 و H200 برای کار یادگیری ماشین و ترنسفورمرها بهینه شدن. عملکرد بهتری نسبت به A100 دارن. نمودار بالا سمت چپ هم عملکرد دو GPU روی GPT-3 175B پارامتری رو نشون میده. VRAM بالایی هم دارن! توی runpod هزینه اجارشون ساعتی 2 تا 3 دلار هست.
>>Click here to continue<<
