بریم برای ماه دوم؟ @PyTorch Howsam

PyTorch Howsam | United States America (US)

Create: 2025-01-11 Update: 2025-07-14 07:54:16

بریم برای ماه دوم؟

2. فوریه: روش فاین-تیونینگ DoRA

اگه تجربه فاین-تیون کردن مدل‌های زبانی بزرگ (LLM) رو داشته باشید، احتمالاً با LoRA آشنا هستید. LoRA مخفف عبارت Low-Rank Adaptation هست. این تکنیک به شما امکان میده که یک LLM رو فقط با حجم کمی از پارامترهای قابل آموزش، فاین-تیون کنید. DoRA هم توسعه‌یافته همین LoRA هست که در فوریه 2024 ارائه شده و راشکا اون رو به عنوان مقاله ماه انتخاب کرده.

سباستین راشکا میگه:

به طور کلی، انتظار دارم که LoRA و روش‌های مشابه همچنان محبوب باقی بمونن. به عنوان مثال، اپل اخیرا در مقاله‌اش با عنوان Apple Intelligence Foundation Language Models اشاره کرده که از LoRA برای فاین-تیون LLM-هاشون روی دستگاه‌های خودشون استفاده می‌کنن. این کار به اون‌ها اجازه میده که مدل‌ها رو برای وظایف خاص، بهینه‌سازی کنن و در عین حال منابع محاسباتی محدود دستگاه‌های همراه رو هم در نظر بگیرن.

یادآوری: قبلا یک مقاله از متا با عنوان MobileLLM در این کانال معرفی کرده بودم که میگفتن چقدر از سخت‌افزار یک موبایل رو میشه برای LLM استفاده کرد و چه محدودیت‌هایی وجود داره. همچنین، یک وبلاگ جامع درباره همین MobileLLM نوشتم.

یک متنی درباره LoRA و DoRA نوشتم، ولی طولانی بود. تصمیم گرفتم، اینجا نذارم و توی وبلاگ منتشر کنیم.🫰

PyTorch Howsam

2️⃣

0️⃣

2️⃣

5️⃣

🎆 سباستین راشکا یک وبلاگ درباره مقالات تحقیقاتی برجسته در سال 2024 نوشته. اولش گفته که انقدر حجم کارهای تحقیقاتی ارزشمند سال 2024 زیاد هست که باید کتاب نوشت! به همین خاطر، تصمیم گرفته، هر ماه از سال 2024 رو به یک کار ارزشمند اختصاص بده. فعلا،…

به طور کلی، انتظار دارم که LoRA و روش‌های مشابه همچنان محبوب باقی بمونن. به عنوان مثال، اپل اخیرا در مقاله‌اش با عنوان Apple Intelligence Foundation Language Models اشاره کرده که از LoRA برای فاین-تیون LLM-هاشون روی دستگاه‌های خودشون استفاده می‌کنن. این کار به اون‌ها اجازه میده که مدل‌ها رو برای وظایف خاص، بهینه‌سازی کنن و در عین حال منابع محاسباتی محدود دستگاه‌های همراه رو هم در نظر بگیرن.

Please open Telegram to view this post

VIEW IN TELEGRAM

hottg.com/pytorch_howsam/619

2.11K viewsJan 11 at 08:45

>>Click here to continue<<

PyTorch Howsam

Share with your best friend

United States America Popular Telegram Group (US)

Telegram Q&A

Q: How does hottg.com work?

Once you've set up a username, you can give people a hottg.com/username link. Opening that link on their phone will automatically fire up their Telegram app and open a chat with you. You can share username links with friends, write them on business cards or put them up on your website.This way people can contact you on Telegram without knowing your phone number.

With Telegram, you can send messages, photos, videos and files of any type (doc, zip, mp3, etc), as well as create groups for up to 200,000 people or channels for broadcasting to unlimited audiences. You can write to your phone contacts and find people by their usernames. As a result, Telegram is like SMS and email combined — and can take care of all your personal or business messaging needs. In addition to this, we support end-to-end encrypted voice calls.

Q: What is Telegram? What do I do here?

Telegram is a messaging app with a focus on speed and security, it’s super-fast, simple and free. You can use Telegram on all your devices at the same time — your messages sync seamlessly across any number of your phones, tablets or computers.

Q: Who is Telegram for?

Telegram is for everyone who wants fast and reliable messaging and calls. Business users and small teams may like the large groups, usernames, desktop apps and powerful file sharing options. You can appoint admins with advanced tools to help these communities prosper in peace. Public groups can be joined by anyone and are powerful platforms for discussions and collecting feedback.In case you're more into pictures, Telegram has animated gif search, a state of the art photo editor, and an open sticker platform (find some cool stickers here or here). What's more, there is no need to worry about disk space on your device. With Telegram's cloud support and cache management options, Telegram can take up nearly zero space on your phone.

Q: How is Telegram different from WhatsApp?

Unlike WhatsApp, Telegram is a cloud-based messenger with seamless sync. As a result, you can access your messages from several devices at once, including tablets and computers, and share an unlimited number of photos, videos and files (doc, zip, mp3, etc.) of up to 2 GB each. And if you don't want to store all that data on your device, you can always keep it in the cloud.Thanks to our multi-data center infrastructure and encryption, Telegram is faster and way more secure. On top of that, Telegram is free and will stay free — no ads, no subscription fees, forever.

Q: Can I make calls via Telegram?

Yes! Voice calls are currently available to users around the world.

Many modern travelers appear to struggle with managing various aspects of their finances simultaneously while abroad, such as banking, budgeting, investing, trading, and saving. It is important to have apps installed on the device that will help you carry out these necessary tasks.

Hot Topic in US

Telegram Desktop App Not Working on Windows?

بریم برای ماه دوم؟