ΠΠΎΠΊΠ° ΠΎΠ΄Π½ΠΈ Π²ΠΎΡΡ
ΠΈΡΠ°ΡΡΡΡ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡΡ ΠΠ ΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠ΄ ΠΏΠΎ ΡΠ΅ΠΊΡΡΠΎΠ²ΠΎΠΌΡ ΠΎΠΏΠΈΡΠ°Π½ΠΈΡ, Π² ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΠ°ΡΠΊΠ° Π¦ΡΠΊΠ΅ΡΠ±Π΅ΡΠ³Π° ΡΠ΅ΡΠΈΠ»ΠΈ ΡΡΡΡΠΎΠΈΡΡ Π΅ΠΌΡ Π½Π°ΡΡΠΎΡΡΠ΅Π΅ ΠΈΡΠΏΡΡΠ°Π½ΠΈΠ΅ Π½Π° ΠΏΡΠΎΡΠ΅ΡΡΠΈΠΎΠ½Π°Π»ΠΈΠ·ΠΌ ΠΈ ΡΠΎΠ·Π΄Π°Π»ΠΈ Β«The Automated LLM Speedrunning BenchmarkΒ» β ΠΏΠΎΠ»ΠΈΠ³ΠΎΠ½, Π³Π΄Π΅ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΡΠΌ ΠΏΡΠ΅Π΄Π»Π°Π³Π°Π΅ΡΡΡ Π½Π΅ ΠΏΡΠΎΡΡΠΎ Π½Π°ΠΏΠΈΡΠ°ΡΡ ΡΡΠΎ-ΡΠΎ Ρ Π½ΡΠ»Ρ, Π° Π²ΠΎΡΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ ΠΈ ΡΠ»ΡΡΡΠΈΡΡ ΡΠΆΠ΅ ΡΡΡΠ΅ΡΡΠ²ΡΡΡΠΈΠΉ ΠΊΠΎΠ΄.
Π ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ Π·Π°Π΄Π°ΡΠΈ Π±ΡΠ» Π²Π·ΡΡ ΡΠ΅Π°Π»ΡΠ½ΡΠΉ ΠΏΡΠΎΠ΅ΠΊΡ NanoGPT, Π³Π΄Π΅ ΡΠΎΠΎΠ±ΡΠ΅ΡΡΠ²ΠΎ ΡΠ½ΡΡΠ·ΠΈΠ°ΡΡΠΎΠ² ΡΠΎΡΠ΅Π²Π½ΡΠ΅ΡΡΡ Π² ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠΌ ΡΡΠΊΠΎΡΠ΅Π½ΠΈΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ GPT-2, Π½Π΅Π±ΠΎΠ»ΡΡΠΎΠΉ ΡΠ·ΡΠΊΠΎΠ²ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π¦Π΅Π»Ρ - Π½Π΅ ΠΏΡΠΎΡΡΠΎ ΡΠΊΠΎΠΏΠΈΡΠΎΠ²Π°ΡΡ, Π° ΠΏΠΎΠ½ΡΡΡ ΠΈ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ, ΠΊΠΎΡΠΎΡΡΡ Π΄ΠΎ ΡΡΠΎΠ³ΠΎ Π²Π½Π΅Π΄ΡΠΈΠ» ΡΠ΅Π»ΠΎΠ²Π΅ΠΊ.
ΠΠ-Π°Π³Π΅Π½ΡΡ Π΄Π°ΡΡ ΠΈΡΡ
ΠΎΠ΄Π½ΡΠΉ ΡΠΊΡΠΈΠΏΡ ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅Π³ΠΎ ΡΠ΅ΠΊΠΎΡΠ΄ΡΠΌΠ΅Π½Π° ΠΈ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΡ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ· 3 ΡΡΠΎΠ²Π½Π΅ΠΉ: ΠΎΡ ΠΏΡΠ΅Π²Π΄ΠΎΠΊΠΎΠ΄Π° Ρ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠ΅ΠΌ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠΉ Π΄ΠΎ ΠΏΠΎΠ»Π½ΠΎΡΠ΅Π½Π½ΠΎΠΉ ΠΌΠΈΠ½ΠΈ-ΡΡΠ°ΡΡΠΈ, ΠΎΠ±ΡΡΡΠ½ΡΡΡΠ΅ΠΉ ΡΡΡΡ ΡΠ»ΡΡΡΠ΅Π½ΠΈΡ. ΠΠ³Π΅Π½Ρ, ΠΏΠΎΠ»ΡΡΠΈΠ² ΡΡΠΈ Π΄Π°Π½Π½ΡΠ΅, Π΄ΠΎΠ»ΠΆΠ΅Π½ Π²Π½Π΅ΡΡΠΈ ΠΏΡΠ°Π²ΠΊΠΈ Π² ΠΊΠΎΠ΄ ΡΠ°ΠΊ, ΡΡΠΎΠ±Ρ ΠΏΡΠΈΠ±Π»ΠΈΠ·ΠΈΡΡΡΡ ΠΊ ΡΠΊΠΎΡΠΎΡΡΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π³ΠΎ ΡΠ΅ΠΊΠΎΡΠ΄ΡΠΌΠ΅Π½Π°.
ΠΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΡ ΠΌΠ΅ΡΠΈΠ»ΠΈ ΠΌΠ΅ΡΡΠΈΠΊΠΎΠΉ FSR (Fraction of Speedup Recovered), ΡΡΠΎ Π΄ΠΎΠ»Ρ Π²ΠΎΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΡΡΠΊΠΎΡΠ΅Π½ΠΈΡ. ΠΡΠ»ΠΈ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊ ΡΡΠΊΠΎΡΠΈΠ» ΠΏΡΠΎΡΠ΅ΡΡ Π½Π° 10 ΠΌΠΈΠ½ΡΡ, Π° ΠΠ ΡΠΌΠΎΠ³ Π΄ΠΎΠ±ΠΈΡΡΡΡ ΡΡΠΊΠΎΡΠ΅Π½ΠΈΡ Π² 5 ΠΌΠΈΠ½ΡΡ, Π΅Π³ΠΎ ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ β 50% FSR. Π’Π°ΠΊΠ°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΎΡΠ΅Π½ΠΈΡΡ Π½Π΅ Π°Π±ΡΡΡΠ°ΠΊΡΠ½ΡΠ΅ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π° Π΅Π΅ ΡΠΌΠ΅Π½ΠΈΠ΅ ΡΠ°Π±ΠΎΡΠ°ΡΡ Ρ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΠΌΠΈ, ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ Π·Π°Π΄Π°ΡΠ°ΠΌΠΈ ΠΏΠΎ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ.
ΠΡΠΎΠ³ΠΈ ΠΎΠΊΠ°Π·Π°Π»ΠΈΡΡ, ΠΌΡΠ³ΠΊΠΎ Π³ΠΎΠ²ΠΎΡΡ, ΠΎΡΡΠ΅Π·Π²Π»ΡΡΡΠΈΠΌΠΈ. ΠΠ°ΠΆΠ΅ ΡΠΎΠΏΠΎΠ²ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Claude 3.7 Sonnet ΠΈ Gemini 2.5 Pro), ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ ΠΎΡΠ΅Π½Ρ ΡΠΊΡΠΎΠΌΠ½ΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ.
Π‘ Π»ΡΡΡΠΈΠΌΠΈ ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΊΠ°ΠΌΠΈ (ΠΏΡΠ΅Π²Π΄ΠΎΠΊΠΎΠ΄ ΠΈ Π΄Π΅ΡΠ°Π»ΡΠ½ΠΎΠ΅ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠ΅) ΡΠ°ΠΌΡΠ΅ ΡΡΠΏΠ΅ΡΠ½ΡΠ΅ Π°Π³Π΅Π½ΡΡ Ρ ΡΡΡΠ΄ΠΎΠΌ ΡΠΌΠΎΠ³Π»ΠΈ Π²ΠΎΡΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ Ρ
ΠΎΡΡ Π±Ρ 40% ΠΎΡ ΠΏΡΠΈΡΠΎΡΡΠ° ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ, Π΄ΠΎΡΡΠΈΠ³Π½ΡΡΠΎΠ³ΠΎ ΡΠ΅Π»ΠΎΠ²Π΅ΠΊΠΎΠΌ. ΠΠ΅Π· ΠΏΠΎΠ΄ΡΠΊΠ°Π·ΠΎΠΊ ΠΈΡ
ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ Π±ΡΠ»Π° ΠΈ Π²ΠΎΠ²ΡΠ΅ Π±Π»ΠΈΠ·ΠΊΠ° ΠΊ Π½ΡΠ»Ρ.
Π Π°Π·Π±ΠΎΡ ΠΏΠΎΠ»Π΅ΡΠΎΠ² Π±Π΅Π½ΡΠΌΠ°ΡΠΊΠ° ΠΏΠΎΠΊΠ°Π·Π°Π», ΡΡΠΎ ΠΠ-Π°Π³Π΅Π½ΡΡ ΡΠ°ΡΡΠΎ Π³Π΅Π½Π΅ΡΠΈΡΡΡΡ Π»ΠΈΠ±ΠΎ ΠΏΡΠΎΡΡΠΎ Π½Π΅ΡΠ°Π±ΠΎΡΠ°ΡΡΠΈΠΉ ΠΊΠΎΠ΄ Ρ ΠΎΡΠΈΠ±ΠΊΠ°ΠΌΠΈ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ, Π»ΠΈΠ±ΠΎ ΠΊΠΎΠ΄, ΠΊΠΎΡΠΎΡΡΠΉ ΠΊΠΎΠΌΠΏΠΈΠ»ΠΈΡΡΠ΅ΡΡΡ, Π½ΠΎ Π½Π΅ Π΄Π°Π΅Ρ Π½ΠΈΠΊΠ°ΠΊΠΎΠ³ΠΎ ΠΏΡΠΈΡΠΎΡΡΠ° ΡΠΊΠΎΡΠΎΡΡΠΈ, Π° ΠΈΠ½ΠΎΠ³Π΄Π° Π΄Π°ΠΆΠ΅ Π·Π°ΠΌΠ΅Π΄Π»ΡΠ΅Ρ ΠΏΡΠΎΡΠ΅ΡΡ.
ΠΠ²ΡΠΎΡΡ Π½Π΅ ΠΏΡΠΎΡΡΠΎ ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»ΠΈ ΡΡΠ°ΡΡΡ, Π° Π²ΡΠ»ΠΎΠΆΠΈΠ»ΠΈ Π²Π΅ΡΡ ΡΡΠ΅ΠΉΠΌΠ²ΠΎΡΠΊ Π² ΠΎΡΠΊΡΡΡΡΠΉ Π΄ΠΎΡΡΡΠΏ, ΡΠ°ΠΊ ΡΡΠΎ Π»ΡΠ±ΠΎΠΉ ΠΆΠ΅Π»Π°ΡΡΠΈΠΉ ΠΌΠΎΠΆΠ΅Ρ ΡΠ°ΠΌΠΎΡΡΠΎΡΡΠ΅Π»ΡΠ½ΠΎ ΠΏΠΎΠ³ΠΎΠ½ΡΡΡ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈ Π»ΡΠ±ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ.
Π ΠΎΡΠ½ΠΎΠ²Π΅ ΡΡΠ΅ΠΉΠΌΠ²ΠΎΡΠΊΠ° Π»Π΅ΠΆΠΈΡ Π³ΠΈΠ±ΠΊΠΈΠΉ Π°Π³Π΅Π½ΡΡΠΊΠΈΠΉ ΠΊΠ°ΡΠΊΠ°Ρ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΈΠΌΠΈΡΠΈΡΡΠ΅Ρ ΡΠ°Π±ΠΎΡΠΈΠΉ ΠΏΡΠΎΡΠ΅ΡΡ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»Ρ: Π³Π΅Π½Π΅ΡΠ°ΡΠΈΡ ΠΈΠ΄Π΅ΠΈ, ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΡ Π² ΠΊΠΎΠ΄Π΅, Π·Π°ΠΏΡΡΠΊ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ° ΠΈ Π°Π½Π°Π»ΠΈΠ· ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠΎΠ².
ΠΠ°ΠΆΠ΄Π°Ρ ΠΈΡΠ΅ΡΠ°ΡΠΈΡ ΠΠ-Π°Π³Π΅Π½ΡΠ° Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ ΡΠΎΡ
ΡΠ°Π½ΡΠ΅ΡΡΡ Π² ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ Π²Π΅ΡΡΠΈΡ, ΡΠΎΠ·Π΄Π°Π²Π°Ρ ΠΏΠΎΠ»Π½ΡΡ ΠΈΡΡΠΎΡΠΈΡ Π²ΡΠ΅Ρ
ΠΏΡΠ°Π²ΠΎΠΊ, ΠΎΡ ΡΠ΄Π°ΡΠ½ΡΡ
Π΄ΠΎ ΠΏΡΠΎΠ²Π°Π»ΡΠ½ΡΡ
.
Π£ΡΡΠ°Π½ΠΎΠ²ΠΊΠ° ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎ ΠΏΡΠΎΡΡΠ°, Π° Π΄Π»Ρ ΡΠ΅Ρ
, ΠΊΡΠΎ Ρ
ΠΎΡΠ΅Ρ Π²ΠΎΡΠΏΡΠΎΠΈΠ·Π²Π΅ΡΡΠΈ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΡ ΠΈΠ· ΡΡΠ°ΡΡΠΈ, Π°Π²ΡΠΎΡΡ ΠΏΡΠΈΠ»ΠΎΠΆΠΈΠ»ΠΈ Π³ΠΎΡΠΎΠ²ΡΠ΅ ΡΠΊΡΠΈΠΏΡΡ. Π’Π°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ Π»Π΅Π³ΠΊΠΎ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΠΈ ΠΏΡΠΎΡΠ΅ΡΡΠΈΡΠΎΠ²Π°ΡΡ Π΄ΡΡΠ³ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΏΡΠΎΡΡΠΎ ΡΠΎΠ·Π΄Π°Π² Π΄Π»Ρ Π½ΠΈΡ
ΠΊΠΎΠ½ΡΠΈΠ³ ΠΈΠ»ΠΈ Π΄Π°ΡΡ ΠΠ Π΄ΡΡΠ³ΡΡ Π·Π°Π΄Π°ΡΡ, Π½Π΅ ΡΠ²ΡΠ·Π°Π½Π½ΡΡ Ρ NanoGPT - ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΡΡ ΠΊΠ°ΡΡΠΎΠΌΠ½ΡΠ΅ ΡΠ°ΡΠΊΠΈ ΡΠΎΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ.
@ai_machinelearning_big_data
#AI #ML #LLM #Benchmark
Create: Update:
>>Click here to continue<<
Machinelearning




Share with your best friend
VIEW MORE