А чтобы не скучали, вот вам пейпер на 40 страниц с исчерпывающим обзором современных подходов к проектированию систолических массивов.

A Survey of Design and Optimization for Systolic Array-based DNN Accelerators

Эту недельку придется потерпеть вам душные посты про матрицы, флоты, dot product и fma.
Но обещаю потом все лето не душнить про computer arithmetic (нет🗿)

Одна из задач при проектировании нейроускорителя — реализация вычислительного тракта для операций с плавающей точкой. Классический скалярный 4–5 стадийный FMA здесь не подходит: требуется параллельное перемножение большого количества пар операндов с последующим сложением в общий аккумулятор.

Для этого применяется техника поздней нормализации и перевода чисел с плавающей точкой в fixed-point представление, что позволяет выполнять точное накопление без промежуточного округления.

В этом посте найдете ссылки на статьи, подробно раскрывающие, как и почему NPU отклоняются от стандарта IEEE-754, как обрабатываются NaN и бесконечности, и как определяется ширина fixed-point представления для различных форматов чисел с плавающей точкой.

1. Exact Dot Product Accumulate Operators
for 8-bit Floating-Point Deep Learning
2. Experimental Analysis of Matrix Multiplication Functional Units
3. Modified Fused Multiply and Add for exact low precision product accumulation

MXDOTP: A RISC-V ISA Extension for Enabling Microscaling (MX) Floating-Point Dot Products

В этой статье представлена реализация dot product с аппаратной поддержкой формата Microscaling (MX) — нового стандартизованного формата, сочетающего простоту реализации для 8-битных чисел и расширенный динамический диапазон благодаря использованию scale-факторов (общих экспонент для блоков элементов, не путать с блочными флотами!).

MXDOTP — это расширение ISA для RISC-V, интегрированное в ядро Snitch. Оно позволяет выполнять dot product между двумя 8-элементными FP8-векторами с накоплением в FP32 и применением двух независимых scale-факторов. Для обхода ограничения на количество портов чтения регистрового файла используется механизм Stream Semantic Registers (SSR), что позволяет эффективно подавать четыре операнда за такт. SSR — особенность ядра Snitch, позволяющая передавать потоковые данные напрямую в вычислительные блоки без участия регистрового файла и LSU. Это компромисс между дополнительной сложностью в программной поддержке и выигрышем в доступности данных при минимальной площади.

Исходный код MXDOTP доступен на GitHub репозитории проекта.

Эмуляцию формата MX можно выполнить с помощью MX PyTorch Emulation Library от Microsoft.

Подробнее с форматом можно ознакомиться в спецификации формата или в обзорной статье Николаса Бруни.

p.s. Очень здорово оформлена самая статья. Работа выполнена в рамках европейского проекта NeuroSoC, финансируемого по линии Horizon Europe (Grant Agreement №101070634). По ссылке можно изучить детали проекта: участников, цели, бюджеты, отчётность, документацию и сроки:
https://cordis.europa.eu/project/id/101070634

Смотрите, что мне принесла лента LinkedIn.

Книга посвящена изучению процесса проектирования интегральных схем с использованием open-source инструментов OpenLane и Caravel. В ней описывается полный путь от уровня Register Transfer Level (RTL) до финального представления чипа в формате GDSII.

Книга (судя по описанию и оглавлению) объясняет весь процесс tape-out, делая его понятным и доступным для студентов, исследователей и инженеров.

Ссылка на книгу

Вышла новая книга по архитектуре процессорных систем от моих друзей и коллег из МИЭТ и BSC, которых вы можете знать по YouTube-каналу digital_machines и одноимённому курсу на GitHub!

Это пособие идеально подойдет тем, кто хочет освоить полный стек проектирования процессорных систем, включая аппаратную и программную составляющие.

Книга: «Архитектуры процессорных систем. Практический курс» (ISBN: 978-5-94836-714-9).

Codasip, европейский дизайн-центр процессоров на базе архитектуры RISC-V, объявил о начале процесса продажи компании.

Поводом послужил интерес потенциальных покупателей, проявленный во время недавнего инвестиционного раунда.

Codasip has been awarded several grants and equity funding from various bodies of the European Union (EU) and national authorities totaling over €119 million, most of which is still to be received by the company in due course. In addition, the company estimates the follow-on phases of the grants will total a further €210 million for a total of €329 million, and the company is part of new consortiums and projects that can bring in an additional €51 million or more in future financing

Engineers create first AI model specialized for chip design language

Не опять, а снова новости о «первой» модели, обученной специально для проектирования чипов.

На мой взгляд, главная проблема генерации Verilog-кода с помощью ИИ в том, что для обучения таких моделей слишком мало качественных материалов. На GitHub в целом мало примеров на Verilog/SystemVerilog, а годных и полезных из них ещё меньше. Учебники по Verilog (читай по цифровому дизайну) редко обновляются, и практически нет по-настоящему сильных книг по микроархитектуре, которые подробно разбирали бы сложные вопросы проектирования, анализа таймингов, площади конечного устройства.

The final combined corpus of textbook-extracted and GitHub code comprises 400 MB of text. The care taken in chunking and reconstructing intact blocks improves integrity of examples for the LLMs to learn prototypical Verilog structures effectively.

Вероятно, крупные компании вроде Nvidia или ARM могут себе позволить тренировать модели на огромных внутренних базах кода и получать от этого реальную пользу, но перспективы моделей, обученных на открытых данных, выглядят сомнительно.

In their evaluation, the fine-tuned CodeGen-16B achieved a 41.9% rate of functionally correct code versus 35.4% for the commercial code-davinci-002 model.

Итог, разработчики "первой" модели для проектирования чипов достигли результата всего лишь в 41%, при этом сравнивая свою модель с коммерческой моделью двухлетней давности («code-davinci-002» от OpenAI, выпущенной примерно в 2022 году).

Подробнее про специфику сравнения LLM для Hardware кодогенераторов - Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation

AI Startup Esperanto Winds Down Silicon Business

Стартап Esperanto, разработчик энергоэффективных чипов на базе RISC-V для дата-центров, начал процесс закрытия бизнеса, сообщает EE Times. Компания уже свернула европейские подразделения, включая крупную команду в Испании, и сократила 90% штата в штаб-квартире в Калифорнии. Основатель и CEO Арт Свифт сообщил, что команда столкнулась с агрессивным переманиванием сотрудников - технологические гиганты предлагали зарплаты в 2–4 раза выше, чем могла позволить себе небольшая компания, что фактически «уничтожило» инженерный коллектив.

Помимо кадровых потерь, Esperanto столкнулась с техническими трудностями. Компания сделала ставку на кастомные векторные расширения RISC-V (первый чип был выпущен до ратификации векторного расширения и это было вынужденной альтернативой), отступив от стандарта, что осложнило портирование и поддержку ПО - особенно с учётом сложности масштабируемой архитектуры на 1000 ядер. Несмотря на успешный запуск чипа, способного запускать LLM-модели до 13B при потреблении около 25 Вт, интерес рынка оказался ограниченным: заказчиков мало волновала энергоэффективность.

За инженеров команды Esperanto можно не переживать - в LinkedIn постоянно появляются новости об их переходе в другие компании: как в новые стартапы и дизайн-центры с фокусом на RISC-V, так и в индустриальных гигантов вроде Tesla.

Ознакомиться с продуктом и архитектурной концепцией чипа от Esperanto можно в докладе основателя компании Дейва Дитцела:

https://riscv.epcc.ed.ac.uk/assets/files/sc24/Ditzel.pdf

Классный материал по ко-симуляции процессорного ядра с программной моделью Spike.
Типовая задача для любого дизайн-центра, занимающегося разработкой RISC-V IP-ядер.

Большое спасибо Сергею за проделанную работу и вклад в развитие открытых образовательных материалов!

MIPS CEO: Acquisition by GlobalFoundries Strengthens Edge AI Opportunity

3 в ряд RISC-V дизайн центра за неделю, неплохое начало.

GlobalFoundries приобретает MIPS - легендарную компанию с 40-летней историей в области RISC-архитектур. За свою жизнь MIPS успела побывать под контролем Imagination Technologies, Wave Computing и других компаний, прежде чем в 2022 году перезапуститься с новой стратегией - с фокусом на IP на базе RISC-V.

Теперь MIPS становится частью GF - одного из крупнейших контрактных производителей чипов в мире.
Компания сохранит бренд и будет функционировать как отдельное бизнес-подразделение внутри GF.

Самое время вспомнить мой пост про MIPS из далекого 2021-го года.