Краткий гайд по квантованию нейросетей

Мы достаточно написали статей про оптимизацию ваших нейросетей, сегодня пора перейти к дроблению, уменьшению и прямому урезанию, иначе квантованию данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть.

Мы буквально уменьшаем битность данных, что позволяет сократить вычислительные ресурсы и уменьшить объем памяти, необходимой для хранения моделей.

Читать