Скорость записи на SD: буферы, flush и паузы

Логгер тока на стройплощадке писал строку каждые сто миллисекунд: секунда, вольты, амперы. Сетка замеров на millis держалась идеально, приёмы её сборки я брал из урока про millis вместо delay, а вот в файле вылезали дыры: между соседними строками вдруг пропадало по сто двадцать миллисекунд, и график за час выглядел как расчёска с выломанными зубьями. Датчики ни при чём: замеры стояли ровно, терялись именно строки записи. Сначала грешил на питание от китайского адаптера: пересобрал цепь, поставил конденсатор — дыры остались ровно там же. Пришлось признавать, что между Serial, где всё печаталось гладко, и картой, где всё лежало криво, живёт кто-то третий.

Третий — буфер библиотеки. File.print в Arduino не тянет ручку привода, а складывает байты в 512-байтную ячейку оперативной памяти, и на карту она уезжает только когда заполнится до конца. Ячейка ровно одна на файл, и её размер — 512 байт, потому что столько занимает сектор на карте. А при переходе через границу кластера — файлы на FAT растут блоками по несколько секторов — библиотека ищет свободный кластер в таблице и помечает его своим, и вот тут карта задумывается на десятки миллисекунд, на дешёвых Class 4 — на сотню. Эти всплески неустранимы, но их можно увидеть, посчитать и развести подальше от чувствительных дел скетча.

Разбираю здесь три вещи: метки времени вокруг записи, буфер на восемь строк с пакетной отдачей и границу между flush и close. Ритм записи по 512-байтовым секторам уже разбирался в уроке про блоки по 512, а цена скорости с потерями — в уроке про скорость и потери; здесь практика замеров, которую я теперь ставлю в каждый логгер, пишущий чаще раза в секунду.

Механика на пальцах. Вызов file.println копирует строку в буфер и возвращается за микросекунды — карта ещё даже не слышала о ваших данных. Заполнится ячейка до 512 байт — байт за байтом уедет по SPI, и вот это уже миллисекунды на десятки байтов. Всё, что сидит в буфере на момент пропадания питания, пропадает молча: карта о нём не знает, каталог не знает, ноутбук не покажет. Close, flush и заполнение буфера — три точки, где данные доехали до карты; всё до них живёт только в ОЗУ.

Кластер — следующий этаж. На FAT32 кластер занимает от четырёх до тридцати двух килобайт, и новый файл физически растёт кусками: пока запись не пересекла границу кластера, библиотеке легко, а на границе она лезет в таблицу FAT, ищет следующий свободный кластер, обновляет цепочку — и карта в этот момент делает внутренние стирания и записи в NAND. Отсюда картина, которую я вижу на каждом дешёвом носителе: девять записей по десять-пятнадцать миллисекунд и одна на девяносто — сто тридцать, без всякой видимой причины.

Скорость канала при этом скромная: стандартная SD-библиотека на Uno по SPI держит устойчиво 2-20 КБ/с — зависит от класса карты и частоты SPI. Верхняя граница достижима на SDHC Class 10, нижняя — на ноунейм Class 4, которые маркетплейс раздаёт пачками. Строка в двадцать байт раз в секунду — это 72 КБ в час, запас в десятки раз. Мой вывод после пары пропущенных потоков: узкое место логгера не скорость, а паузы — карта успевает всё, но не всегда вовремя. Если ваш поток упирается именно в канал, менять надо библиотеку или носитель, и это уже другая история.

Скетч выше печатает длительность каждого пакета, и на моих 8 ГБ Class 4 она сходится с теорией: семь пакетов в диапазоне 10-25 мс и один — под 120 мс, это он, кластер. Главный сдвиг в голове случился, когда я понял, куда ставить замер: не на входе в замер датчика, а вокруг записи. Метка до открытия файла и после close — единственное место, где пауза видна; millis-ритм замеров от неё не спасает и спасать не обязан.

Поэтому в каждом логгере у меня теперь две метки: длительность записи уходит в Serial отдельной строкой, и всё, что дольше пятидесяти миллисекунд, помечается как кластерная пауза. Приём копеечный, а график перестаёт врать: строка с шагом сто двадцать мс — не сбой датчика, а поход библиотеки в FAT. Пробовал я и искать магический интервал, при котором пауз не бывает, — его не существует: кластер придёт на любой частоте, вопрос лишь когда именно. Зато распределение устойчивое: зная число кластеров в файле, можно предсказать, сколько всплесков ждёт лог за сутки.

Между flush и close разница такая: flush дожимает текущий буфер в сектор и возвращает управление, файл остаётся открытым; close делает то же и записывает длину файла в каталог. Записал, закрыл — при пропадании питания теряется максимум текущая строка. Файл открыт всегда, flush раз в минуту — операции короче, но при обрыве длина в каталоге останется старой: данные физически в секторах есть, а размер файла компьютеру виден прежний. Механику секторов и питания раскладывал в уроке про flush и питание — здесь правило простое: либо короткие сессии с close, либо flush по таймеру и осознанный риск. Я закрываю файл на каждую строку при минутном ритме и перехожу на открытый файл с flush, когда строк становится больше пяти в секунду.

В модели за минуту видно всё: строки ложатся в ячейки по одной, счётчик печатается на каждую, восьмая запускает пакет — LED горит ровно столько, сколько длится печать, и у каждого третьего пакета к длительности прибавляется сотня за кластер. Это и есть те самые метки, которые на плате ставятся millis вокруг open-print-close: без них пауза растворяется в общем ритме, а с ними — лежит в логе числом. Порог в пятьдесят мс держу в скетче константой: смена носителя — правка одного числа.

Перенос на плату прямой: буфер у вас уже есть — массив строк из урока про буферную запись, добавьте к пакету две строки — метку до и длительность после. Кнопка D2 в модели работает как ручной flush: хвост выдавлен, питание резать можно. И следите за сеткой времени: после кластерной паузы следующая строка приходит на сто миллисекунд позже привычного места — на плате это значит, что сдвинулся сам замер, и это честно: ритм держит запись, а не наоборот. Это же правило закрывает споры с коллегами: показываешь колонку длительностей, и разговор о «медленной карте» заканчивается за минуту.

Граница метода у меня такая. Пишете реже раза в секунду — весь этот антураж не нужен: короткая сессия с close на каждую строку, потеряете максимум строку, спите спокойно. Пишете от двух герц и плотнее — файл держите открытым, строки копите в буфере, flush по таймеру в десятки секунд, метки вокруг каждой порции. Между полюсами лежит зона выбора по цене потери: сколько строк вам не жалко при обрыве питания — тот буфер и ставьте.

И про потолок канала честно: 2-20 КБ/с — предел стандартной библиотеки на Uno, у которой каждый байт проходит через программные накладные расходы. Ускориться в разы можно библиотекой SdFat в режиме SPI_FULL_SPEED, а дальше упираешься в класс карты и в саму шину, устройство которой разобрано в уроке про SPI-шину. Для журналов этого хватает с запасом; для аудиопотоков — SdFat и носитель классом выше, но это уже не логгер, а плеер. Мои потоки до пяти герц жили годами на штатной библиотеке — упирайтесь в числа, а не в привычку.