Команда хранилища файлов 小米 в 2021 году будет продвигать создание платформы хранения файлов на базе JuiceFS, изначально нацеленной в основном на частичные бизнес-сценарии для предоставления хранилища файлов. После стратегии искусственного интеллекта существуют различные типы систем хранения с точки зрения доступа к выбору, передачи потока данных и исследований и разработок.
Вокруг этой цели платформа дополнительно развивает основные возможности, такие как уровень емкости, уровень производительности и уровень кэша, одновременно снижая сложность многосистемного доступа и потока данных, одновременно принимая во внимание крупномасштабное хранилище и высокопроизводительный доступ.За последние два года, благодаря быстрому развитию бизнеса, такого как генеративный искусственный интеллект и интеллектуальное вождение, платформа поддерживала типичные сценарии, такие как большие модели, интеллектуальное обучение вождению, ускорение и большие данные в облаке. В настоящее время платформа способна поддерживать объем файлов на уровне 1000 миллиардов и масштаб хранилища на уровне EB, а также может охватывать необработанные данные, данные обучения для файлов моделей и данные обучения для файлов моделей.。
01 Стратегия искусственного интеллекта 下 Задача архитектуры хранения данных
До 2023 года, как и в большинстве компаний, различные системы хранения данных строились отдельно для разных бизнес-сценариев. Среди них область больших данных в основном основана на HDFS для создания платформы данных; Компании, связанные с искусственным интеллектом, в основном зависят от высокопроизводительных сервисов хранения файлов, поскольку большая модель на данный момент еще не является крупномасштабной.
В этот период мы также начали внедрять JuiceFS и поддерживать внутреннюю конструкцию FDS (службы хранения файлов) через Driver CSI и т. д.
Поскольку бизнес-потребности продолжают развиваться, эти системы хранения независимо итерируются и поддерживаются независимо в своих соответствующих сценариях, постепенно образуя более сложную гетерогенную систему хранения.
В 2024 году 小米 официально представила комплексную стратегию искусственного интеллекта. Сокращение исходной структуры памяти при выборе, доступе, передаче потока данных и транспортировке НИОКР стало проявляться, главным образом, в следующих областях:
- 选型与设计下载高: Типы систем хранения разнообразны, границы емкости не одинаковы, бизнес-командам необходимо разное понимание и адаптация.
- Низкая эффективность передачи данных：Не существует единого метода доступа между системами, данные часто копируются внутри системы, это влияет на эффективность исследований и разработок；
- 电影运维рассеянная мощность：Независимое обслуживание систем, ресурсы, которые трудно сосредоточить на стратегии ИИ, требуется базовая инфраструктура.
В ответ на эти проблемы мы провели углубленные внутренние обсуждения и структурные корректировки в 2024 году.
02 На базе JuiceFS построение единого файла
Особенности: поддержка протоколов, гибкость, высокая производительность.
JuiceFS — это естественная поддержка нескольких протоколов, гибкие возможности расширения и высокопроизводительная распределенная файловая система для чтения и записи, способная полностью адаптироваться к требованиям к хранению в сценариях необработанного ИИ и сценариях с большими данными.
В заключение，Мы начали внедрять JuiceFS с 2021 года и продолжаем выполнять внутреннее самоповторение и оптимизацию итераций. В то же время мы также поддерживаем тесное сотрудничество с сообществом открытого исходного кода JuiceFS и совместно продвигаем эту технологию.
В сценарии ИИ обучение модели и управление в значительной степени зависят от языка POSIX, который естественным образом соответствует возможностям JuiceFS.
Сочетая поддержку нескольких протоколов, гибкое расширение, совместимость с несколькими облаками и высокопроизводительное чтение/запись, мы являемся ключевыми компонентами единой платформы хранения файлов, решая проблемы сложного потока данных, высоких затрат на доступ и распределенной транспортировки, вызванных несколькими платформами, несколькими предприятиями и использованием разных файловых систем.
Наращивание емкости уровня хранения
Наша основная цель — создать единый уровень хранения файлов на основе JuiceFS, чтобы обеспечить большую емкость, высокопроизводительную емкость хранилища и стандартизированный интерфейс доступа к внешнему миру, а также поддержку трех основных бизнес-сценариев больших данных, облачных вычислений и искусственного интеллекта.
На уровне клиента мы в полной мере используем возможности нескольких протоколов JuiceFS, предоставляя POSIX, Hadoop SDK, Python SDK, S3web关 и т. д. методы множественного доступа, и эти методы в настоящее время практически используются в нашем внутреннем бизнесе.
Со стороны данных общая структура в основном разделена на уровень емкости, уровень производительности и уровень кэша:
- уровень емкости: На основе общедоступного облачного объектного хранилища, для построения масштаба хранилища уровня EB, поддержки развертывания в нескольких облаках, может охватывать различные стратегические машинные залы и производителей облачных систем с несколькими домами.
- уровень производительности: На основе Ceph и 全道机手机发动机, для проведения крупномасштабной настройки, обучения ИИ и т. д.
- уровень кэша: для набора данных обучения ИИ, функции «записать один раз, прочитать несколько раз, очень мало изменить», основанные на высокопроизводительной системе распределенного кэша NVMe и RDMA, используемые для снижения затрат на повторное чтение и улучшения обучения.
Что касается управления, мы провели индивидуальную трансформацию возможностей сообщества. Что касается данных, мы разработали службу распределенных данных на основе протокола Raft для удовлетворения потребностей внутренней системы и многосистемного доступа, а также повышения надежности и масштабируемости системы.
Благодаря описанной выше конструкции JuiceFS постепенно стала единой платформой хранения файлов в магазине и может поддерживать требования к высокопроизводительному доступу для крупномасштабных сценариев хранения и обучения. В настоящее время соответствующая архитектура работает в онлайн-производственной среде и поддерживает возможности высокопроизводительного доступа, необходимые для крупномасштабного обучения моделей.
03 деловая практика
В процессе создания единой базы хранения файлов JuiceFS постепенно охватывала внутренние большие данные, облачный искусственный интеллект и другие основные бизнес-сценарии JuiceFS.В общем масштабе программа может поддерживать масштаб хранения на уровне EB и количество файлов на уровне 1000 миллиардов; с точки зрения создания емкости, благодаря скоординированному проектированию уровня емкости, уровня производительности и уровня кэша, он может удовлетворить потребности крупномасштабного хранилища и высокопроизводительного доступа.。 Ниже приведены два типичных сценария в сочетании с большими данными и ссылками на хранилище ИИ, представляющие два типичных сценария в JuiceFS.
Сценарий 1: Большие данные хранятся вместе
На заре системы больших данных в основном основывались на экологической конструкции Hadoop, в которой HDFS использовала архитектуру связи хранения и вычислений верхнего поколения. В ходе фактической эксплуатации эта конструкция постепенно обнаруживает такие проблемы, как нестабильная производительность, сложная транспортировка и высокие общие затраты. Напротив, облачное хранилище имеет более очевидные преимущества с точки зрения эластичного расширения, использования ресурсов и контроля затрат. Таким образом, с 2021 года система начнет передавать большие данные в облако.
Пример: От данных к слою озера
小米大学上上云上的下载小说是于下载.
Первый этап冷上上云。 Сначала мы переместили данные из HDFS в облачное хранилище, этот процесс длился более двух лет.
Второй этап湖仓市上云。 На этом этапе мы разработали унифицированную файловую систему уровня хранения озера, обеспечивающую разделение архитектуры хранения больших данных от объединения вычислений хранилища до разделения вычислений хранилища.
Третий этап – этоНа основе JuiceFS построение единой базы хранения данных.После завершения выбора технологии JuiceFS мы перенесем слой хранилища озера в JuiceFS.
Поэтому мы, наконец, решили получить доступ к другому облачному хранилищу через JuiceFS. Службе верхнего уровня необходимо только переключить адрес внутреннего хранилища через SDK, и она может завершить сопоставление доступа в различных облачных средах, тем самым значительно сокращая сопоставление доступа в среде.
Что касается миграции данных, платформа фабрики данных 小米自界电影 поддерживает прозрачное переключение базового хранилища таблицы на новую структуру и постепенно завершает миграцию исходных данных в облако в фоновом режиме, весь процесс практически нечувствителен к бизнес-стороне. В то же время FS поддерживает развертывание в нескольких облаках и локализацию.
热表海头流开,设计提数
После того, как данные были облачны, мы дополнительно проанализировали режим доступа к данным уровня хранения озера. Для ежедневных отчетов и задач анализа расчет обычно ориентирован на горячие данные уровня дня или недели, и нет необходимости часто сканировать полный объем данных. Таким образом, целью оптимизации производительности уровня хранения озера является не просто улучшение возможности чтения полного объема, но и повышение эффективности доступа к «горячим» данным и стабильности выполнения задач.
Основываясь на этой особенности, мы совместно разработали функцию предварительного нагрева горячего стола. Система определит «горячую» таблицу и ее «горячий» раздел на основе ежедневной статистики доступа и заранее загрузит соответствующие данные на уровень кэша через интерфейс предварительного нагрева перед выполнением задачи. Для задачи периодической отчетности, которую необходимо выполнять до 8 часов утра каждое утро, «горячие» данные можно предварительно разогреть в кэше перед началом вычислений, тем самым уменьшая удаленное чтение и повторный доступ во время выполнения задачи.
После тестирования онлайн и онлайн, после кэширования горячей таблицы, соответствующая эффективность вычислений увеличивается на ~ 10%-20%, а потребление времени вычислений и потребление ресурсов вычислений уменьшаются. На данный момент размер кэша достиг уровня PB, средняя пропускная способность составляет около 200 ГБ/с. Внедрение уровня кэша также снизило нагрузку на специальную межоблачную линию и стоимость вызовов API облачного хранилища: за счет повышения скорости пропуска горячих данных вы можете уменьшить повторение межоблачного чтения, тем самым снижая потребление полосы пропускания и затраты на доступ.
Доход от приложений с большими объемами данных
характеристики поверхности: После перехода на JuiceFS производительность порядка чтения явно улучшилась, некоторые сцены улучшены более чем в 1 раз.
стоимость фронта: Благодаря стоимости внутреннего хранилища унифицированная архитектура хранилища значительно снизила стоимость хранения. Среди них стоимость хранения для внутреннего сценария была снижена на ~ 70%, для зарубежного сценария – на ~ 90%.
стабильность и стабильность: В исходной архитектуре 混部, когда выполняется большое количество вычислительных задач, ресурсы узла легко вытесняются, что приводит к увеличению нагрузки на узел и дальнейшему влиянию на производительность хранилища. После использования архитектуры разделения вычислительные задачи выполняются на независимых вычислительных узлах, потребление времени задач становится более стабильным, а последующее управление расширением и масштабированием также становится более гибким.
Сценарий 2: фото искусственного интеллекта
Хранение ИИ разделено на три этапа:
- исходные данные сцены:在通记安全安全电影代，经经以(如 ETL结果)после того, как он используется для обучения, выведите набор данных обучения, повторно поместите набор данных высокопроизводительной среды обучения, повторно поставьте высокопроизводительную среду обучения仛仃仃
- период обучения: Задача обучения требует высокой пропускной способности и возможности доступа к данным с низкой задержкой, чтобы сократить время ожидания ввода-вывода и коэффициент использования; после обучения будет создан файл модели для последующих задач обработки.
- 推理电影: Файл модели нужно быстро разбить на конкретный узел, чтобы его можно было быстро подтянуть при запуске задачи.
Раньше данные перемещались между несколькими системами, и бизнес-сторона была недовольна собой. После унифицированного внедрения JuiceFS он может удовлетворить разнообразные и глубокие потребности, основанные на разных типах.
Сравнение каждого этапа спроса и плана
Одностанционное хранилище ИИ должно охватывать необработанные данные, обучающие данные и файлы моделей в три этапа, а требования к емкости, производительности, стоимости и эффективности распределения на разных этапах различны. В следующей таблице сравниваются бизнес-требования каждого этапа, предыдущего плана и текущего плана.
Высокопроизводительное ускорение кэша，提效降本
В сценарии обучения ИИ набор обучающих данных обычно имеет характеристики «записать один раз, прочитать несколько раз, очень мало изменить», что является типичным режимом «чтение-множественная запись-низкий доступ», подходящим для повышения эффективности доступа к данным за счет кэширования.
В качестве примера возьмем сценарий внутреннего интеллектуального обучения вождению: после того, как набор данных созреет, объем данных может продолжать расти в течение цикла версий, но существующие данные обычно редко изменяются. Хотя ранее использовавшееся высокопроизводительное файловое хранилище может соответствовать требованиям к производительности обучения, но для этого типа режима доступа к данным, основанного на многократном чтении, существует определенная избыточность производительности и потери затрат. Поэтому мы начали продвигать высокопроизводительную схему ускорения кэша на базе JuiceFS.
Программа кэширования имеет множество преимуществ:
- IO Короткий путь:Клиент напрямую управляет документом, путь ввода-вывода значительно сокращается, а ответ быстрый.
- оптимизированная производительность:Благодаря оптимизации RDMA и 零拷贝 можно повысить производительность. По сравнению с предыдущим высокопроизводительным хранилищем, 吞吐重吞吐重 более чем на 20%, и все еще продолжает оптимизироваться.
- снизить стоимость：原原原原天天电影的PFS安全的图像官方，Хотя в некоторых сценариях используется EC код要讲述了,可以可以可以发定,这些60%上的剧情主要讲述了
- совместимые ресурсы: При поддержке обучения ЦП к машинам с графическим процессором обычно подключается диск NVMe, а на одной машине имеется около 10 ТБ места. Раньше эти ресурсы широко использовались в бизнес-сценариях, и коэффициент использования был невысоким. Сейчас он не высок. Теперь ресурсы VMe объединены в пул кэша, что обеспечивает ускорение выполнения задач обучения близлежащих графических процессоров и обработки данных.
04 未来 планирование
В будущем мы продолжим концентрироваться на следующих трех направлениях.
Во-первых, продолжать улучшать стабильность, производительность и масштабируемость единой базы файлового хранилища.С быстрым развитием бизнеса в области искусственного интеллекта задачи обучения, обработки и обработки данных предъявляют более высокие требования к пропускной способности системы хранения, увеличению времени и надежности. В будущем мы продолжим оптимизировать архитектуру нижнего уровня и ключевые связи, улучшая возможности обслуживания системы в сценариях крупномасштабного одновременного доступа.
Во-вторых, управление жизненным циклом данных.В настоящее время масштабы бизнес-данных продолжают расти, но еще есть возможности для дальнейшей оптимизации управления различными типами данных на уровне хранения, частоте доступа и цикле хранения.
Наконец, продолжайте совершенствовать возможности управления и анализа данных.。 Помимо единой платформы хранения файлов мы продолжим развивать бизнес-ориентированные возможности управления данными, поможем пользователям более четко понять распределение данных, поведение доступа и использование ресурсов, а также обеспечим поддержку для последующего управления данными, оптимизации затрат и принятия бизнес-решений.
Вышеописанное представляет собой поэтапную практику построения единой основы хранения файлов.
Мы надеемся, что некоторый практический опыт, изложенный в этом тексте, поможет разработчикам, столкнувшимся с аналогичными проблемами. Если у вас есть другие вопросы, присоединяйтесь к сообществу JuiceFS и поделитесь ими со всеми.
About the Author
