Доклад с митапа DevTalks. Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python (9 декабря 2023)
S3 — международно признанный стандарт протокола объектного хранилища данных. Его поддерживает огромное количество ПО, которому нужно хранить бэкапы, файлы с данными, изображения, видео и так далее. В современной технологической компании какое-то решение, реализующее S3, — это must have.
В своем выступлении Максим Харитонов прошелся по пути развития собственного хранилища S3, на который «Озону» потребовались годы. Спикер рассказал о том, с чего вы можете стартовать в своей компании и с какими проблемами роста столкнетесь; обсудил решения этих проблем, их плюсы и минусы.
В докладе затронуты темы: быстрый старт с MinIO; зачем менять фламинго на осьминога, переход на Ceph; борьба за доступность: растянутые кластеры; проблемы архитектуры Ceph.
Ссылка на презентацию из доклада:
[ Ссылка ]
Cайт митапа — [ Ссылка ]
Официальный канал митапа — [ Ссылка ]
Нанять команду Spectr — [ Ссылка ]
Организаторы митапа: Spectr, Тэглайн.
#devtalks #devtalks_russia #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #kafka #s3 #python #performance #highload #polars #development #meetup #dev
00:00 Начало, представление спикера
01:06 Object Storage в Ozon Tech
02:11 Зачем нужны объектные хранилища?
06:42 Чем не является объектное хранилище?
10:06 Почему S3?
12:11 Недостатки S3
13:08 Быстрый старт с MinIO
15:00 Плюсы и минусы MinIO
18:27 Почему мы перешли на Ceph
26:26 Multi DC Ceph: когда одного Ceph стало не хватать
33:12 Архитектура Stretch-кластеров Ceph
34:56 Схема работы при отключении ДЦ
37:24 Проблемы архитектуры Ceph RGW
40:07 Варианты решения
43:01 CAP-теорема и свой S3-сервер
45:35 Выводы
46:50 Вопросы из зала
