Ближайшая конференция — Joker 2024, 9 октября (Online), 15–16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: [ Ссылка ]
— —
Скачать презентацию с сайта JPoint — [ Ссылка ]
Теоретически HTTP-запросы не имеют ограничений на размер. Разумеется, мы предполагаем «разумные» размеры, но что, если ваш коллега-data scientist считает датасет в 10 гигабайтов разумным размером? Можно спорить, разумно или нет отправлять 10 Гб одним POST-запросом, но может получиться так, что время споров уже позади, а результат необходим вчера.
В докладе речь идет о реализации потоковой обработки данных в условиях ограниченной памяти и неограниченного размера запроса на фреймворке Spring. Разбираем 4 кейса: отправка данных по HTTP, получение данных по HTTP, запись в PostgreSQL, чтение из PostgreSQL.
Даже если вы думаете, что POST-запрос на 10 гигабайтов — это плохая идея, техники потоковой обработки данных заслуживают право на существование. Потоковая обработка может обеспечить более эффективное использование ресурсов и «защиту от дурака» и в менее спорных архитектурных решениях.
