Apache Arrow. Обробка великих даних в оперативній пам'яті. Топол Метью (кольорове видання)

Apache Arrow - це програмна платформа з відкритим вихідним кодом, призначена для розроблення додатків, що ефективно виконують оброблення й аналіз табличних даних за рахунок розміщення в оперативній пам'яті. В оновленому другому виданні подано огляд формату Arrow з акцентом на його перевагах і універсальності.

Ця книга познайомить вас із форматами обміну та зберігання даних і розповість про взаємозв'язок Arrow з Parquet, Protocol Buffers, FlatBuffers, JSON і CSV. Ви відкриєте для себе підпроєкти Apache Arrow, включно з Flight, SQL, Database Connectivity і nanoarrow, та опануєте інтеграцію з популярними системами обробки аналітичних даних Snowflake, Dremio і DuckDB. У заключних розділах наводяться реальні приклади та описи продуктів на базі Apache Arrow.

Ви навчитеся:

• використовувати бібліотеки Apache Arrow;
• забезпечувати ефективне виробництво і споживання даних Apache Arrow;
• застосовувати обчислювальний механізм Arrow Асего для виконання складних операцій;
• створювати сервери та клієнти Arrow Flight для швидкого передавання даних;
• створювати бібліотеки Arrow у локальному режимі та поширювати їх у спільноті.

Бажані базові знання концепцій аналізу даних. У книзі подано численні приклади вихідного коду мовами C++, Python і Go.

Видання призначене розробникам, інженерам і науковцям, зайнятим в обробці даних, які бажають повною мірою вивчити і використовувати функціональні можливості Apache Arrow. Незалежно від того, чи створюєте ви утиліти для аналізу даних і механізмів запитів, чи формуєте повнофункціональні конвеєри для опрацювання табличних даних, ця книга допоможе вам організувати роботу на будь-якій мові програмування. Програмісти та дослідники знайдуть у ній рекомендації щодо вибору оптимального середовища для досягнення цільових завдань додатка, а також щодо управління великими даними та їхнього аналізу.