Встречается на собеседованиях • сегодня

Какие идеи можешь предложить для ускорения и удешевления работы Athena

Использование партиционирования данных для уменьшения объема сканируемых данных. Athena оплачивается за обработанные терабайты, поэтому чем меньше данных сканируется - тем дешевле.

Пример партиционирования в Glue/Athena:

sql
CREATE TABLE logs_partitioned (  
  log_date DATE,  
  user_id STRING,  
  event STRING  
)  
PARTITIONED BY (year INT, month INT, day INT)  
STORED AS PARQUET;

Оптимизация формата хранения - Parquet/ORC сжатие данных и колоночная организация. Это уменьшает объем сканируемых данных и ускоряет запросы.

Кэширование результатов частых запросов через AWS Glue Data Catalog или внешние решения.

Использование материализованных представлений для сложных агрегаций.

Оптимизация запросов - избегать SELECT *, использовать предикаты в WHERE, ограничивать лимиты.

Разделение больших таблиц на меньшие по бизнес-логике.

Использование AWS Glue для ETL-трансформаций перед запросами.

Мониторинг и анализ стоимости запросов через CloudWatch/Athena Query History для выявления дорогих запросов.

Sophi
Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!
Попробовать бесплатноArrow

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы