Встречается на собеседованиях • сегодня
Работал ли с MapReduce
Да, работал с MapReduce, в основном в контексте Hadoop и Spark. MapReduce — это модель обработки больших данных, где задачи делятся на два этапа: Map (преобразование данных) и Reduce (агрегация).
Пример на Python (имитация MapReduce):
python
from functools import reduce
# Map: преобразуем слова в пары (слово, 1)
words = ["hello", "world", "hello"]
mapped = [(word.lower(), 1) for word in words]
Reduce: суммируем значения по ключам
def reducer(acc, item):
key, value = item
acc[key] = acc.get(key, 0) + value
return acc
result = reduce(reducer, mapped, {})
print(result) # {'hello': 2, 'world': 1}
text
В продакшене использовал PySpark для распределённых вычислений, например:
```python
from pyspark import SparkContext
sc = SparkContext("local", "WordCount")
text = sc.textFile("hdfs://...")
counts = text.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)Плюсы: масштабируемость, обработка больших данных. Минусы: накладные расходы на дисковые операции (в Hadoop), сложность отладки. Для многих задач сейчас предпочитаю Spark из-за in-memory вычислений.

Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!
офферы быстрее!
Попробовать бесплатно
Следующий вопрос
Это единственный вопрос по вашему фильтру
как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы