Встречается на собеседованиях • сегодня

Работал ли с MapReduce

Да, работал с MapReduce, в основном в контексте Hadoop и Spark. MapReduce — это модель обработки больших данных, где задачи делятся на два этапа: Map (преобразование данных) и Reduce (агрегация).

Пример на Python (имитация MapReduce):

python
from functools import reduce

# Map: преобразуем слова в пары (слово, 1)
words = ["hello", "world", "hello"]
mapped = [(word.lower(), 1) for word in words]

Reduce: суммируем значения по ключам

def reducer(acc, item):
key, value = item
acc[key] = acc.get(key, 0) + value
return acc

result = reduce(reducer, mapped, {})
print(result) # {'hello': 2, 'world': 1}

text

В продакшене использовал PySpark для распределённых вычислений, например:  
```python
from pyspark import SparkContext
sc = SparkContext("local", "WordCount")
text = sc.textFile("hdfs://...")
counts = text.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

Плюсы: масштабируемость, обработка больших данных. Минусы: накладные расходы на дисковые операции (в Hadoop), сложность отладки. Для многих задач сейчас предпочитаю Spark из-за in-memory вычислений.

Sophi
Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!
Попробовать бесплатноArrow

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы