Работал ли с Hadoop

Да, работал с Hadoop, в основном с HDFS и MapReduce. Использовал PySpark для обработки больших данных, так как он удобнее для Data Science задач.

Пример чтения данных из HDFS в PySpark:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("HadoopExample").getOrCreate()
df = spark.read.csv("hdfs://path/to/file.csv", header=True)
df.show()

Также знаком с Hive для SQL-запросов и YARN для управления ресурсами. Hadoop полезен при работе с очень большими объемами данных, но для многих задач сейчас предпочитаю облачные решения (BigQuery, S3 + Spark).