但是数据 spark是，数据无法缓存在内存中。spark在计算时可以从内存得到，sparkcache数据in内存，所以计算速度快，在spark资源大小分配与并行处理spark中，如何保持流的状态，如何缓存和rdd。
1、hive和spark当中对小文件的处理几个仓库面试高频考点:【如何解决hive小文件太多的问题指定为:处理时小文件多数据在表中] |表参数:| null | null | | | | bucking _ version | 2 | | | num如果表的统计信息不显示，执行以下命令。|表参数:| null | null | | | | | column _ stats _ accurate | { basic _ stats:true } | | | | bucking _ version | 2 | | | | num第一个，
查看是否设置了切片数。片/分区的数量是spark的并行粒度。默认情况下，从集合中获得的rdd片段数是2？我不是特别确定；从hdfs上的文件生成的rdd是分块的(好像是128m，但这里不是特别确定)。因此，默认情况下，spark的并行度很低。然后，看一下spark的webui图，看看任务的执行情况。任务是几乎同时结束的吗？
3、spark对硬件的要求spark的硬件要求估计全部spark开发者关心的spark硬件要求。合适的硬件配置需要具体分析，这里给出以下建议。主要翻译自pg电子游戏试玩平台网站官网一、存储系统由于spark的大部分工作可能需要从外部存储系统(如hadoop文件系统或hbase)读取输入数据，因此将spark部署在尽可能靠近存储系统的地方很重要。因此，提出以下建议:1 .如果可能，在与hdfs相同的节点上运行spark。
4、spark应用|hiveonspark性能调优我公司yarnnode可用资源如下:单个节点可用资源数量:33cores，内存110g。hiveonspark任务的基本配置包括:执行者和驱动者内存、执行者配额和任务并行度。配置参数为spark.executor.memory和spark-0/. executor . cores。
纱线资源可以使用33芯。建议spark.executor.cores设置为4，最多留一个核心。如果设置为5，6，将剩下3个核心。spark.executor.cores4、由于总共有33个核心，所以最多可以申请8个执行人。当总数内存为8，即110/8时，每个执行人可以得到约13.75gb 内存。
5、 spark资源大小分配与并行处理6、 spark中要想保留流的状态怎么处理用哪种方式缓存
与rdd类似，sparkstreaming也可以手动控制数据在流中持久化内存。在dstream上调用persist()方法可以让sparkstreaming自动将这个数据 stream中生成的所有rdd持久化到内存。如果你想在一个数据流上多次执行操作，这对数据流的持久化非常有用。因为有多个操作，所以可以在内存 数据中共享一个缓存。
即默认情况下，sparkstreaming会将上述操作生成的dstream中的数据缓存到内存中，不需要开发者手动调用persist()方法。对于通过网络接收数据的输入流，如socket、kafka、flume等。，默认的持久性级别是复制数据以实现容错。相当于用了memory_only_ser_2这样的东西。
7、 spark与hadoop相比,存在哪些缺陷spark已经取代hadoop成为最活跃的开源大型数据项目，但是在选择大型数据框架时，企业不应该厚此薄彼。著名专家bernardmarr在一篇文章中分析了spark和hadoop的异同。hadoop和spark都是big 数据框架，都提供了一些工具来执行常见的big 数据任务，但恰恰，它们执行的是不同的任务。虽然据说spark在某些情况下比hadoop快100倍，但它没有分布式存储系统，而分布式存储系统是许多大型数据项目的基础。它可以在几乎无限的普通计算机的硬盘上存储pb级数据 sets并提供良好的可扩展性。你只需要随着数据套的增加而增加硬盘即可。所以spark需要一个第三方分布式存储。正是因为这个原因，很多大型数据项目都在hadoop上安装spark，这样，spark的高级分析应用就可以使用数据存储在hdfs。与hadoop相比，spark真正的优势在于速度。spark的大部分操作在内存，hadoop的mapreduce系统会转换。
8、 spark 内存溢出及其pg电子娱乐平台的解决方案1。你在工作中遇到过内存的溢出问题吗？你是怎么解决的？答:先说明spark 内存的型号，再介绍不同情况下的解决方法。大意是根据模型找到不足的那块内存，要么增加比例，要么增加整体。oom一般出现在执行内存，因为存储块内存满后，旧的内存会被直接丢弃，对性能有一点影响但不会导致oom。
spark的oom问题主要分为三种情况:map执行后内存的溢出场景:maptask运行的executor 内存溢出。增加堆内内存，应用的堆外内存，也会增加执行内存。添加堆外内存confspark. exctor .内存开销2048是默认的应用程序堆外。
9、 spark将 数据缓存到 内存中所以计算速度快,但无法把 数据spark是，数据缓存在内存中，可以在火花计算时从内存中获取。/cache方法:spark非常快的一个原因是它可以在不同的操作中持久化或者缓存内存。当一个rdd被持久化时，每个节点将把计算的碎片结果保存 in 内存并在这个rdd或派生的rdd的其他动作中重用它。
10、linux spark 数据超过 内存大小repartition应该在任务执行之前进行。有时，由于键的分布不均匀，重新分区无法解决数据 tilt的问题，您可以使用partitionby方法来自定义分区的分区方法。数据之间的联接通常非常消耗资源，需要很长时间来执行，甚至会导致任务失败，一般来说，应该尽量避免。比如一个rdd 数据的比例小，可以先收集，然后广播给所有执行程序。
