A kaptár és a fonal felvillanyozódik a szikrától

Ebben az Apache Spark & ​​big data blogban nézzük meg, hogyan lehet felépíteni a Sparkot egy adott Hadoop verzióhoz. Megtanuljuk azt is, hogyan kell felépíteni a Spark-ot a YARN és a HIVE számára.

Ebben a blogban nézzük meg, hogyan lehet felépíteni a Sparkot egy adott Hadoop verzióhoz.



Megtanuljuk azt is, hogy miként lehet felépíteni a Spark-ot a HIVE és a FONAL segítségével.

KM

hogyan lehet véletlenszerű karakterláncot létrehozni a java-ban

Figyelembe véve, hogy van Hadoop, jdk, mvn és megy előre telepítve és előre konfigurálva a rendszeren.



configure-Building-Yarn-and-Hive-on-Spark

Nyisd ki Mozilla böngésző és Letöltés Szikra az alábbi link használatával.

https://edureka.wistia.com/medias/k14eamzaza/



Nyissa meg a terminált.

Parancs: tar -xvf Letöltések / spark-1.1.1.tgz

Parancs: ls

Nyissa meg a spark-1.1.1 könyvtárat.

Megnyithatja pom.xml fájl. Ez a fájl az összes fájlról nyújt információt függőségek szükséged van.

Ne szerkessze, hogy elkerülje a problémákat.

Parancs: cd spark-1.1.1 /

Parancs: sudo gedit sbt / sbt-launch-lib.bash

Szerkessze a fájlt az alábbi pillanatkép alapján, mentse el és zárja be.

Csökkentjük a memóriát, hogy elkerüljük az objektumok halomterével kapcsolatos problémákat, amint azt az alábbi pillanatkép említi.

Most futtassa az alábbi parancsot a terminálon, hogy szikrát teremtsen a Hadoop 2.2.0-hoz a HIVE és a YARN segítségével.

Parancs: ./sbt/sbt -P fonal -P kaptár -Padad-2,2 -D hadoop.verzió = 2,2,0 -D skipTests összeszerelés

Megjegyzés: A Hadoop verzióm 2.2.0, a Hadoop verziójának megfelelően módosíthatja.

Más Hadoop verziókhoz

# Apache Hadoop 2.0.5-alfa

-Dhadoop.version = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.változat = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Időbe telik a fordítás és a csomagolás, várjon, amíg elkészül.

Két üveg spark-assembly-1.1.1-hadoop2.2.0.jar és szikra-példák-1.1.1-hadoop2.2.0.jar létrejön.

Elérési útja spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Elérési útja szikra-példák-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Gratulálunk, sikeresen elkészítette a Spark for Hive & Yarn terméket.

Van egy kérdésünk? Kérjük, említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.

Kapcsolódó hozzászólások:

Apache Spark és Hadoop - Miért számít?