Pig programozás: Készítse el az első Apache Pig parancsfájlját

Olvassa el ezt a blogbejegyzést az első Apache Pig szkript létrehozásához. Az Apache Pig parancsfájlok az Apache Pig parancsok együttes végrehajtására szolgálnak.

Pig programozás: Készítse el az első Apache Pig parancsfájlját

Miénkben , most megtanuljuk, hogyan kell létrehozni egy Apache Pig szkriptet. Az Apache Pig parancsfájlok az Apache Pig parancsok együttes végrehajtására szolgálnak. Ez segít csökkenteni az egyes parancsok kézi végrehajtására és futtatására fordított időt és erőfeszítést, miközben ezt a Pig programozásban végzik.Szintén szerves része a .Ez a blog lépésről lépésre segít az első Apache Pig szkript létrehozásában.



Apache Pig szkript végrehajtási módok

Helyi mód : „Helyi módban” végrehajthatja a disznóparancsot a helyi fájlrendszerben. Ebben az esetben nem kell az adatokat a Hadoop HDFS fájlrendszerben tárolni, ehelyett maga a helyi fájlrendszerben tárolt adatokkal dolgozhat.



MapReduce mód : ’MapReduce módban’ az adatokat HDFS fájlrendszerben kell tárolni, és az adatokat disznó parancsfájl segítségével lehet feldolgozni.

Apache Pig Script MapReduce módban

Tegyük fel, hogy feladatunk egy adatfájl adatainak kiolvasása és a szükséges tartalom megjelenítése kimenetként a terminálon.



Az adatfájl a következő adatokat tartalmazza:

Információs txt fájl - Apache Pig Script - Edureka

Mentse a szöveges fájlt az „information.txt” névvel



Az adatfájl öt oszlopot tartalmaz Keresztnév , Vezetéknév , Mobil nélkül , Város , és Szakma által elválasztva fülre . Feladatunk a fájl tartalmának kiolvasása a HDFS-ből és a rekordok összes oszlopának megjelenítése.

cva alapján java

Az adatok Pig alkalmazással történő feldolgozásához ennek a fájlnak jelen kell lennie az Apache Hadoop HDFS-ben.

Parancs : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

1. lépés: Pig szkript írása

Hozzon létre és nyisson meg egy Apache Pig szkriptfájlt egy szerkesztőben (pl. Gedit).

Parancs : sudo gedit /home/edureka/output.pig

Ez a parancs létrehoz egy „output.pig” fájlt az edureka felhasználó saját könyvtárában.

Írjunk néhány PIG parancsot az output.pig fájlba.

A = LOAD '/edureka/information.txt' a PigStorage ('') használatával (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A FName, MobileNo, Profession DUMP létrehozása B

Mentse és zárja be a fájlt.

  • Az első parancs az ‘information.txt’ fájlt közvetett sémával (FName, LName, MobileNo, City, Profession) tölti be az A változóba.
  • A második parancs betölti a szükséges adatokat az A változóból a B változóba.
  • A harmadik sor a B változó tartalmát jeleníti meg a terminálon / konzolon.

2. lépés: Hajtsa végre az Apache Pig szkriptet

c ++ program egy tömb növekvő sorrendbe rendezéséhez

A disznóparancsfájl HDFS módban történő futtatásához futtassa a következő parancsot:

Parancs : disznó /home/edureka/output.pig

A végrehajtás befejezése után tekintse át az eredményt. Az alábbi képek az eredményeket és köztes térképüket mutatják, és csökkentik a funkciókat.

Az alábbi képen látható, hogy a szkript sikeresen végrehajtásra került.

Az alábbi képen a szkriptünk eredménye látható.

Gratulálunk az első Apache Pig szkript sikeres végrehajtásához!

Most már tudja, hogyan lehet Apache Pig szkriptet létrehozni és végrehajtani. Ezért a következő blogunk kitér arra, hogyan kell hozzon létre UDF-t (Felhasználó által definiált függvények) az Apache Pig alkalmazásban és hajtja végre MapReduce / HDFS módban.

Most, hogy létrehozta és végrehajtotta az Apache Pig Scriptet, nézze meg a az Edureka, egy megbízható online tanulási vállalat, amelynek több mint 250 000 elégedett tanulóval rendelkező hálózata elterjedt az egész világon. Az Edureka Big Data Hadoop tanúsító tanfolyam segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőivé válni, valós idejű felhasználási esetek felhasználásával a kiskereskedelem, a szociális média, a repülés, az idegenforgalom és a pénzügy területén.

Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és mi kapcsolatba lépünk Önnel.