UDF létrehozásának lépései az Apache Pig alkalmazásban

Az Apache Pig több előre definiált funkcióval rendelkezik. A bejegyzés világos lépéseket tartalmaz az UDF létrehozásához az Apache Pig alkalmazásban. Itt a kódok Java-ban vannak megírva, és ehhez Pig Pig könyvtárra van szükség

Ez a bejegyzés tartalmazza az UDF létrehozásához szükséges lépéseket az Apache Pig alkalmazásban. Minden UDF-nek ki kell terjesztenie a Filter funkciót, és tartalmaznia kell egy exec nevű metódust, amely egy Tuple-t tartalmaz. Az itt alkalmazott logika az, hogy ha a Tuple értéke nulla vagy nulla, akkor logikai értéket kap: igaz vagy hamis. Az „IsofAge” pedig annak ellenőrzésére szolgál, hogy a megadott életkor helyes-e vagy sem. A Felhasználó által definiált függvény logikája Java kódokba van írva, ahol a JAR fájl létrejön, majd exportálásra kerül. A JAR fájlt később regisztrálják. Ezek a JAR fájlok az Apache Pig könyvtárfájljaiban találhatók a betöltéskor.



 Az IsOfAge nyilvános osztály kiterjeszti a FilterFunc { @ Felülírás publicBoolean exec (Tuple tuple) dob ISException {   if (tuple == null || tuple.size () == 0) {   returnfalse } próbálja meg{ Objektum objektum = tuple.get (0) if (objektum == null) {   returnfalse } inti = (Egész) objektum   ha (i == 18 || i == 19 || i == 21 || i == 23 || i == 27) {   visszatérés igaz } más{ returnfalse }} fogás (ExecExceptione) { dobja újIOException (e) }}}

Hogyan hívhatunk disznó UDF-et?

Az UDF létrehozása után a következő parancsot kell használni a JAR fájl regisztrálásához.



regisztráció myudf.jar X = A szűrő IsOfAge szerint (életkor)

Az UDF létrehozásának lépései a Pigben:

Az Apache Pig alkalmazásban több előre definiált funkció található. Azt a funkciót is létrehozhatjuk, hogy létrehozzuk saját függvényünket, amely a Felhasználó által definiált funkció (UDF). A Pig UDF Java-ban íródott, és ehhez a Pig Library-nek meg kell használnia az előre definiált osztályokat. Apache Pig könyvtár pig-0.8.0-cdh3u0-core.jar letölthető az internetről.

Kattintson ide, ha egy Pig szkriptet szeretne létrehozni UDF-sel HDFS módban.



Van egy kérdésünk? Említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.

Kapcsolódó hozzászólások:

mi a különbség a git és a github között

Apache Pig Script UDF-mel HDFS módban



Operátorok az Apache Pig-ben: 1. rész - Relációs operátorok

Operátorok az Apache Pig-ben: 2. rész - Diagnosztikai operátorok