A Big Data és az ETL család

Ebben a blogban a Big Data és az ETL kapcsolatát fogjuk megnézni. A Talend az az eszköz, amelyet széles körben használnak a Big Data és az ETL összekapcsolására.



A Big Data-t az utóbbi időben valóban eléggé felpörgették, úgy, mint a hozzáértő szakemberek. Az elsődleges képességek kihasználatlansága és a nullától kezdve nem mindig könnyű feladat. A négyzetes vágások felhasználása és a kidobókhoz való alkalmazkodás azonban csodákat fog tenni. Bingo, arról beszélünk, hogy a Big Data-t megtanuljuk ETL technológia segítségével.



Az adatátalakítási munkafolyamatokat tervező ETL fejlesztők nagyon jól használhatják az eszközöket és lefordíthatják a munkafolyamatokat Hadoop-feladatokra. A Hadoop egy nyílt forráskódú keretrendszer, amelyet széles körben használnak a BigData feldolgozására a MapReduce program segítségével (ez egy másik nyílt forráskódú technológia, amely segít nagy mennyiségű adat feldolgozásában a Hadoopon). Legtöbbször nehézkes lehet a képzett erőforrások megtalálása a Big Data-ban.

algoritmusok és adatstruktúrák a java-ban

Ha egy ETL fejlesztőnek meg kell találnia azokat az IP-címeket, amelyek több mint egymillió kérelmet tettek a bank weboldalán, meg kell írnia egy MapReduce feladatot, amely feldolgozza a Hadoopban tárolt webnapló adatokat . Az ETL technológia fejlődésével azonban a munka fejlesztője a standard ETL tervező eszközökkel létrehozhat egy ETL folyamatot, amely képes olvasni a Hadoop több forrásából származó fájlokat (Files, Hive, HBase), egyesíteni, összesíteni, szűrni és átalakítani az adatokat hogy választ találjon az IP-címekre vonatkozó lekérdezésre.



A Talend az egyetlen grafikus felhasználói felület eszköz, amely elégségesen képes egy ETL-feladat MapReduce-munkává „lefordítására”. Így a Talend ETL-feladat MapReduce-feladatként kerül végrehajtásra a Hadoop-on, és percek alatt elvégzi a nagy adatmunkát. Ez egy kulcsfontosságú újítás, amely segít csökkenteni a belépési akadályokat a Big Data technológiában, és lehetővé teszi az ETL-munkafejlesztőknek (kezdőknek és haladóknak), hogy nagyobb mértékben végezzék el az Adattárház-terhelést.

Az élet a Big Data városban sokkal könnyebb a Talend körül

Grafikus absztrakciós réteg a Hadoop alkalmazások tetején - ez sokkal megkönnyíti az életet a Big Data világban.



A Talend mondanivalója: „A nyílt forráskódú adatok integrációjának újítójaként és vezetőjeként betöltött történelmünknek megfelelően a Talend az első szolgáltató, amely tiszta nyílt forráskódú megoldást kínál a nagy adatintegráció . A Talend Open Studio for Big Data egy könnyen használható grafikus fejlesztői környezet rétegzésével az erős Hadoop alkalmazások tetejére teszi nagy adatkezelés minden eddiginél több vállalat és fejlesztő számára elérhető.

A Talend Open Studio for Big Data a napfogyatkozás-alapú grafikus munkaterületével lehetővé teszi a fejlesztő és az adatkutató számára, hogy írás nélkül kihasználhassa a Hadoop betöltési és feldolgozási technológiákat, például a HDFS, a HBase, a Hive és a Pig. Hadoop alkalmazás kód. Ha egyszerűen kiválaszt egy grafikus összetevőket egy palettáról, elrendezi és konfigurálja őket, Hadoop-feladatokat hozhat létre. Például:

  1. Adatok betöltése a HDFS-be (Hadoop Distributed File System)
  2. Használat Hadoop Pig az adatok HDFS-ben történő átalakításához
  3. Adatok betöltése a Hadoop Hive alapú adattárház
  4. Végezze el az ELT (kivonat, betöltés, átalakítás) összesítéseket a kaptárban
  5. Tőkeáttétel Sqoop a relációs adatbázisok és a Hadoop integrálásához

Hadoop alkalmazások, zökkenőmentesen integrálhatók perceken belül a Talend segítségével.

mi a java pojo osztály példával

Ahhoz, hogy a Hadoop alkalmazások valóban hozzáférhetőek legyenek a szervezete számára, simán be kell építeni őket az általános adatfolyamokba. Talend Open Studio a Big Data számára ideális eszköz a Hadoop alkalmazások integrálásához a szélesebb adatarchitektúrába. A Talend több beépített csatlakozó-komponenst kínál, mint bármely más rendelkezésre álló adatintegrációs megoldás, többel 800 csatlakozó amelyek megkönnyítik bármely nagyobb fájlformátum, adatbázis vagy csomagolt vállalati alkalmazás olvasását vagy írását. Például a Talend Open Studio for Big Data alkalmazásban a drag 'n drop konfigurálható összetevők használatával olyan adatintegrációs folyamatokat hozhat létre, amelyek az adatokat elválasztott naplófájlokból áthelyezik a Hadoop Hive-ba, műveleteket hajtanak végre a Hive-ban, és az adatokat kibontják a Hive-ból egy MySQL adatbázisba. (vagy Oracle, Sybase, SQL Server és így tovább).

Szeretné látni, milyen egyszerű lehet a legmodernebb Hadoop-alkalmazásokkal dolgozni?

Nem kell várni - a Talend Open Studio for Big Data egy nyílt forráskódú szoftver, ingyenesen letölthető és Apache licenc alatt használható.

Beszélj a városban

Talend aVisionary a Magic Quadrantban az adatintegrációs eszközökhözA közelmúltban úttörőként jelentek meg az adatminőség és az MDM területén, valamint minden összetevőnél egy fantasztikus Big Data étel elkészítéséhez.

Azt állítják, hogy: „A Big Data Integration 45 százalékkal növeli a teljesítményt és a skálázhatóságot a szervezetében”.

Csak a Talend 5.5 (és újabb) verziója teszi lehetővé a fejlesztők számára nagy teljesítményű Hadoop-kód létrehozását anélkül, hogy a MapReduce vagy a Pig szakértőinek kellene lenniük.

Néhány hónappal ezelőtt a Talend egyik cikke így szólt: „A Hadoop elfogadása az egekbe szökik, és a nagy és kicsi cégek küzdenek azért, hogy elegendő hozzáértéssel rendelkező Hadoop fejlesztőt találjanak az egyre növekvő kereslet kielégítésére”. Csak a Talend 5.5 lehetővé teszi bármely adatintegrációs fejlesztő számára, hogy vizuális fejlesztési környezetet használjon natív, nagy teljesítményű és nagymértékben méretezhető Hadoop-kód létrehozásához. Ez nagyszámú fejlesztési forrást nyit meg, amelyek most hozzájárulhatnak a big data projektekhez. Ezenkívül a Talend a Hadoop új fejlesztéseinek élvonalában marad, amelyek lehetővé teszik a nagy adatelemzési projektek számára, hogy valós idejű ügyfél-interakciókat biztosítsanak.

A Talend for Big Data segíthet megérteni a szervezeteket azáltal, hogy heterogén forrásrendszerekből - például harmadik felekből, API-kból és közösségi hálózati hírcsatornákból - gyűjti az adatkészleteket, és ezeket az adatokat vizuális képpé alakítja át a végpontok közötti ügyfélutazásról.

Legyen szó banki iparról, gyógyszeriparról, e-kereskedelemről és biztosításokról - a Talend bármilyen méretben integrálhatja az adatokat, könnyedén ötvözve a Hadoop-ot, amely a legmodernebb technológiának bizonyult a jelen és a jövő igényeinek kielégítésére.

Használja a világ minden tájáról szóló eseteket

A marketing kampánytól kezdve a banki ügyfélszolgálaton át a csalások felderítéséig a big data mindenhol megtalálható.

php átalakítja az objektumot tömbre

Egyedül több mint 800 csatlakozóval rendelkezik nyílt forráskódú kiadásában, és azt állítja, hogy ez a legnagyobb támogatott platform, amely bármihez kapcsolódhat, és mindent képes letölteni.

A változó mintával és a NoSQL, az Open Source, a Hadoop irányához igazodva a Big Data és az ETL stílus tanulásának megválasztása a Talend segítségével lenne a leglogikusabb döntés mindenki számára, aki bármilyen formában és bármikor foglalkozik az adatokkal.

Összefoglalva: az ETL eszközei korántsem passzívak. Központi szerepet játszanak a Big Data ökoszisztémában, és döntő szerepet játszanak az adatelemzés lehetővé tételében.

Ezért ragyog a Talend a „Zero to Big Data kódolás nélkül, 10 perc alatt” megfogalmazásával.

Van egy kérdésünk? Említse meg őket a megjegyzés rovatban, és kapcsolatba lépünk Önnel.

Kapcsolódó hozzászólások: