Day in the Life of a Cloudera Data Platform Admin
"การเดิมพันของเราไม่ใช่แค่ บริษัท ใหญ่ ๆ ของเว็บเท่านั้น แต่ธนาคารโรงพยาบาลและ บริษัท ประกันภัยจะค้นพบว่าพวกเขาจำเป็นต้องวิเคราะห์โครงสร้างที่ซับซ้อนและมีโครงสร้าง ข้อมูลร่วมกันและ Hadoop ถูกสร้างขึ้นมาเพื่อ "นาย Cloudera CEO Mike Olson กล่าว "Hadoop แก้ปัญหาใหม่ ๆ ในรูปแบบใหม่"
ฐานข้อมูลที่ไม่ใช่ SQL หรือ NoSQL จำนวนหนึ่งที่เพิ่มขึ้น Hadoop ใช้เทคโนโลยี Google MapReduce ซึ่งเป็นกรอบสำหรับประมวลผลข้อมูลแบบขนานกับคอมพิวเตอร์จำนวนมาก โหนด Hadoop ขณะนี้ได้รับการพัฒนาเป็นโครงการโอเพ่นซอร์สโดย Apache Software Foundation เสนอทางเลือกให้กับฐานข้อมูลเชิงสัมพันธ์แบบดั้งเดิมอย่างน้อยกรณีเหล่านี้ในการวิเคราะห์ชุดข้อมูลขนาดใหญ่ที่มีการเปลี่ยนแปลงอย่างรวดเร็ว
สามารถทำงานร่วมกับ SQL และ Non -SQL และยืดหยุ่นต่อความล้มเหลวของเซิร์ฟเวอร์มากกว่าฐานข้อมูลเชิงสัมพันธ์ Olson กล่าวว่า Cloudera เป็นบรรจุภัณฑ์ Hadoop สำหรับองค์กรระดับกลางซึ่งมีทั้งการกระจาย Hadoop และชุดเครื่องมือการจัดการที่เพิ่งเปิดใหม่ โอลสันกล่าวว่าทั้งสองแพคเกจจะช่วยให้องค์กรที่ไม่มีประสบการณ์ทางด้านเทคนิคในเชิงลึกใน Hadoop เพื่อใช้งานซอฟต์แวร์นี้ "มีตำนานว่า Hadoop สามารถใช้งานได้ถ้าคุณมีข้อมูลที่ปรับขนาดของ Google มีผู้ใช้จำนวนมากที่มีเพียงแค่เทราไบต์เพียงไม่กี่เทราไบต์ที่ต้องการวิเคราะห์" Olson กล่าวว่า
การกระจายของ Cloudera สำหรับ Hadoop (CDH) คือ แพคเกจโอเพนซอร์สของโปรแกรมซอฟต์แวร์แบบครบวงจรที่สร้างขึ้นจาก Hadoop Common เดิมชื่อว่า Hadoop Core แพคเกจประกอบด้วย: ไฮฟ์ซึ่งมีโครงสร้างพื้นฐานคลังข้อมูล HBase ฐานข้อมูลพื้นฐาน Hadoop; หมูโปรแกรมคอมไพเลอร์สำหรับแผนที่ลด; Zookeper ซึ่งเป็นช่วงเวลาสำหรับการรันแอพพลิเคชันบนเซิร์ฟเวอร์หลายเครื่องและ MapReduce
ในเวอร์ชันที่เพิ่งเปิดตัว 3 แพคเกจนี้มีสามโปรแกรมที่ บริษัท ได้เปิดตัวเป็นโครงการโอเพ่นซอร์สภายใต้ใบอนุญาตโอเพ่นซอร์ส Apache V2 หนึ่งคือ Flume ซึ่งสามารถช่วยในการโหลดข้อมูลลงใน Hadoop นอกจากนี้การเพิ่มใหม่อีกอย่างหนึ่งคือ Oozie ซึ่งเป็นซอฟต์แวร์การจัดการเวิร์กโฟลว์ "HUE ช่วยให้ทุกคนสามารถสร้างแอพพลิเคชันที่กำหนดเป้าหมายไว้ที่นักวิเคราะห์ได้" Honsop กล่าวว่า "HUBO ช่วยให้ทุกคนสามารถสร้างแอพพลิเคชันที่กำหนดเป้าหมายไปที่นักวิเคราะห์ได้
แพคเกจ Cloudera Enterprise ช่วยเพิ่ม CDH เวอร์ชัน 3 ด้วยเครื่องมือการจัดการเพิ่มเติม ซอฟต์แวร์ใหม่นี้ซึ่งไม่ใช่โอเพนซอร์สช่วยให้ผู้ดูแลระบบสามารถควบคุมการจัดการการเข้าถึงโดยใช้ Lightweight Directory Access Protocol
โอลสันจะไม่หารือถึงจำนวนเงินที่ Cloudera ได้ทำขึ้นจากการสมัครสมาชิกและค่าที่ปรึกษาดังนั้นปล. แต่ทราบว่าในช่วงไตรมาสแรกของปี 2553 บริษัท ฯ ทำเท่าที่ สิ่งที่ได้รับผ่านครึ่งปี 2009 ในบรรดาอุตสาหกรรมที่แตกต่างกันบริการทางการเงินโทรคมนาคมรัฐบาลค้าปลีกรัฐบาลและ บริษัท พาณิชย์เว็บได้แสดงความสนใจในเทคโนโลยีนี้แล้วโอลสันกล่าวว่า "สิ่งที่ บริษัท ต่างๆกำลังทำอยู่กับ Hadoop แตกต่างกันออกไป ทั่วไปคนเหล่านี้จะจับข้อมูลจำนวนมากจากสถานที่จำนวนมากและต้องนำไปสู่การวิเคราะห์ที่มีความซับซ้อน "โอลสันกล่าว "บริการทางการเงินมีความสนใจที่จะใช้ Hadoop ในการตรวจจับการฉ้อโกงในการสื่อสารโทรคมนาคมมีความจำเป็นอย่างยิ่งที่จะต้องเพิ่มประสิทธิภาพเครือข่ายและลดการปั่นป่วนของลูกค้า"
นอกเหนือจากการนำเสนอแพคเกจเหล่านี้แล้ว Cloudera ยังได้รับการสนับสนุนจาก Hadoop จากผู้ให้บริการ Business Intelligence (BI) และซอฟต์แวร์การจัดการข้อมูล Olson มีแผนที่จะออกแถลงการณ์ในงาน Hadoop Summit 2010 ซึ่งจัดขึ้นในซานตาคลาร่า, California เมื่อวันอังคารที่ผู้จัดจำหน่าย BI MicroStrategy จะสนับสนุนการใช้งาน Hadoop
อีกหนึ่งพันธมิตรใหม่คือ Talend ซึ่งเป็นผู้จัดจำหน่ายซอฟท์แวร์การรวมข้อมูลโอเพนซอร์ส บริษัท ได้ขยาย Talend Integration Suite เพื่อเชื่อมต่อกับฐานข้อมูล Hadoop ชุดเครื่องมือนี้ช่วยให้ผู้ดูแลระบบสามารถจัดการและรวบรวมแหล่งข้อมูลหลายแหล่งจากคอนโซลเดียว ด้วยซอฟต์แวร์ Hadoop ซอฟต์แวร์ "สามารถแทรกหรือดึงข้อมูลและประมวลผลข้อมูลภายในสถาปัตยกรรม Hadoop" รองประธานฝ่ายการตลาดของ Talend Yves de Montcheuil กล่าวว่า "Microstrategy และ Talend เข้าร่วมกับ บริษัท ที่กำลังเติบโตกำลังเตรียมเปิดโอเพนซอร์ส หรือเครื่องมือการจัดการเชิงพาณิชย์สำหรับ Hadoop สัปดาห์ที่ผ่านมา Cloudera และ Quest ได้ริเริ่มโครงการสร้างซอฟต์แวร์ที่สามารถเชื่อมโยง Hadoop กับฐานข้อมูล Oracle ในเดือนพฤษภาคม บริษัท โอเพนซอร์สซึ่งเป็น บริษัท ด้านธุรกิจอัจฉริยะ Pentaho ได้ประกาศว่า BI Suite จะทำงานร่วมกับฐานข้อมูล Hadoop
ในการให้สัมภาษณ์กับ IDG News Service Yahoo CTO Raymie Stata ชี้ให้เห็นว่า Hadoop สามารถลดความจำเป็นในการสร้างซูเปอร์คอมพิวเตอร์ เพื่อวิเคราะห์ชุดข้อมูลขนาดใหญ่ ตามเนื้อผ้าชุดข้อมูลขนาดใหญ่ได้ถูกย้ายจากที่จัดเก็บข้อมูลไปไว้ในซุปเปอร์คอมพิวเตอร์ซึ่งเป็นชุดเซิร์ฟเวอร์ที่รวมกันเพื่อวิเคราะห์ ในทางตรงกันข้าม Hadoop จะทำการคำนวณการวิเคราะห์ข้อมูลไปยังตำแหน่งที่ข้อมูลอยู่โดยไม่จำเป็นต้องใช้เครื่องขัดฟันจำนวนมาก Yahoo เป็นผู้สนับสนุนชั้นนำของ Hadoop
นอกเหนือจากข้อเสนอของ Cloudera Hadoop ยังได้รับการจำหน่ายในเชิงพาณิชย์โดย IBM ซึ่งเพิ่งเริ่มเสนอบริการวิเคราะห์ที่ใช้เทคโนโลยีนี้
Joab Jackson ครอบคลุมซอฟต์แวร์และซอฟต์แวร์ทั่วไป ข่าวด่วนสำหรับ
ข่าวบริการ IDG
ติดตาม Joab ทางทวิตเตอร์ที่ @Joab_Jackson ที่อยู่อีเมลของ Joab คือ [email protected]
(NAND Mulchandani) เข้ารับตำแหน่ง CEO ของผู้ให้บริการ DNS (Domain Name System) เมื่อวันที่ 5 พฤศจิกายนแทนที่ผู้ก่อตั้ง David Ulevitch ซึ่งจะยังคงเป็น บริษัท ของ บริษัท หัวหน้าฝ่ายเทคโนโลยีกล่าวว่าโฆษกของ บริษัท Mulchandani เป็นผู้บริหาร VMware ล่าสุดที่จะลาออกหลังจากที่ บริษัท ผู้ร่วมก่อตั้งและซีอีโอไดแอนกรีนถูกขับไล่ในเดือนกรกฎาคมของปีนี้ ในเดือนกันยายนผู้ร่วมก่อตั้ง VMware คนหนึ่ง, Chief Scientist Mendel Rosenblum ลาออก Richard Sarwal ซึ่งเป็นผู้นำในการวิจัยและพัฒนาของ บริษัท ยังทิ้งไว้ในเวลาเ
[อ่านเพิ่มเติม: กล่อง NAS ที่ดีที่สุดสำหรับสตรีมมิงสื่อและการสำรองข้อมูล]
H3C เริ่มก่อตั้งขึ้นเมื่อปี พ.ศ. 2546 ในฐานะ บริษัท ร่วมทุนระหว่าง บริษัท 3Com กับ บริษัท ยักษ์ใหญ่ด้านระบบเครือข่ายของจีน Huawei Technologies เน้นการให้ Huawei เข้าสู่ตลาดสหรัฐและช่วยให้ 3Com มีองค์กรที่แข็งแกร่งขึ้น บริษัท ซิสโก้ค่อยๆล่มสลายจากตลาดองค์กรขนาดใหญ่ 3Com เพื่อมุ่งไปที่ธุรกิจขนาดเล็กและขนาดกลางโดยเน้นที่แบรนด์เดิมของ บริษัท ยังคงมุ่งเน้น 3Com ซื้อ H3C ออกจาก Huawei ในปี 2550 แต่ บริษัท ยังคงพัฒนาและสร้างผลิตภัณฑ์ในประเทศจีน
[อ่านเพิ่มเติม: กล่อง NAS ที่ดีที่สุดสำหรับสตรีมมิ่งสื่อและการสำรองข้อมูล]
Cloudera Startup ได้เปิดตัวชุดโปรแกรมประยุกต์สำหรับการทำงานร่วมกับ Hadoop ซึ่งเป็นกรอบโอเพ่นซอร์สสำหรับการประมวลผลและวิเคราะห์ข้อมูลขนาดใหญ่ Cloudera ซึ่งให้การสนับสนุน Hadoop แก่องค์กรพัฒนาชุดโปรแกรมเบราว์เซอร์ใหม่เพื่อลดความซับซ้อน กระบวนการของการใช้ Hadoop ตาม CEO Mike Olson
"เป็น GUI ที่ใช้งานง่ายเหมาะสำหรับผู้ที่ไม่มีความชำนาญด้าน Hadoop มาก" Olson กล่าว "คุณสมบัติของเว็บขนาดใหญ่ที่มีพรสวรรค์ที่มีพรสวรรค์และมีพรสวรรค์สูงประสบความสำเร็จกับมัน แต่ร้านค้าไอทีทั่วไป ... มีช่วงเวลาที่ยากลำบาก" ฮาโดบเป็นที่รู้จักจากเบื้องหลังการต่อสู้ของข้อมูลเกี่ยวกับเว็บ การดำเนินงานเช่น Facebook และ Yahoo จะช่วยให้ปริมาณงานแอพพลิเคชันกระจายไปทั่วกลุ่มสินค้าโภคภัณฑ์และรวมถึงระบบไฟล์แบบกระจาย