เว็บไซต์

Yahoo ช่วย IIT Bombay จัดตั้ง Hadoop Cluster Lab

Demo On Hadoop Configuration | Edureka

Demo On Hadoop Configuration | Edureka
Anonim

Yahoo ช่วยสถาบันเทคโนโลยีแห่งอินเดียบอมเบย์ในการจัดตั้งห้องทดลองคลัสเตอร์ Hadoop ในเมืองมุมไบด้วยการบริจาคเซิร์ฟเวอร์เซิร์ฟเวอร์ที่ใช้ซอฟต์แวร์โอเพ่นซอร์ส Hadoop

Apache Hadoop เป็นโครงการคอมพิวเตอร์แบบโอเพ่นซอร์สของ Apache Software Foundation สนับสนุน Yahoo

Yahoo ดำเนินการปฏิบัติการสำคัญ ๆ จำนวนมากโดยใช้ Hadoop และไม่สามารถทำวิจัยทั้งหมดที่จำเป็นสำหรับ Hadoop ภายใน บริษัท Prabhakar Raghavan รองประธานอาวุโสและหัวหน้าฝ่ายปฏิบัติการของ Yahoo Labs กล่าว Yahoo ได้ประกาศเมื่อเดือนมิถุนายนปีที่แล้วว่ามีการเผยแพร่ Hadoop โดยอ้างความสนใจจากชุมชน Apache Hadoop ที่เผยแพร่ Hadoop เวอร์ชันทดสอบและปรับใช้กลุ่มใหญ่ของตัวเอง

กลุ่มนี้ แล็บที่ M umbai จะช่วยนักวิจัยในพื้นที่การศึกษาของสถาบันเช่นการค้นหาและเทคนิคการจัดอันดับการสกัดข้อมูลและการประมวลผลภาษาธรรมชาติ

นักวิจัยทางวิชาการที่ต้องการค้นคว้าข้อมูลเกี่ยวกับเว็บมักไม่สามารถเข้าถึงแหล่งข้อมูลการคำนวณและเทราไบต์ได้ ข้อมูลที่จำเป็นสำหรับการวิจัยเรื่อง "ปัญหาบนเว็บ" Raghavan กล่าวว่า

เริ่มต้นด้วยการให้นักวิจัย Hadoop ที่มหาวิทยาลัย Carnegie Mellon University จัดทำซูเปอร์คอมพิวเตอร์ขนาด 4,000 โปรเซสเซอร์ในปี 2007 Yahoo ได้ช่วยมหาวิทยาลัยอื่น ๆ ในสหรัฐฯให้ตั้งค่า Hadoop Rashavan กล่าวว่า Raghavan ไม่ได้ให้รายละเอียดเพิ่มเติมเกี่ยวกับคลัสเตอร์ที่ติดตั้งใน IIT โดยบอกว่าเซิร์ฟเวอร์ที่มีซีพียูหลายร้อยตัวและความสามารถในการจัดการข้อมูลเทราไบต์ได้ถูกนำไปใช้ที่นั่น

นอกเหนือจาก IIT Bombay, Yahoo กำลังช่วยกันตั้งกลุ่มที่คล้ายกันในสถาบันการศึกษาในเยอรมนีและสิงคโปร์ Raghavan กล่าว เหล่านี้เป็นสถาบันการศึกษาสามแห่งแรกนอกสหรัฐฯที่ Yahoo กำลังช่วยตั้งกลุ่มดังกล่าวเขาเสริม

Yahoo วางแผนที่จะสร้างเครือข่ายบางแห่งในกลุ่มต่างๆทั่วโลกเพื่อสร้าง "ยูทิลิตีที่ใหญ่ขึ้น" ก่อนหน้านี้ความสามารถในการบริหารระบบของ Hadoop จะต้องมีความเข้มแข็งมากขึ้นเพื่อป้องกันไม่ให้นักศึกษาในสถาบันหนึ่งเข้าทำงานในสถาบันอื่น Raghavan กล่าวว่า

Yahoo ร่วมกับ Laboratories Research Laboratories (CRL) ซึ่งเป็นห้องปฏิบัติการของอินเดีย ทาทากรุ๊ปเพื่อนำเสนอสิ่งอำนวยความสะดวกด้านการประมวลผลแบบ Supercomputing ฟรีสำหรับสถาบันการศึกษาในอินเดียที่กำลังศึกษาข้อมูลเกี่ยวกับคอมพิวเตอร์ขนาดใหญ่โดยเฉพาะในบริเวณ Hadoop Raghavan กล่าวว่า

การเป็นพันธมิตรกับสถาบันการศึกษาใน Hadoop ช่วยให้ Yahoo สร้างกลุ่มวิศวกรที่คุ้นเคยกับแพลตฟอร์ม Hadoop ซึ่งเป็นไปตาม Raghavan บางคนได้รับการว่าจ้างจาก Yahoo แล้วเขาเสริม

Yahoo ยังได้รับประโยชน์จากแนวคิดที่เกิดขึ้นจากสถาบันการศึกษาที่ทำวิจัยโดยใช้ Hadoop Raghavan กล่าว เขาไม่ได้ให้ความเฉพาะเจาะจงกับความคิดที่หยิบขึ้นมาจากความร่วมมือกับสถาบันการศึกษานี้