eResearch Conference October 2013
Introduc)on ¡ Summary Summary 1. NSP Overview – Nick Golovachenko (10 minutes) NSP Overview – Nick Golovachenko (10 minutes) 1. 2. Technical Overview – Damien echnical Overview – Damien Mannix Mannix (15 minutes) (15 minutes) 2. 3. Use Cases Use Cases 3. IMOS – Peter Blain IMOS – Peter Blain a. a. Quadrant – Hamish Quadrant – Hamish Holewa Holewa b. b. TERN - TERN - Siddeswara Siddeswara Guru Guru c. c. 4. Question and Answers Question and Answers 4.
Introduc)on ¡ NSP Overview NSP Overview 1. What is the NSP What is the NSP 1. 2. How was it built How was it built 2. 3. Self Service featur Self Service features es 3. 4. What is the dif What is the differ ference between the NSP and the ence between the NSP and the 4. Resear Research Cloud ch Cloud 5. Who is using it and benefitting fr Who is using it and benefitting from it om it 5. 6. How to apply for the Service How to apply for the Service 6.
1. ¡What ¡is ¡the ¡NSP? ¡ § The National Servers Program is a cloud based Infrastructure as a Service (IaaS) service which hosts critical e-Research services for the Australian research community. Uniquely Australian, the NSP provides a robust national network of virtual servers and platforms to support many eResearch services such as the operations for the Research Cloud, virtual laboratories, tools and data. § The NSP is currently free for Australian researchers and is available to be used now. It provides a safe and secure environment for Australian researchers to host their important research application which means they don’t have to worry about anything except managing their research.
2. ¡How ¡was ¡it ¡Built? ¡ The NSP was built and consisted of two phases: The Basic Access Phase offered a limited service with manual provisioning (50 to 100 VMs) Full Service Phase was built to provide an enhanced and expanded service with a range of self-service features to assist with researchers in building their applications to incorporate multi-site availability. (250 – 500 VMs)
2. ¡How ¡was ¡it ¡Built? ¡ § The Service has been built and housed at the University of Melbourne in two geographically separate data centres (Parkville and Noble Park in Melbourne) § NSP is a 24/7 service which built using Citrix Cloudplatform which is a Vendor supported solution based upon Apache Cloudstack, an open source Infrastructure-as-a-Service (IaaS) offering. § The NSP Service will be monitored by the AARNet NOC service (contracts pending) which will provide external and internal monitoring of the NSP as well uptime reporting. § The service has been running at 99.9% uptime.
2. ¡How ¡was ¡it ¡Built? ¡ ¡ ¡
3. ¡Self ¡Service ¡Features ¡ The NSP provides an unmanaged service for maximum flexibility. Advanced Self service features allow Researchers to control all stages of their VM lifecycle. Researchers can build their applications to leverage features such as failover and load balancing between the two zones (Data Centres). Researchers can utilise a Portal for Self Service account management within their allocated Research Group, they can also manage snapshots, templates and advance networking, e.g., Firewall, NAT, DNS, DHCP , VPN and load balancing.
4. ¡What ¡is ¡the ¡difference ¡between ¡ the ¡NSP ¡and ¡the ¡Research ¡Cloud? ¡ • The difference between the NSP and Research cloud is that the NSP is designed to provide a higher tier of service (99.9% uptime) compared to that of the Research cloud (98%). • Research Cloud seeks to provide researchers with quick and simple access to a single working environment in which to execute their projects. VMs are notionally allocated for three months, although projects often run longer. It is targeted primarily at individual researchers or small research groups. • NSP provides a supported development (staging) environment and test environment, and a production environment. The NSP provides a supported platform, and is built with the primary aim to provide reliability and high availability over a long period of time. It is targeted primarily at operators of services to the research community.
7. ¡Who ¡is ¡Using ¡the ¡NSP ¡ Australia Access Australia Access Australian National Data Australian National Data CCFR- Colon Cancer CCFR- Colon Cancer Federation (AAF) Federation (AAF) Service (ANDS) Service (ANDS) Family Registry Family Registry Mothers After Mothers After REDCap REDCap Health and Health and GRHANITE GRHANITE Gestational Diabetes in Gestational Diabetes in Biomedical Infor Biomedical Informatics matics Australia (MAGDA) Australia (MAGDA) Centr Centre portal e portal Quadrant Quadrant NeCTAR NeCT AR Resear Research Cloud ch Cloud IMOS IMOS Ar Archive for Digital chive for Digital TERN – Terr TERN – T errestrial estrial The ARK - Open Source The ARK - Open Sour ce Sources in Endanger Sour ces in Endangered ed Ecosystem Research Ecosystem Resear ch Softwar Software for Medical e for Medical Cultures (P Cultur es (PARADISEC) ARADISEC) Network Network Resear Research ch
5. ¡How ¡to ¡apply ¡for ¡the ¡Service ¡ • In order to use the NSP you need to submit an application. • Applications to host services on the National Servers Program (NSP) are reviewed by the NSP Allocation Committee which meets on the first Tuesday of every month. This committee consists of representatives from around Australia, and they review applications according to the following four merit criteria:
5. ¡How ¡to ¡apply ¡for ¡the ¡Service ¡ The service underpins the integrated management or access to 1. collaboration, data, compute or analysis resources and capabilities, The service is considered a core to other eResearch services and 2. activities, The service will support activities by researchers from multiple 3. institutions, and The service has suitable maintenance and user support resources 4. in place.
Damien ¡Mannix ¡– ¡Cloud ¡Systems ¡Administrator ¡
The ¡Chosen ¡Pla,orm ¡for ¡the ¡ NSP Citrix ¡CloudPlatform ¡& ¡CloudPortal ¡manage ¡the ¡ overall ¡infrastructure ¡of ¡the ¡NSP. ¡ Why ¡Citrix? ¡It ¡is ¡a ¡supported ¡Platform ¡with ¡which ¡the ¡ NSP ¡has ¡a ¡24 ¡/ ¡7 ¡support ¡contract. ¡CloudPlatform ¡ derives ¡from ¡the ¡Apache ¡CloudStack ¡Project ¡which ¡is ¡ community ¡driven ¡and ¡mature ¡in ¡it’s ¡functionality. ¡ Currently ¡we ¡are ¡also ¡using ¡XenServer ¡as ¡the ¡ underlying ¡hypervisor ¡of ¡choice ¡for ¡the ¡NSP ¡user ¡VM’s ¡ as ¡this ¡is ¡also ¡apart ¡of ¡the ¡ongoing ¡support ¡agreement. ¡ CloudPlatform ¡is ¡however ¡hypervisor ¡agnostic ¡and ¡ supports ¡KVM, ¡VMware. ¡
100 ¡ KM ¡ NSP ¡Design ¡-‑ ¡VM ¡ Zone ¡One ¡ Zone ¡Two ¡ Infrastructure ¡ Queensberry ¡Street ¡ Noble ¡Park ¡(NP) ¡ (QS2) ¡ ¡ Data ¡Centre ¡ Data ¡Centre ¡ Hypervisor ¡Clusters ¡ In ¡CloudPlatform ¡terms ¡a ¡zone ¡is ¡a ¡ data ¡centre. ¡In ¡a ¡zone ¡you ¡can ¡have ¡ multiple ¡clusters ¡as ¡long ¡as ¡each ¡ cluster ¡has ¡2 ¡or ¡more ¡matching ¡ hypervisor ¡physical ¡architecture. ¡ ¡ Currently ¡at ¡Q2 ¡we ¡have ¡2 ¡Clusters ¡– ¡ Staging ¡ Production ¡VMs ¡ Production ¡VMs ¡ Staging ¡and ¡Production. ¡Staging ¡ Primary ¡Storage ¡ Noble ¡Park ¡comprises ¡of ¡1 ¡Cluster ¡ ¡ Primary ¡Storage ¡(at ¡both ¡sites) ¡ 18 ¡TB ¡Fibre ¡Channel ¡Gold ¡Storage ¡ 9 ¡TB ¡Fibre ¡Channel ¡Silver ¡Storage ¡ Primary ¡Storage ¡has ¡Fibre ¡Channel ¡connectivity ¡ ¡ ¡ We ¡currently ¡offer ¡2 ¡Tiers ¡of ¡Storage ¡Gold ¡and ¡Silver ¡ Secondary ¡Storage ¡(both ¡sites) ¡ Secondary ¡Storage ¡ 10 ¡TB ¡NFS ¡Silver ¡Storage ¡ ¡ NFS ¡storage ¡with ¡cross ¡site ¡replication ¡ Network ¡connectivity ¡is ¡10GB ¡at ¡both ¡ sites. ¡ ¡
The ¡Management ¡Layer ¡ CloudPlatform ¡ (Citrix ¡supported ¡version ¡of ¡Apache ¡CloudStack) ¡ ¡ OpenLDAP ¡-‑ ¡for ¡user ¡Authentication ¡ MySQL ¡– ¡underlying ¡database ¡for ¡both ¡Portal ¡and ¡ Platform ¡ Software ¡Load ¡Balancers ¡– ¡ Soon ¡to ¡be ¡migrated ¡to ¡F5 ¡ Hardware ¡Load ¡Balancers ¡ XenServer ¡Hypervisors ¡currently ¡being ¡used ¡for ¡the ¡ Management ¡Stack ¡Virtual ¡Machines ¡ ¡ ¡
Recommend
More recommend
