Для чего нужно aws
Принцип работы AWS
Знакомство с AWS
Этот материал входит в серию технических статей, написанных командой архитекторов программных решений AWS для стартапов с целью помочь создателям стартапов заложить основу для быстрого развития их бизнеса. Эта серия является общим обзором технических решений, которые необходимо принять на этапе создания стартапа, а также сервисов AWS, наиболее подходящих для их реализации.
Создание своего первого стартапа – это невероятно увлекательный процесс, требующий решения множества проблем. Вам необходимо нанять квалифицированных специалистов для создания, обслуживания и запуска продуктов, завершения следующих этапов сбора средств, выхода на мировой рынок, а также завоевания доверия клиентов путем предоставления им великолепного опыта взаимодействия с вашим продуктом, сохранения инновационных преимуществ и защиты их данных. И все это необходимо сделать, не допустив повышения издержек.
Эксперты AWS понимают это, и многие из них не понаслышке знакомы с проблемами, с которыми изо дня в день сталкиваются основатели стартапов на ранних этапах. С 2006 г., когда компания AWS впервые представила миру облачную инфраструктуру, мы работали с сотнями тысяч основателей стартапов по всему миру, помогая им развивать и расширять свой бизнес. Некоторым из них удалось совершить революционный прорыв.
С AWS ваш стартап получит множество преимуществ. В этой статье мы расскажем, как можно использовать AWS, чтобы сократить издержки, быстро приступить к разработке и сосредоточить силы и время на развитии тех аспектов продукта или услуги, которые сделают ваш стартап успешным.
Что именно представляют собой облачные вычисления?
Облачные вычисления – это предоставление ИТ-ресурсов в сети Интернет по запросу с оплатой по факту использования. Это означает, что вместо покупки, обслуживания физических центров обработки данных или серверов и владения ими вы можете получать доступ к технологическим сервисам, таким как вычислительные мощности, хранилища и базы данных, через поставщиков облачных сервисов по мере необходимости.
Теперь, когда мы знаем, что такое облачные вычисления, давайте подробнее рассмотрим возможности AWS. AWS – это наиболее совершенная и широко используемая облачная платформа с самым широким набором сервисов в мире. Миллионы клиентов создают инфраструктуру и приложения на базе AWS. Стартапы и организации всех типов и размеров используют сервисы AWS, чтобы экспериментировать, быстрее внедрять инновации, снижать затраты и становиться более гибкими.
Поскольку мы берем на себя всю тяжелую работу, вы можете создавать и запускать приложения практически любого типа, включая социальные сети, приложения для умного города и геномных исследований, игры, потоковое видео, онлайн-банкинг и многое другое. Вы используете эти сервисы без предоплаты или долгосрочных обязательств.
Благодаря модели с оплатой по факту использования вы можете экспериментировать с различными технологиями, пока не найдете те, которые соответствуют вашим потребностям и сокращают время выхода на рынок. Таким образом, стартапы быстрее завершают разработку продукта и функций с минимальными затратами.
Сервисы AWS бывают разных типов и форм: от инфраструктурных технологий, таких как вычисления, хранилища и базы данных, до новейших технологий, таких как машинное обучение и искусственный интеллект, озера данных, аналитика, Интернет вещей и многое другое.
В некоторых сервисах вам предоставляется полный контроль, тогда как AWS управляет инфраструктурой и базовыми ресурсами. В других сервисах AWS полностью берет на себя ответственность за функционирование и безопасность, поэтому вам остается просто использовать их. Мы называем это моделью разделенной ответственности.
При использовании сервисов AWS вы решаете, какую тяжелую работу (если таковая имеется) вы хотите взять на себя.
AWS в действии: реляционная база данных для стартапа электронной коммерции
Допустим, вы работаете над стартапом в области электронной коммерции и вам нужно реляционное хранилище данных для вашего приложения. После экспериментов с различными реляционными базами данных вы выбираете MySQL.
Вы можете установить эту базу на такой сервис, как Amazon Elastic Compute Cloud (Amazon EC2), который по сути является безопасным виртуальным сервером с изменяемым размером. AWS управляет инфраструктурой вплоть до гипервизора. К сфере вашей ответственности относятся такие аспекты, как управление гостевой операционной системой, ядром MySQL или данными в БД.
Стартап электронной коммерции отвечает за обновления и исправления безопасности, масштабирование, резервное копирование, обработку отказов и многое другое. Как правило, эти задачи не имеют ничего общего с вашим основным бизнесом. Более удобным вариантом будет использование Amazon Relational Database Service (Amazon RDS). Сделав несколько щелчков мышью в Консоли управления AWS, вы получите работающую реляционную БД по вашему выбору и за очень короткое время. RDS представляет собой управляемый сервис. Это означает, что он берет на себя трудоемкие задачи администрирования базы данных, такие как подготовка, установка исправлений, резервное копирование, обнаружение сбоев и восстановление. Это позволит вам сосредоточиться на своем приложении, данных и бизнесе.
Как только вы создадите свой продукт, захотите выйти на мировые рынки и расширить охват, мировое присутствие AWS придется как нельзя кстати. Глобальная инфраструктура AWS состоит из зон доступности, регионов и периферийных местоположений.
Центры обработки данных AWS объединены с помощью частных и резервных оптоволоконных линий в так называемые зоны доступности. В пределах одного географического региона существует несколько зон доступности, например Орегон, Ирландия, Токио и т. д. Эти зоны доступности географически удалены друг от друга, в них проведены независимые коммуникации и имеются иные различия. Использование нескольких зон доступности позволяет легко проектировать масштабируемые, отказоустойчивые и высокодоступные рабочие нагрузки и управлять ими.
Важно отметить, что регионы в AWS работают независимо друг от друга, а это означает, что цены и наборы доступных сервисов в разных регионах могут отличаться. Мы рекомендуем осуществлять разработку в регионе, в котором задержка для конечных пользователей минимальна, а сервисы предлагаются по самой низкой цене. При этом необходимо соблюдать все законы о местонахождении данных, применимые к вашему бизнесу. Благодаря периферийным местоположениям AWS ваше мировое присутствие расширяется еще больше. Они позволяют кэшировать и обслуживать контент, запускать код, использовать сервисы безопасности, подключаться к магистрали сети AWS и даже выходить в космос из любой точки мира – ближе к вашим клиентам.
Все элементы этой огромной глобальной инфраструктуры связаны через океаны и континенты с помощью специальной частной сетевой инфраструктуры, обладающей малой задержкой и высокой доступностью. Сейчас мы прокладываем транстихоокеанский кабель протяженностью 14 тысяч километров, который соединит Новую Зеландию, Австралию, штаты Гавайи и Орегон.
Высочайшие стандарты конфиденциальности и безопасности данных
Наша инфраструктура и сервисы разработаны с учетом стандартов безопасности наиболее чувствительных к риску организаций, и мы предлагаем одинаковые функции всем клиентам.
Эксперты по безопасности, которые контролируют и защищают нашу инфраструктуру, также занимаются разработкой и поддержкой большого количества инновационных сервисов безопасности. Благодаря этим сервисам значительно проще соблюдать собственные требования к безопасности и требования нормативно-правовых документов.
Чтобы дать вам возможность поэкспериментировать, AWS предоставляет уровень бесплатного пользования для многих сервисов. Узнайте, какие ресурсы и как долго вы можете использовать в рамках уровня бесплатного пользования, и посмотрите, можно ли распределить рабочие нагрузки с учетом их максимального использования. Вы также можете претендовать на участие в нашей программе AWS Activate, в рамках которой бесплатно предоставляются кредиты, поддержка и обучение. Посетите страницу программы Activate, чтобы узнать критерии отбора и подать заявку.
Каждое путешествие начинается с первого шага. Теперь, когда вы познакомились с облачными вычислениями и базовыми понятиями AWS, такими как регионы, зоны доступности и сервисы, начинается самое интересное.
AWS: Хороший, плохой, злой
Здесь, в awe.sm, мы с самого начала использовали Amazon AWS для хостинга. За последние три года мы изучили, что хорошо, а что не очень и сформулировали для себя свой собственный набор правил для запуска высоко доступной, высоко производительной системы, которые в некоторых случаях отличаются от того, что советует Amazon.
EC2 это новый способ запуска ПО.
Первое и самое главное, что нужно знать о EC2 это то, что это не просто виртуальный хостинг. Лучше думать об этом, как о найме системного и сетевого администратора на частичную занятость. Вместо того, чтобы нанять высокооплачиваемого сотрудника, который выполнит полный объем работ и автоматизирует все для вас, вы платите немного больше за каждый сервер, но избавляетесь от целого ряда проблем. Электропитание, сетевая топология, стоимость аппаратного обеспечения, несовместимость оборудования разных производителей, сетевые хранилища данных — обо всех этих вещах приходилось думать в далеком 2004 году (или выбросить эту идею из головы). С AWS его конкурентами, количество которых быстро растет, у вас отпадает необходимость думать о подобных вещах, до тех пор пока вы не захотите чего-то большего.
Основное отличие и преимущество использования EC2 это гибкость. Мы можем запустить новый сервер быстро, очень быстро, это займет около 5-ти минут, с момента появления мысли «мне необходимо новое оборудование» до момента, когда вы можете зайти в систему в первый раз. Это дает нам возможность делать такие вещи, которые еще несколько лет назад казались невозможными, например:
EC2 является финансово выгодным для стартапов.
Самая очевидная экономическая выгода состоит в том, что мы в буквальном смысле можем стартовать с нулевыми затратами. Вы используете тот же Amazon аккаунт, который вы используете для покупки разнообразных не нужных вещей через Интернет, нажимаете кнопку и начинаете играть со своими серверами в течение часа. Вы платите только за те сервера, которые запущены и только за те дисковые накопители, которые используются, так, что стоимость старта для вас является минимальной. Это дает возмодность проводить эксперименты с оборудованием: запустить в 10 раз больше мощностей чем вам необходимо, запустить нагрузочные тесты и затем всё выключить, пока такие мощности нам действительно не понадобятся. Это не просто удобство, это революционный прорыв, на равне с другими преимуществами AWS, эта количественная особенность становится качественной.
Как я уже упоминал, AWS резко снижает операционные затраты. Вплоть до 2012 года, более двух лет с того момента как мы запустили нашу компанию у нас небыло выделенного системного администратор. Это было плохой тенденцией, мы должны были нанять хотя бы одного человека в 2011 году или раньше. Сейчас у нас работает только один системный администратор, который работает на полной занятости и управляет всей нашей инфраструктурой, состоящей из сотен серверов. Это довольно высокое отношение количества людей к количеству обслуживаемых машин. Усиливает эффект то, что у нас нет необходимости беспокоится о сети, электропитании и многом другом и как только вы привыкнете к такому, вы начинаете это недооценивать.
Конечно, это не просто хостинг, он стоит дороже обычного хостинга. Но Амазон старается убрать этот недостаток и периодически снижает цены: на 18% в октябре, на 10% в марте, и это только в этом году. Так же для экономии вы можете использовать запасные сервера, которые запускаются, при наличии свободных мощностей и стоят дешевле, вместо тех, которые запускаются по требованию. Так же при долгосрочном использовании вы можете платить заранее и пользоваться зарезервированными машинами, таким образом можно сохранить до 50%. Мы в awe.sm помешаны на надежности и используем избыточное количество оборудования, так что резервирование было большим выигрышем для нас.
EC2 имеет ряд проблем.
В этом месте хвалебное письмо заканчивается и настает время пересмотреть отношение к Amazon. Пока мы любим EC2 и не можем себе представить жизнь без него важно быть честным и понимать, что этот путь не безоблачный и не выложен лепестками роз. EC2 имеет серьезные ограничения по производительности и надежности, которых нужно остерегаться и которые нужно учитывать в своих планах.
В первую очередь это заявленная независиомсть инфраструктуры и её отказов пределах зоны доступности. Сервисы AWS расположены в нескольких локациях по всему миру, которые называются регионами доступности. Каждый регион состоит из нескольких зон доступности, которые в теории изолированы друг от друга, являются самостоятельным датацентрами, имеют самостоятельную сетевую инфраструктуру, электропитание и тому подобное. Есть несколько важных фактов, которые необходимо учесть при использовании регионов и зон доступности:
Будьте осторожны. Другие сервисы Amazon тоже могут использовать EBS.
Из-за того, что некоторые сервисы Amazon используют EBS, при проблемах на уровне EBS эти сервисы тоже недоступны. Это справедливо для балансировщика нагрузки ELB, сервиса баз данных RDS, сервиса облачных приложений Elastic Beanstalk и других.
Основываясь на нашем опыте, мы пришли к выводу, что при серьезных проблемах с Amazon, сервис EBS тоже почти всегда недоступен. Так что если EBS не работает, и вам нужно переключить балансировщик на другой регион, вы не сможете этого сделать, так как он завязан на EBS. Так же вы не сможете запустить новое оборудование, потому что консоль Amazon запущена на EBS. Так что мы любим EC2 и очень любим S3, но не используем никаких дополнительных сервисов.
Выгодной стороной нашего подхода является то, что мы легко можем переключиться на использование другого провайдера и не сильно привязываемся к AWS.
Уроки, которые мы извлекли.
Если бы мы стартовали awe.sm завтра, я бы использовал Amazon без лишних раздумий. Для стартапа с маленькой командой и с ограниченным бюджетом это то, что нужно, чтобы быстро стартовать. AWS на самом деле не предоставляет никакой угрозы, он не является чем-то страшным и плохим.
Такие IaaS провайдеры, как Joyent и Rackspace наступают на пятки Amazon: у нас есть хорошие друзья в обеих компаниях и мы собираемся сотрудничать с ними. Когда количество наших серверов вырастет с 100 до 1000, нам придется разнообразить нашу инфраструктуру этими провайдерами, а также такими, как Carpathia, которые используют AWS Direct Connect для предоставления услуг хостинга с низким временем доступа к AWS, что делает создание гибридных облачных инфраструктур более легким.
Я надеюсь, эта информация была полезна для вас.
Популярно об Amazon Web Services
Вступление
В этом докладе будут рассмотрены сервисы AWS, которые использует наша платформа и с которыми я знаком не по наслышке. Я работаю над проектом, который использует почти все возможные сервисы, а так же мы нацелены в ближайшем будущем охватить ещё больше возможностей, которые предоставляет нам Amazon.
Управление AWS осуществляется как с помощью веб интерфейса (AWS console), так и с помощью Command Line Tools. В консоли собраны все сервисы AWS, но функциональность настройки несколько обрезана. В командной строке же можно более гибко настроить тот или иной сервис, так же доступны закрытые в консоли функции.
Amazon Elastic Compute Cloud (EC2)
Описание
EC2 — это облачный сервис, предоставляющий виртуальные сервера (Amazon EC2 Instance), 2 вида хранилищ данных, а так же балансировщик нагрузки (Load Balancer).
Многие из вас знакомы с VPS — Virtual Private Server. Так вот, EC2 — это не что иное, как сервис, предоставляющий VPS в настоящем облаке, где сервер может легко мигрировать между нодами, а хранилище легко может быть расширено до почти безразмерного. Потому-то в названии и звучит слово Elastic — Эластичный.
Функциональность
EC2 позволяет запускать уже заранее сконфигурированные серверы с предустановленными ОС: Amazon Linux, Red Hat EL, Suse ES, Windows 2008, Oracle EL, Выбор операционных систем выглядит так:
Так же возможно создавать свои образы (AMI — Amazon Machine Image) и использовать любой Linux. Наша платформа использует Debian Squeez как основную систему, но, конечно же мы можем запустить и работать практически на любом дистрибутиве Linux, например CentOS или Ubuntu. Так же мы поддерживаем RHEL и Suse ES.
Есть возможность настроить защиту доступа к серверам. EC2 инстансы объединяются в группы безопасности (Security Groups) с возможностью ограничения доступа по портам с IP или подсетей.
Настройка групп безопасности выглядит следующим образом:
Балансировка нагрузки и автомасштабирование являются очень важными функциями EC2. Вы можете создать правила при которых станет возможно автоматически увеличить количество серверов, например, если один или несколько серверов не справляются с нагрузкой. Контроль за здоровьем серверов ведёт ещё один сервис AWS — Amazon Cloud Watch. С помощью этого сервиса можно создавать разного рода проверки — checks — с помощью которых контролируются важнейшие показатели работы ОС.
Добавление почти бесконечного количества дисков с почти бесконечным объёмом хранения. EBS (Elastic Block Storage) — это один из типов хранилища в EC2. Особенность его такова, что диски, создаваемые по этой технологии не зависимы от VPS-ноды и расположены на специальных Storage серверах, в отличии от Instance хранилищ, которые расположены непосредственно на серверах виртуализации.
Используя EBS, к запущенным серверам можно “наживую” добавлять диски любого размера.
Создание диска:
Elastic IP адреса дают возможность быстро менять адрес сервера, например для того, чтоб избежать DNS propagation — времени обновления DNS зоны по всему миру.
Создание мгновенных образов (Snapshot) позволяет создать слепок диска и использовать его в качестве исходника для AMI (Amazon Machine Image), а так же для простой резервной копии ОС.
Типы серверов
Серверы EC2 можно описать следующей таблицей:
* EC2 compute unit — единица измерения производительности процессоров, сопоставимая c производительностью 1.0-1.2 ГГц процессоров Opteron или Xeon.
Биллинг
1,5 раза дешевле. Резервации удобно использовать, если EC2 используется на постоянной основе — экономия на лицо.
Amazon Simple Storage (S3)
Тезисы
Интерфейсы
S3 может управляться с помощью вот такой консоли:
Так же есть официальные и неофициальные инструменты командной строки. Существует огромное количество библиотек для всяческих языков программирования для соединения приложений с S3.
Биллинг
S3 оплачивается помесячно за объём хранимых данных, за запросы и за исходящий траффик. Так же существует Free Tier — 5Гб места, 20.000 запросов скачки, 2.000 запросов закачки и 15 гигабайт трафика в месяц бесплатно.
Amazon Relational Database Service (RDS)
Описание
Выбор выглядит так:
Дисковое пространство RDS инстанса так же заказывается клиентом. Минимальный размер стораджа — 5 Гб.
Существует возможность гибко настроить доступ к серверу БД с помощью групп безопасности. Доступ возможно дать отдельным адресам/подсетям или же группам безопасности EC2 и всем серверам, которые в неё входят. Это полезно, например при автомасштабировании, когда все экземпляры приложения поднимаются в одной группе и имеют доступ к серверу БД.
Так же можно настроить репликацию между серверами баз данных через консоль или утилиты командной строки.
RDS поддерживает мгновенные слепки (Snapshot) и автобекап, давая возможность быстро и качественно восстановить данные.
Если же случаются проблемы с аппаратным обеспечением, RDS автоматически перенесёт ваш хост на здоровую ноду.
При выходе обновлений, СУБД могут быть автоматически пропатчены и перезагружены. Клиенты уведомляются заблаговременно.
Стоит заметить, что root доступа к СУБД нет. Возможности хранения встроенных процедур и тонкие настройки осуществляются через API и утилиты командной строки.
Все RDS инстансы работают на 64 битной платформе.
Типы RDS инстансов
Биллинг
Как и EC2, оплата RDS проводится за каждый час использования рабочего инстанса, его стораджа, отдельная плата берётся за хранение бекапов и снапшотов. Так же считается количество I/O операций.
Так же существуют Резервации (Reservation) — оплата сразу суммы за 3-4 месяца, после чего на год или 3 года почасовая ставка за работу инстанса значительно снижается. В среднем в полтора раза.
Route 53
Описание
Route53 — это облачный DNS сервис от Amazon. Практически самый обычный сервис имён, отличающийся высокой производительностью и ценой. Это на самом деле дешёвый сервис. Имея немаленькие зоны с мелкими TTL? мы лишь не на много выходим за Free Tier — бесплатный лимит использования и платим сущие гроши за ДНС.
Одной из отличительных возможностей Route53 является его интеграция с другими сервисами AWS, такими как EC2 и балансировщиком нагрузки, S3, CloudFront.
Балансировщик нагрузки не имеет статического адреса, но имеет публичое DNS имя. Используя сторонние сервисы, нам бы приходилось использовать CNAME записи, чтоб ссылаться на это имя, но в Route53 имеется специальный тип записей — ALIAS на балансировщик нагрузки. Это позволяет без пропагаций использовать полную функциональность балансировщика.
Так же инетересно, что можно воспользоваться WRR (Weighted Round Robin) записями, которые позволяют делать балансировку нагрузки на уровне DNS.
Управление Route53 осуществляется через консоль или через инструменты командной строки. Так же существуют несколько сторонних сервисов, которые, скажем, более наглядно, чем консоль, показывают состояние зон и дают более удобную настройку. Конда в консоли не было возмоности управлять Route53, сервисы третьих лиц пользовались большой популярностью, я например часто использовал https://interstate53.com для этих целей.
Биллинг
Оплата производится за запросы, которые считаются миллионами штук.
Simple Queue Service (SQS)
Описание
SQS — сервис для построения очередей событий. Требуется такая очередь, например, когда разделены приложения создания имейла и его посылка. Тогда создаётся элемент очереди c телом письма, хедерами и т.п, а приложение отправляющее почту считывает элементы из очереди и рассылает их.
Мы используем очереди SQS для создания и отправки Push сообщений Apple, WP7 и Android. А так же для отправки электронной почты.
Лимитов по количеству очередей и по количеству элементов в очередях Amazon не предоставляет.
Биллинг
В счёт выставляется количество элементов очередей, вышедшее за Free Tier. На данный момент это 100.000. Платится за каждые 10.000 элементов. Так же взимаются средства за трафик, который сгенерировал сервис за месяц.
Simple Email Service (SES)
Описание
SES используется для отправки почты, а точнее рассылок. Высокая репутация IP адресов, высокая производительность серверов, позволяющая слать десятки-сотни тысяч писем в день даёт возможность осуществлять рассылку сообщений от малого до огромного корпоративного размера предприятия.
Особенностью можно считать автоматическое увеличение лимита писем посланных в сутки. С 10 тысяч до миллиона лимит поднимается атоматически в зависимости от ваших нужд посылки. Так же увеличивается лимит количества писем, посланных в секунду. В начале “прокачки” аккаунта этот лимит стоит на 5 штуках в секунду.
Функционал
SES позволяет слать письма через API — непосредственно из приложения. Существуют десятки библиотек, плагинов дающих возможность слать письма обходя SMTP методы. Для тех приложений, которые не могут быть интегрированы с SES через API — существует опция включения SMTP сервера с авторизацией по связке логин-пароль.
Биллинг
Оплачивается в SES за каждые 10.000 посланных писем в месяц. Так же плата взимается за трафик, который генерируется при отправке писем.
Amazon Cloud Watch
Описание
Cloud Watch используется для мониторинга здоровья/состояния преимущественно всех сервисов AWS, включая стандартный мониторинг здоровья серверов, доступность тех или иных портов, сторадж, работу СУБД, место на S3 и очень много всяких других чеков.
В Cloud Watch существует 3 типа состояний — OK, ALARM и UNSUFFICIENT DATA. Названия говорят сами за себя: чек в состоянии ОК, в состоянии ошибки или тревоги, а так же в неизвестном состоянии. На все состояния можно настроить триггеры, которые будут срабатывать во время изменения счётчика в это состояние.
Автомасштабирование, например, построено на показателях счётчиков CloudWatch. По политикам CloudWatch могут сработать триггеры, которые запускают новые копии серверов для увеличения мощности приложения, и так же при снижении нагрузки потушить ненужные серверы.
Выглядит консоль управления Cloud Watch следующим образом.
Консоль предоставляет почти весь функционал настройки Cloud Watch, но всё же через утилиты командной строки настройка может быть проведена гораздо быстрее и точнее, чем через веб интерфейс.
Биллинг
В оплаты сервиса Cloud Watch входят количество чеков, выходящее за Free Tier. Элементарный мониторинг в этом лимите настроить вполне можно.
AWS Identity and Access Management (IAM)
Описание
Сервис IAM позволяет контролировать права доступа ко всем остальным сервисам AWS. Имея штат сотрудников по всем правилам нужно разграничить доступ администраторов, разработчиков, тестирощиков и так далее. В пределах одно аккаунта могут быть создано до 80 учётных записей пользователей, объединённых в группы, к которым в свою очередь применяются политики безопасности.
Правила для ограничения доступа для сервисов AWS генерируются в JSON формате, вида:
На примере участникам группы полностью открыт сервис SES и позволены все действия, связанные с SES.
IAM так же легко использовать для передачи прав на короткое время третьим лицам, например фрилансерам для настройки сервисов. Ключи, сертификаты и пароли легко быстро отозвать, тем самым прекратив доступ к AWS.
Биллинг
Использование IAM абсолютно бесплатно. Плата взимается только за ресурсы, потребляемые пользователями.