Дата сайнс что за профессия
Кто такой Data Scientist?
Дата-сайентист (он же Data Scientist, специалист по Data Science) может найти себе работу в любой сфере: от розничной торговли до астрофизики. Потому что именно он — настоящий повелитель больших данных. Вместе с автором кейсов для курса по Data Science Глебом Синяковым разбираемся, почему в современном мире всем так нужны дата-сайентисты.
Чем занимается Data Scientist?
Data Scientist применяет методы науки о данных (Data Science) для обработки больших объемов информации. Он строит и тестирует математические модели поведения данных. Это помогает найти в них закономерности или спрогнозировать будущие значения. Например, по данным о спросе на товары в прошлом, дата-сайентист поможет компании спрогнозировать продажи в следующем году. Модели строят с помощью алгоритмов машинного обучения, а с базами данных работают через SQL.
Где нужен и какие задачи решает Data Scientist?
Дата-сайентисты работают везде, где есть большие объемы информации: чаще всего это крупный бизнес, стартапы и научные организации. Поскольку методы работы с данными универсальны, специалистам открыты любые сферы: от розничной торговли и банков до метеорологии и химии. В науке они помогают совершать важные открытия: проводят сложные исследования, например, строят и обучают нейронные сети для молекулярной биологии, изучают гамма-излучения или анализируют ДНК.
В крупных компаниях дата-сайентист — это человек, который нужен всем отделам:
В стартапах они помогают разрабатывать технологии, которые выводят продукт на новый уровень: TikTok использует машинное обучение, чтобы рекомендовать контент, а MSQRD, который купил Facebook, — технологии по распознаванию лица и искусственный интеллект.
Пример задачи:
Если дата-сайентисту нужно спрогнозировать спрос на новую коллекцию кроссовок, то он:
Что ему нужно знать?
Дата-сайентист должен хорошо знать математику: линейную алгебру, теорию вероятности, статистику, математический анализ. Математические модели позволяют найти в данных закономерности и прогнозировать их значения в будущем. А чтобы применять эти модели на практике, нужно программировать на Python, уметь работать с SQL и библиотеками (набор готовых функций, объектов и подпрограмм) и фреймворками (ПО, объединяющее готовые компоненты большого программного проекта) для машинного обучения (например, NumPy и Scikit-learn). Для более сложных задач дата-сайентистам нужен язык С или C++.
Результаты анализа данных нужно уметь визуализировать, например, с помощью библиотек Seaborn, Plotly или Matplotlib.
Обзор профессии Data Scientist
Data Scientist — это эксперт по аналитическим данным, который обладает техническими навыками для решения сложных задач, а также любопытством, которое помогает эти задачи ставить. Они частично математики, частично компьютерные ученые и частично трендспоттеры.
Данные PayScale
В России цифра составляет от 60-70 тысяч рублей в месяц для совсем «зеленых» новичков и доходит до 220 для опытных специалистов.
Как сказал DJ Patil, бывший главный научный сотрудник отдела научно-технической политики Соединенных Штатов, — «Data scientist — это специалист с уникальным сплавом навыков, который делает удивительные находки и воплощает фантастические истории — и все это благодаря данным».
Чем на самом деле занимаются специалисты по Big Data? Они постоянно сталкиваются с ограничениями — техническими, методологическими и любыми иными — и находят пути для новых решений. Совершают открытия, анализируя и прогнозируя. В Data Science есть место и творчеству: специалисты изобретают элегантные решения сложных задач, а также качественно визуализируют информацию, делать шаблоны понятными и убедительными.
Пример из жизни Data Scientist: «Джонатант Голдман, физик из Стэнфорда, устроился на работу в социальную сеть LinkedIn, и начал заниматься чем-то, что нельзя было измерить в KPI или посмотреть на конечный результат: сайт, исправление бага, внедрение фичи. Пока команда разработчиков ломала голову над тем, как модернизировать сайт и справиться с наплывом посетителей, Голдман строил прогностическую модель, которая подсказывала владельцу аккаунта LinkedIn, кто еще из пользователей сайта может оказаться его знакомым. Убедив руководство компании опробовать его новую модель, Голдман приносит соцсети миллионы новых просмотров и значительно ускоряет ее рост».
Нет определенного описания этой профессии — все зависит от сферы применения навыков работы с данными. Однако, есть вещи, которыми занимается любой Data Scientist:
Итак, вы уже поняли, что Data Scientist — человек, умеющий не только добывать и анализировать, но и обрабатывать большие массивы данных, совершая поистине волшебство с помощью множества инструментов. Если вы хотите заняться Data Science по-настоящему, то заготовьте не просто Excel, но и знания по Python, учебник по математическому анализу, и готовьтесь учиться.
Ну, и в конце мы просто хотели вас порадовать. Вот полезные ссылки. Первая — с 51 бесплатной книгой, связанной с Data Science. А вот крупнейшее Data Science сообщество. Еще есть отличный учебник Петера Флаха «Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных», переведенный на русский язык.
Честно о профессии дата сайентиста: 6 фактов, которые нужно иметь в виду
Вокруг любой профессии тонна стереотипов. А вокруг тех, что мы плохо понимаем, их еще больше. Если вас привлекает Data Science и перспектива оказаться в IT-элите, читайте про шесть страхов, которые вполне могут оправдаться, и решайте, сможете ли вы стать дата сайентистом.
Для учебы на дата сайентиста нужна хотя бы базовая математика, а потом постоянно придется работать с числами
Вердикт: почти правда
Дата сайентисты работают с массивами данных на языке программирования Python. Да, математика потребуется уже на старте работы с кодом. Вот только вовсе не в виде сложных уравнений, над которыми придется корпеть часами. Но вы будете работать с числами и данными — это факт.
Хорошая новость: есть курсы, которые готовят дата сайентистов с нуля. В программу включают все, что потребуется специалисту. Но будьте готовы и сами подтягивать знания: придется много практиковаться, искать решения для нетипичных задач и учить.
Работа нудная, и надо быть очень внимательным
Вердикт: не совсем правда
Насколько работа дата сайентиста интересна, зависит от ваших предпочтений. Люди обычно называют нудной ту работу, в которой не видят смысла или делают на автомате, настолько она однообразная. Data Science — это не просто данные. У каждого столбца есть свой смысл, а в числах — закономерности. Погружаясь в задачу, вы будете это видеть и перестанете воспринимать цифры как просто цифры.
Дата сайентисты анализируют результат, задают вопросы: откуда этот пик, почему здесь именно такое число, правдивы ли эти значения и так далее. В этой работе не получится просто перетащить данные из одного файла в другой, запустить код и ждать результатов. Нужно будет погружаться в ситуацию и вовлекаться в нее на всех уровнях.
Нужен опыт, без него на работу не берут
Ни одна успешная компания не захочет брать в команду кота в мешке. Поэтому при трудоустройстве дата сайентистов часто просят показать портфолио и выполнить тестовое. И иногда этого бывает достаточно. Для некоторых работодателей стаж не настолько важен, как умение кандидата применять знания на практике.
Набраться опыта можно уже в процессе обучения. Конечно, это будет не запись в трудовой с должностью дата сайентиста и стажем. Но разностороннее портфолио и верно выполненное тестовое задание способны выделить вас среди кандидатов даже с опытом реальной работы в резюме.
Выбирайте курсы, основанные на практике. На полном курсе по Data Science в SkillFactory программа как раз нацелена на практические умения и наполнение портфолио. Помимо этого карьерный центр онлайн-школы помогает с составлением резюме и подготовкой к собеседованиям.
Придется учить английский
Вердикт: не совсем правда
Да, Python и библиотеки используют английский, а в работе дата сайентиста масса англицизмов, но учить английский для их понимания не нужно. Основные знания для работы вам дадут на курсах и все объяснят. А для частных случаев достаточно банального переводчика или запроса в поисковике.
С другой стороны, свежие решения и данные часто появляются в иностранных источниках. Если в ваших планах постоянное развитие и работа в лидирующей интернациональной команде мирового уровня, английский учить придется. Так что все зависит от ваших амбиций.
В моем городе таких специалистов не ищут
Вердикт: правда, если вы из региона
Профессия дата сайентиста востребована, хоть и появилась недавно. Но да, большинство вакансий сосредоточены в Москве и Санкт-Петербурге. На hh.ru сейчас примерно 560 вакансий по запросу Data Scientist. При этом больше 300 из них приходятся на столицу, еще сотня — на Питер, немногим больше 20 — на Новосибирскую область, а дальше числа стремительно уменьшаются. Но переезжать не обязательно. Можно работать на удаленке.
Мало быть дата сайентистом, надо шарить и в других сферах
Все так. Помимо Data Science придется разбираться в особенностях сферы, в которую придете: будь то лесопереработка или социальные сети. Чтобы эффективно работать, нужно понимать, как работают процессы в компании и на какие факты можно опираться. Важно понимать, зачем нужно это погружение и что оно даст. И если у вас это понимание есть, необходимость разбираться в чем-то будет скорее осознанной целью и желанием.
Как видите, мы не развенчали страхи и не опровергли стереотипы. Многие мнения о работе дата сайентистов оправданы, но часто сводятся к личным предпочтениям и амбициям. Хотите ли вы работать только в России или нацелены на зарубежный рынок; готовы ли учиться и практиковаться; нужна ли вам работа, в которую придется глубоко погружаться.
Если, несмотря ни на что, вас привлекает Data Science и вы хотите работать в этом перспективном направлении, не тяните. Записывайтесь на полный курс по Data Science в SkillFactory и начинайте свой путь к работе мечты. Программа подходит как для новичков, так и для специалистов в области программирования, аналитики и маркетинга. Особых знаний и подготовки не требуется. Всему, что понадобится для работы, научат на курсе.
А по промокоду ПИКАБУ действует скидка 50% до 25 апреля. Успевайте на новый поток.
Skoda запретила своим автосалонам в РФ навязывать «допы» покупателям
Компания разослала своим дилерским центрам в России служебное письмо, в котором предупредила об ответственности за навязывание платных аксессуаров клиентам.
В сообщении говорится, что автосалоны не должны превышать рекомендованные розничные цены, поскольку это негативно сказывается на лояльности покупателей. Кроме того, дополнительное оборудование не должно становиться условием для приобретения машины клиентом, поскольку это нарушает ч. 2 ст. 16 Закона РФ «О защите прав потребителей». В случае невыполнения указанных в письме предписаний марка оставляет за собой право отказаться от сотрудничества с дилерским центром в одностороннем порядке.
Сервис на уровне
Министр курортов и туризма Крыма опешил от отеля, которому присудили три звезды. Он лично разместил фотографии.
ДТП в Красноярске
Видео взято с городского публика ЧП Красноярск. Такое шикарное видео должны увидеть все!
Почему на нашем телевидении разрешено рекламировать кредиты в 5,9% годовых, которые являются откровенным враньем?
Давайте в качестве реального примера рассмотрим историю, (как бы) произошедшую с… с вами, если бы вы, насмотревшись по телеку на сытого Гармаша, решились соблазниться на рекламируемый артистом кредит под 5,9% в том самом Почта Банке. Итак, вы созрели попробовать и оформили заявку на сайте. Вскоре пришло СМС, что кредит предодобрен. Минут через 30 вам позвонили и попросили приехать. На вопрос о процентной ставке ответили, что конкретную ставку могут сказать только в офисе, после отправки запроса. Приехали вы (россиянин или россиянка, страждущие дешевого кредита), в офис Почта Банка, вам оформили заявку и попросили подождать одобрения минут пятнадцать. Вскоре пришло одобрение под 9,9% (уже не 5,9%, но это только начало).
Вы выбрали кредит с финансовой защитой (без нее процентная ставка возрастает на 7%), ее включили в тело кредита и поэтому при первоначальном вашем желании взять в кредит 250000 рублей, в теле кредита оказалось уже 395 000! Вот так… 145 000 рублей – это страховка! Сразу, с насчитанными на нее процентами. Ладно, допустим, вы понимали, что все пойдет не так гладко, как обещал Гармаш, допустим, что вы были готовы взять кредит со ставкой до 10%, пусть так… потянет.
Вы заранее прикинули, что ориентировочный ежемесячный платеж на кредит в 250000 рублей должен быть (даже при 10%) около 5500 рублей. Но такой цифры в плане погашения вы не увидите. Там будет стоять где-то 8400 (плюс минус). Такой ежемесячный платеж можно получить, если взять 250 000 рублей на 5 лет под процентную ставку 32%. Как вам такая арифметика? Будут ещё и «бонусы». При запросе кредита вы подписали соглашение об электронной подписи и электронном информировании, так что (помимо кредита) возможны сюрпризы в виде дополнительных платных услуг.
Истина одна – ни в одном российском банке невозможно взять кредит со ставкой в 5,9% годовых. Это и дураку понятно, не понятно другое – почему на нашем телевидении открыто разрешено рекламировать кредитные условия, которые являются откровенным и бессовестным враньем?
Как устроена жизнь на Севере?
Творчество
После того как талибы запретили женщин на телевидении.
Прошу не считать данный пост оскорбляющим чье либо мнение и взгляды.
Банальный вопрос на логику.
Обида на всю жизнь)))
3 главных Data-профессии: обзор компетенций и зарплат
Data Science выходит в массы. Настолько, что пора напомнить основы, почти что на пальцах. Скоро вполне может появиться множество вакансий c Data Science в заголовке, явно заниженной зарплатой и требованиями к начинающему аналитику, поэтому давайте внесём ясность.
Если вы слышите о Data Science из каждого мегафона и утюга — и окончательно запутались, гуглите «Data Science в Excel», или всё понимаете и хотите объяснить науку о данных кому-то простыми словами, эта статья тоже для вас. А для продвинутых и знающих людей у нас есть другие материалы о практической стороне вопроса.
Данные в отдельно взятой компании
Знакомьтесь, стартап English 123:
Бизнес стартапа — личные и групповые уроки английского, разговорные клубы. Все данные клиентов хранятся в CRM. Но «аналитика» сводится к просмотру статистики покупок. Решения принимаются интуитивно. Директор считает, что знает свою аудиторию, но рекламные кампании иногда проваливаются с треском.
Однажды провалилась реклама, которая поначалу нравилась всему руководству. В неё вложили ощутимый бюджет, и руководитель схватился за голову: куча денег ушла в никуда. Почему — непонятно. Чтобы разобраться в этом, компания нашла аналитика.
Главная задача аналитика данных — превратить цифры и графики в понятные выводы, чтобы руководитель мог принимать решения. Также он строит предположения и проверяет гипотезы на реальных данных. А ещё аналитик много общается — не меньше, чем работает за компьютером.
Вот что аналитик сделал для школы:
Классифицировал данные из CRM, Яндекс.Метрики, Google Analytics и других информационных систем.
Визуализировал данные и подал их ясным языком, составив портрет целевой аудитории.
Проанализировал результаты событий, интеграций, рекламных кампаний и другой деятельности стартапа.
Опираясь на статистику, рассказал руководству, какие решения были ошибочными.
Предложил, как уменьшить отказы от заказов в сети.
Участвовал в редизайне сайта и калибровке рекламных кампаний по всем каналам. Запускал A/B-тесты, которые показывали реакцию пользователей на какое-то изменение.
Выяснилось, что серия последних интуитивных решений приводила к бесполезным результатам, а школа выживала на рынке благодаря почти случайным удачам. Аналитик прокачал стартап по всем фронтам. Давайте посмотрим, что нужно уметь, чтобы стать аналитиком.
Нужно в совершенстве владеть законами логики и мыслить критически. А ещё уметь и любить общаться с самыми разными людьми. Аналитик — посредник между таблицами цифр и руководителем. Главное в его работе — грамотно показать данные и представить выводы так, чтобы их поняли правильно и однозначно.
Специальность аналитика мы рекомендуем перфекционистам и экстравертам, которые умеют и любят презентовать свою работу другим людям. Она идеально подходит тем, кто стремится всё делать аккуратно и красиво.
Руководитель отдела аналитики в SkillFactory Артём Боровой рассказывает, что аналитика — творческая работа: трудно выделить единый подход к задачам. Каждая требует нового порядка действий, а значит, новых поисков решений.
Если вы решились стать аналитиком, нужно освоить следующие хард-скиллы:
Статистику, матанализ, теорию вероятностей.
Инструменты визуализации: Tableau, Power BI и другие.
Что вы получите за эту работу?
Зарплата
Мы проанализировали больше 100 вакансий на hh.ru — и вот что увидели:
Junior зарабатывает 60 000–70 000 рублей.
Middle — от 70 000 до 140 000 рублей. Здесь аналитики уже делятся на продуктовых, маркетинговых и бизнес-аналитиков, оплата труда зависит от сложности задач.
Senior и Teamlead в Москве: 140 000–190 000. Чуть меньше сумма в регионах — до 160 000.
При этом аналитик с хорошим бэкграундом часто уходит в Data Engineer и Data Science — там платят намного больше, поэтому чистых Senior Analyst мало.
Стать Data Analyst за 10 месяцев вы сможете на наших курсах. А здесь можно прочитать, как финансист Виктор Коваценко стал Data Scientist и уехал в Германию
Расширение и Data Engineer
Тем временем метрики English 123 опровергли устоявшийся портрет клиента, а недочёты работы в сети компания устранила A/B-тестами. Продажи выросли — расширилась и команда аналитиков.
Спустя 2 года анализ данных стал отнимать в несколько раз больше сил и времени, чем в начале работы команды аналитиков. Почему? Причины простые. Записи CRM дублировались, не было единой системы хранения и обработки данных. Узнав о проблемах, компания нашла человека, который доводит сырые данные до ума, — Data Engineer.
Инженер данных налаживает инфраструктуру и каналы данных от их получения до хранения, организует конвеер данных. Вот что Data Engineer сделал для стартапа:
Очистил данные от повторов, пробелов и прочих ошибок; удобно разделил информацию в таблицах по её смыслу.
Привёл существующие базы к единому виду.
Продумал и реализовал систему автоматического мониторинга и получения данных, а ещё системы их обработки и хранения.
Data Engineer освободил руки аналитиков — и они ускорили развитие компании. Информации стало ещё больше, но благодаря налаженной инфраструктуре аналитические модели работали эффективно.
Чтобы делать свою работу хорошо, Data Engineer должен обладать большим терпением. Работать нужно с цифрами, алгоритмами и кодом в полном беспорядке. Что вчера было чёткой системой, сегодня окажется хаосом — в крупных компаниях так случается часто. Хватает и рутинной работы вроде SQL-запросов.
Нужно видеть всю картину: представлять, как превратить массив данных в удобную и эффективную систему, как с данными будут работать аналитики. Необходимо понимать информационные процессы, то есть проштудировать все нюансы бизнеса.
Инженер данных гораздо ближе к разработчику, чем к аналитику. В небольших компаниях ему необязательно общаться с кем-то, кроме аналитиков. Профессия отлично подойдёт педанту с системным мышлением. Проверьте себя — если в вашем шкафу все вещи разложены по типу и цвету, то лучшей специальности вам просто не найти. Приглашаем вас на курс по Data Engineering.
В работе инженеру данных нужны:
Математика. На уровне выпускника технического вуза нужно знать матанализ, теорию вероятностей и статистику.
Python или R, SQL. Большой плюс — языки Java или Scala.
Hadoop, Kafka, Spark — инструменты работы с по-настоящему большими данными.
MS Azure, Amazon Web Services.
Зарплата Data Engineer
По данным hh.ru, инженер данных неплохо зарабатывает даже в рамках IT-сферы.
Junior может рассчитывать на 70 000–80 000 рублей; в Москве довольно много вакансий с минимальной зарплатой в 100 000.
Middle в среднем зарабатывает от 100 000 до 180 000 рублей. Есть ставки выше, но на таких вакансиях обычно нужны специфические знания или опыт использования не слишком популярных технологий.
Senior московская компания Playkot предлагает до 370 000 рублей. Хорошие инженеры данных очень ценятся, бизнес ими дорожит.
Стать Data Engineer вам поможет наш курс, который займёт 10 недель.
Продолжим историю
Усилиями команды компания выросла в несколько раз, появилось много продуктов: приложение для изучения лексики и отдельные программы подготовки к международным экзаменам. Бизнес вошёл в десятку крупнейших в стране.
Штат аналитиков уже не справлялся. Последней каплей стал провал социальной сети для изучения английского языка, в которую вложили полмиллиона долларов. Традиционный анализ показывал, что проект будет успешным, его оттачивали разными тестами. Но он не взлетел. В чём причина?
Массив данных English 123 превратился в Big Data, а бизнес как будто начинался снова: многое зависело от стечения обстоятельств. Необходим был человек, который поймёт, что творится, и расскажет, что делать. Так в компанию пригласили Data Scientist.
Опираясь на проверенные и новейшие исследования в ИИ, Data Scientist строит нейросети и модели ML. Вначале они могут быть непонятны, но модели работают, решают реальные проблемы. Главное в работе DS — все свои идеи он должен объяснить бизнесу и обосновать их пользу. Вот почему такой специалист стоит очень дорого.
Data Scientist — идеальная работа для новаторов. Работа в науке о данных — это постоянный поиск идей и нестандартных решений. Если вы искали профессию, где слиты воедино творчество и математика, то вы её нашли.
Благодаря Data Scientist высшие руководители отвечают только за долгосрочное планирование, а практические задачи предоставлены менеджерам и аналитикам.
SkillFactory — прежде всего школа Data Science, чтобы быть конкретными, кратко перечислим темы проектов наших студентов:
Система рекомендаций интернет-магазина; Instagram-бот коммерческого аккаунта для поиска, оценки и взаимодействия с лидерами мнений.
Автоматическое составление резюме текста; алгоритм оценки тона сообщений GPT-3 на заданную тему.
Извлечение промокодов из контента соцсетей; робот-предсказатель; прогнозирование задержек авиарейсов; анализ видео из беспилотных автомобилей.
Модель прогнозирования нетарифных барьеров в торговле молочной продукцией и расширение её ассортимента до 6 видов товаров животного и растительного происхождения.
Вот что нужно знать Data Scientist
Понимать математические выкладки — да, но этого мало. Нужно представлять себе, где они выстрелят. Владеть Machine Learning и Deep Learning: линейной и логистической регрессиями, деревьями решений, методами опорных векторов и т. д.
Python и его библиотеки: TensorFlow, Keras, PyTorch, LightGBM, NumPy, SciPy, Pandas, sklearn. Владение C или C++ будет большим преимуществом.
SQL работает большинство проектов. Базы NoSQL нужны реже.
Tableau, Power BI, другие инструменты визуализации Seaborn, Plotly или Matplotlib.
Один из самых важных моментов — что получит специалист за такой труд.
Зарплата Data Science
Посмотрим на последние данные hh.ru за последний месяц:
От 100 000 рублей до 140 000 в месяц может зарабатывать Junior. Но Junior в Data Science очень мало. Почему? Смотрите выше: в DS переходят спецы уже с бэкграундом в разработке или аналитике данных.
До 215 000 рублей — зарплата крепкого Middle.
Senior и Lead Data Scientist могут зарабатывать от 300 000 до 500 000. На вес золота.
Освоить профессию Data Science вы можете на наших курсах за 24 месяца. А вот полная картина востребованности последних лет, по данным Open Data Science:
Наука о данных растёт просто невообразимыми темпами. Количество вакансий по главным специальностям за год увеличилось в 2,2 раза. При этом, по словам Data Scientist в VK Михаила Воловича, требования к DS пока размыты. Но именно эта пластичность даёт разные точки роста разным людям.
Поэтому если вы хотели начать карьеру в IT или перейти в сферу данных из разработки и тестирования, то сделайте это прямо сейчас.
Также вы можете перейти на страницы из каталога, чтобы узнать, как мы готовим специалистов в других направлениях.
Другие профессии и курсы
Data Science и Machine Learning