Дата сайентист чем занимается
Обзор профессии Data Scientist
Data Scientist — это эксперт по аналитическим данным, который обладает техническими навыками для решения сложных задач, а также любопытством, которое помогает эти задачи ставить. Они частично математики, частично компьютерные ученые и частично трендспоттеры.
Данные PayScale
В России цифра составляет от 60-70 тысяч рублей в месяц для совсем «зеленых» новичков и доходит до 220 для опытных специалистов.
Как сказал DJ Patil, бывший главный научный сотрудник отдела научно-технической политики Соединенных Штатов, — «Data scientist — это специалист с уникальным сплавом навыков, который делает удивительные находки и воплощает фантастические истории — и все это благодаря данным».
Чем на самом деле занимаются специалисты по Big Data? Они постоянно сталкиваются с ограничениями — техническими, методологическими и любыми иными — и находят пути для новых решений. Совершают открытия, анализируя и прогнозируя. В Data Science есть место и творчеству: специалисты изобретают элегантные решения сложных задач, а также качественно визуализируют информацию, делать шаблоны понятными и убедительными.
Пример из жизни Data Scientist: «Джонатант Голдман, физик из Стэнфорда, устроился на работу в социальную сеть LinkedIn, и начал заниматься чем-то, что нельзя было измерить в KPI или посмотреть на конечный результат: сайт, исправление бага, внедрение фичи. Пока команда разработчиков ломала голову над тем, как модернизировать сайт и справиться с наплывом посетителей, Голдман строил прогностическую модель, которая подсказывала владельцу аккаунта LinkedIn, кто еще из пользователей сайта может оказаться его знакомым. Убедив руководство компании опробовать его новую модель, Голдман приносит соцсети миллионы новых просмотров и значительно ускоряет ее рост».
Нет определенного описания этой профессии — все зависит от сферы применения навыков работы с данными. Однако, есть вещи, которыми занимается любой Data Scientist:
Итак, вы уже поняли, что Data Scientist — человек, умеющий не только добывать и анализировать, но и обрабатывать большие массивы данных, совершая поистине волшебство с помощью множества инструментов. Если вы хотите заняться Data Science по-настоящему, то заготовьте не просто Excel, но и знания по Python, учебник по математическому анализу, и готовьтесь учиться.
Ну, и в конце мы просто хотели вас порадовать. Вот полезные ссылки. Первая — с 51 бесплатной книгой, связанной с Data Science. А вот крупнейшее Data Science сообщество. Еще есть отличный учебник Петера Флаха «Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных», переведенный на русский язык.
Кто такой Data Scientist?
Дата-сайентист (он же Data Scientist, специалист по Data Science) может найти себе работу в любой сфере: от розничной торговли до астрофизики. Потому что именно он — настоящий повелитель больших данных. Вместе с автором кейсов для курса по Data Science Глебом Синяковым разбираемся, почему в современном мире всем так нужны дата-сайентисты.
Чем занимается Data Scientist?
Data Scientist применяет методы науки о данных (Data Science) для обработки больших объемов информации. Он строит и тестирует математические модели поведения данных. Это помогает найти в них закономерности или спрогнозировать будущие значения. Например, по данным о спросе на товары в прошлом, дата-сайентист поможет компании спрогнозировать продажи в следующем году. Модели строят с помощью алгоритмов машинного обучения, а с базами данных работают через SQL.
Где нужен и какие задачи решает Data Scientist?
Дата-сайентисты работают везде, где есть большие объемы информации: чаще всего это крупный бизнес, стартапы и научные организации. Поскольку методы работы с данными универсальны, специалистам открыты любые сферы: от розничной торговли и банков до метеорологии и химии. В науке они помогают совершать важные открытия: проводят сложные исследования, например, строят и обучают нейронные сети для молекулярной биологии, изучают гамма-излучения или анализируют ДНК.
В крупных компаниях дата-сайентист — это человек, который нужен всем отделам:
В стартапах они помогают разрабатывать технологии, которые выводят продукт на новый уровень: TikTok использует машинное обучение, чтобы рекомендовать контент, а MSQRD, который купил Facebook, — технологии по распознаванию лица и искусственный интеллект.
Пример задачи:
Если дата-сайентисту нужно спрогнозировать спрос на новую коллекцию кроссовок, то он:
Что ему нужно знать?
Дата-сайентист должен хорошо знать математику: линейную алгебру, теорию вероятности, статистику, математический анализ. Математические модели позволяют найти в данных закономерности и прогнозировать их значения в будущем. А чтобы применять эти модели на практике, нужно программировать на Python, уметь работать с SQL и библиотеками (набор готовых функций, объектов и подпрограмм) и фреймворками (ПО, объединяющее готовые компоненты большого программного проекта) для машинного обучения (например, NumPy и Scikit-learn). Для более сложных задач дата-сайентистам нужен язык С или C++.
Результаты анализа данных нужно уметь визуализировать, например, с помощью библиотек Seaborn, Plotly или Matplotlib.
Кто такой Data Scientist: что это за профессия и каким компаниям нужен такой специалист
Сейчас все вокруг говорят о том, как важно собирать данные, анализировать их и использовать для улучшения клиентского сервиса, оптимизации бизнес-процессов и увеличения прибыли. Всем этим занимаются Data Scientist. По статистике LinkedIn, с 2018 года в мире наняли 831 тысячу таких специалистов.
Мы поговорили с Иваном Пастуховым, Data Scientist из Сбербанка, и другими экспертами — расскажем, кто такие специалисты по Data Science, какие у них обязанности, что они должны уметь и как понять, нужен ли вашей компании такой специалист.
Data Scientist — кто это и что делает
Дословно Data Scientist переводится как «ученый данных». Но деятельность у такого специалиста не научная, а практическая: он работает с данными компании, анализирует их, ищет зависимости, делает выводы на их основе и при необходимости строит визуализации. Для этого Data Scientist использует разные математические алгоритмы, специальное программное обеспечение и инструменты разработки.
Данные, с которыми работает Data Scientist, могут быть любыми: звук, текст, фото, видео, таблицы, документы. Если у вас есть любые данные и нужно их проанализировать — это работа для Data Scientist.
В сфере данных работают и другие специалисты, например, Machine Learning Engineer, Data Engineer или Data Analyst. У них более узкая специализация, например, Machine Learning Engineer меньше занимается анализом данных, в основном разрабатывает модели машинного обучения. Data Scientist — более широкий термин, который обозначает человека с разными компетенциями в области анализа данных.
Обычно компании на старте нанимают одного Data Scientist. В будущем, если разноплановых задач, связанных с данными, станет слишком много, можно нанять несколько таких специалистов, то есть создать целый отдел Data Science.
Чем занимается Data Scientist
Часто в бизнесе есть задачи, которые решаются вручную. Например, менеджер делает простенькие расчеты в Excel или руководитель магазина по своему опыту предсказывает спрос на товары. Такие ручные решения занимают много времени и часто необъективны.
Data Scientist автоматизирует принятие таких решений и делает их более точными, основанными на данных. Он разбирается в задаче, смотрит, какие данные нужны для ее решения. Потом разрабатывает программу, которая будет автоматически считать и анализировать данные. Такая программа может либо принимать простые решения самостоятельно, либо давать более точную и полезную информацию менеджерам.
«В компании SEMrush Data Scientist помогает решать маркетинговые задачи: вычислять вероятность клика, определять популярность поискового запроса, распознавать текст на картинке с объявлением. Именно Data Scientist решает, где нужно применять инструменты машинного обучения, а потом помогает разработчикам их создать и внедрить».
Кирилл Васин
Data Scientist, сервис для маркетологов SEMrush
Часто Data Scientist решает общие задачи, характерные для любого бизнеса: проанализировать поведение покупателей, привлечь и удержать клиента, предугадать спрос, построить систему рекомендаций, запустить эффективную акцию. Но бывают и специфические задачи: банк хочет предсказать вероятность возврата кредита, колл-центр — автоматизировать ответы на часто задаваемые вопросы. С этим тоже помогает Data Scientist. Бывает и так, что Data Scientist не решает конкретную задачу, а анализирует текущую ситуацию и ищет зоны роста для компании.
В разных компаниях Data Scientist занимаются совсем разными вещами. Но в итоге они делают одно дело: помогают сэкономить деньги, увеличить доход или принять правильное решение.
«В Ozon отдел Data Science появился относительно недавно, но мы уже выделили основные направления работы: прогнозирование спроса на товары, персональные рекомендации для пользователей, ранжирование в поиске, разработка чат-ботов для службы поддержки. Кроме того, наш отдел прислушивается к болям и пожеланиям менеджеров: так рождаются новые направления и новые задачи».
Александр Северинов, Data Scientist, маркетплейс Ozon
Как понять, что вашей компании нужен Data Scientist
Если компания связана с технологиями, например, разработкой искусственного интеллекта или инструментов автоматизации, Data Scientist ей нужен с самого старта.
Если компания напрямую не связана с IT, Data Scientist обычно становится нужен, когда данных и бизнес-процессов много, ими сложно управлять вручную. Обычно такое происходит в крупных компаниях, которые уже перепробовали разные способы увеличить прибыль и пришли к тому, что нужно извлекать новую информацию из собранных данных, автоматизировать отдельные процессы и искать другие подходы к работе с клиентами.
«Если бизнес уже цифровизован, Data Scientist однозначно нужен хотя бы для наведения порядка в IT-системах и поиска инсайтов для извлечения дополнительной прибыли. Если бизнес не цифровизован, Data Scientist тоже пригодится, чтобы что-нибудь спрогнозировать, проанализировать конкурентов или подсказать, как подойти к вопросу цифровизации. Например, представим агрофирму, которая выращивает продукты. Data Scientist может помочь ей спрогнозировать влажность почвы на полях и сформировать график полива».
Илья Шутов, руководитель направления Data Science компании «Медиа-Тел», кандидат физико-математических наук
Впрочем, иногда Data Scientist может быть полезен и небольшой компании. Он подскажет, как стоит собирать данные, что можно автоматизировать, где искать проблемы и зоны роста.
«Data Scientist может быть полезен маленькой, но амбициозной компании. Он увидит потенциальные возможности, подскажет, какие данные стоит собирать, и подготовит площадку для развития компании в будущем. На старте для этого можно не брать специалиста в штат, а пригласить на консультацию или нанять на аутсорс».
Александр Северинов, Data Scientist, маркетплейс Ozon
Что нужно Data Scientist для работы
Главное, с чем работает Data Scientist — это данные. Компания должна уже собирать, обрабатывать и хранить данные, построить для этого соответствующую инфраструктуру.
Data Scientist обрабатывает данные, для чего часто требуются большие вычислительные мощности и специальные инструменты.
Еще для работы Data Scientist нуждается в команде помощников. Чаще всего он работает в связке с Data Engineer и командой разработчиков. Первые обеспечивают его данными, вторые превращают разработанные модели в конкретные программы и сервисы, которыми могут пользоваться другие люди.
«Для работы Data Scientist будет полезен менеджер, знакомый со спецификой Data Science и разработки. Он поможет доносить до Data Scientist бизнес-задачи, контролировать разработку и доводить разработку приложений до финала».
Иван Пастухов, Data Scientist, Сбербанк
В небольших компаниях Data Scientist часто сам себе и Engineer, и разработчик. В более крупных за Data Science может отвечать целый отдел, состоящий из разных специалистов.
«В идеальном мире Data Scientist — пилот “Формулы 1”, вместе с которым работает огромная команда инженеров и механиков. Ему нужен „болид“ — сервер для вычислений, „топливо” — данные, и „техобслуживание“ — помощь Data-инженеров и DevOps-инженеров. На деле такая картина встречается редко, поэтому Data Scientist должен уметь делать всё понемногу.
В Ozon очень мощная команда инженеров инфраструктуры, Data-инженеров и Data Science-специалистов. Я бы даже назвал это модным словом „комьюнити“ — развитое взаимодействие между командами дает возможность прийти с идеей и получить критику, советы и поддержку вместо сухого: „Согласуйте задачу с моим руководителем, потом поговорим.“».
Александр Северинов, Data Scientist, маркетплейс Ozon
Что нужно знать Data Scientist
Data Science — дисциплина, которая лежит на стыке математики, статистики и компьютерных наук. Поэтому обычно Data Scientist должен:
В вузах пока редко встречается специальность Data Scientist. Те, кто задаются вопросом «Как стать Data Scientist» обычно учатся на курсах, либо поступают в университеты на прикладную математику или специальности, связанные с математическим моделированием. Хотя кое-где, например в ВШЭ, есть магистерские программы, посвященные анализу данных и машинному обучению.
«Так как наша профессия сравнительно новая, у бизнеса часто нет четкого понимания, зачем нужен Data Scientist. Поэтому важно уметь вести диалог. Иногда задача клиента решается проще и дешевле без нас, а иногда мы находим неожиданные инсайты, о которых клиент не догадывался».
Честно о профессии дата сайентиста: 6 фактов, которые нужно иметь в виду
Вокруг любой профессии тонна стереотипов. А вокруг тех, что мы плохо понимаем, их еще больше. Если вас привлекает Data Science и перспектива оказаться в IT-элите, читайте про шесть страхов, которые вполне могут оправдаться, и решайте, сможете ли вы стать дата сайентистом.
Для учебы на дата сайентиста нужна хотя бы базовая математика, а потом постоянно придется работать с числами
Вердикт: почти правда
Дата сайентисты работают с массивами данных на языке программирования Python. Да, математика потребуется уже на старте работы с кодом. Вот только вовсе не в виде сложных уравнений, над которыми придется корпеть часами. Но вы будете работать с числами и данными — это факт.
Хорошая новость: есть курсы, которые готовят дата сайентистов с нуля. В программу включают все, что потребуется специалисту. Но будьте готовы и сами подтягивать знания: придется много практиковаться, искать решения для нетипичных задач и учить.
Работа нудная, и надо быть очень внимательным
Вердикт: не совсем правда
Насколько работа дата сайентиста интересна, зависит от ваших предпочтений. Люди обычно называют нудной ту работу, в которой не видят смысла или делают на автомате, настолько она однообразная. Data Science — это не просто данные. У каждого столбца есть свой смысл, а в числах — закономерности. Погружаясь в задачу, вы будете это видеть и перестанете воспринимать цифры как просто цифры.
Дата сайентисты анализируют результат, задают вопросы: откуда этот пик, почему здесь именно такое число, правдивы ли эти значения и так далее. В этой работе не получится просто перетащить данные из одного файла в другой, запустить код и ждать результатов. Нужно будет погружаться в ситуацию и вовлекаться в нее на всех уровнях.
Нужен опыт, без него на работу не берут
Ни одна успешная компания не захочет брать в команду кота в мешке. Поэтому при трудоустройстве дата сайентистов часто просят показать портфолио и выполнить тестовое. И иногда этого бывает достаточно. Для некоторых работодателей стаж не настолько важен, как умение кандидата применять знания на практике.
Набраться опыта можно уже в процессе обучения. Конечно, это будет не запись в трудовой с должностью дата сайентиста и стажем. Но разностороннее портфолио и верно выполненное тестовое задание способны выделить вас среди кандидатов даже с опытом реальной работы в резюме.
Выбирайте курсы, основанные на практике. На полном курсе по Data Science в SkillFactory программа как раз нацелена на практические умения и наполнение портфолио. Помимо этого карьерный центр онлайн-школы помогает с составлением резюме и подготовкой к собеседованиям.
Придется учить английский
Вердикт: не совсем правда
Да, Python и библиотеки используют английский, а в работе дата сайентиста масса англицизмов, но учить английский для их понимания не нужно. Основные знания для работы вам дадут на курсах и все объяснят. А для частных случаев достаточно банального переводчика или запроса в поисковике.
С другой стороны, свежие решения и данные часто появляются в иностранных источниках. Если в ваших планах постоянное развитие и работа в лидирующей интернациональной команде мирового уровня, английский учить придется. Так что все зависит от ваших амбиций.
В моем городе таких специалистов не ищут
Вердикт: правда, если вы из региона
Профессия дата сайентиста востребована, хоть и появилась недавно. Но да, большинство вакансий сосредоточены в Москве и Санкт-Петербурге. На hh.ru сейчас примерно 560 вакансий по запросу Data Scientist. При этом больше 300 из них приходятся на столицу, еще сотня — на Питер, немногим больше 20 — на Новосибирскую область, а дальше числа стремительно уменьшаются. Но переезжать не обязательно. Можно работать на удаленке.
Мало быть дата сайентистом, надо шарить и в других сферах
Все так. Помимо Data Science придется разбираться в особенностях сферы, в которую придете: будь то лесопереработка или социальные сети. Чтобы эффективно работать, нужно понимать, как работают процессы в компании и на какие факты можно опираться. Важно понимать, зачем нужно это погружение и что оно даст. И если у вас это понимание есть, необходимость разбираться в чем-то будет скорее осознанной целью и желанием.
Как видите, мы не развенчали страхи и не опровергли стереотипы. Многие мнения о работе дата сайентистов оправданы, но часто сводятся к личным предпочтениям и амбициям. Хотите ли вы работать только в России или нацелены на зарубежный рынок; готовы ли учиться и практиковаться; нужна ли вам работа, в которую придется глубоко погружаться.
Если, несмотря ни на что, вас привлекает Data Science и вы хотите работать в этом перспективном направлении, не тяните. Записывайтесь на полный курс по Data Science в SkillFactory и начинайте свой путь к работе мечты. Программа подходит как для новичков, так и для специалистов в области программирования, аналитики и маркетинга. Особых знаний и подготовки не требуется. Всему, что понадобится для работы, научат на курсе.
А по промокоду ПИКАБУ действует скидка 50% до 25 апреля. Успевайте на новый поток.
Skoda запретила своим автосалонам в РФ навязывать «допы» покупателям
Компания разослала своим дилерским центрам в России служебное письмо, в котором предупредила об ответственности за навязывание платных аксессуаров клиентам.
В сообщении говорится, что автосалоны не должны превышать рекомендованные розничные цены, поскольку это негативно сказывается на лояльности покупателей. Кроме того, дополнительное оборудование не должно становиться условием для приобретения машины клиентом, поскольку это нарушает ч. 2 ст. 16 Закона РФ «О защите прав потребителей». В случае невыполнения указанных в письме предписаний марка оставляет за собой право отказаться от сотрудничества с дилерским центром в одностороннем порядке.
Сервис на уровне
Министр курортов и туризма Крыма опешил от отеля, которому присудили три звезды. Он лично разместил фотографии.
ДТП в Красноярске
Видео взято с городского публика ЧП Красноярск. Такое шикарное видео должны увидеть все!
Почему на нашем телевидении разрешено рекламировать кредиты в 5,9% годовых, которые являются откровенным враньем?
Давайте в качестве реального примера рассмотрим историю, (как бы) произошедшую с… с вами, если бы вы, насмотревшись по телеку на сытого Гармаша, решились соблазниться на рекламируемый артистом кредит под 5,9% в том самом Почта Банке. Итак, вы созрели попробовать и оформили заявку на сайте. Вскоре пришло СМС, что кредит предодобрен. Минут через 30 вам позвонили и попросили приехать. На вопрос о процентной ставке ответили, что конкретную ставку могут сказать только в офисе, после отправки запроса. Приехали вы (россиянин или россиянка, страждущие дешевого кредита), в офис Почта Банка, вам оформили заявку и попросили подождать одобрения минут пятнадцать. Вскоре пришло одобрение под 9,9% (уже не 5,9%, но это только начало).
Вы выбрали кредит с финансовой защитой (без нее процентная ставка возрастает на 7%), ее включили в тело кредита и поэтому при первоначальном вашем желании взять в кредит 250000 рублей, в теле кредита оказалось уже 395 000! Вот так… 145 000 рублей – это страховка! Сразу, с насчитанными на нее процентами. Ладно, допустим, вы понимали, что все пойдет не так гладко, как обещал Гармаш, допустим, что вы были готовы взять кредит со ставкой до 10%, пусть так… потянет.
Вы заранее прикинули, что ориентировочный ежемесячный платеж на кредит в 250000 рублей должен быть (даже при 10%) около 5500 рублей. Но такой цифры в плане погашения вы не увидите. Там будет стоять где-то 8400 (плюс минус). Такой ежемесячный платеж можно получить, если взять 250 000 рублей на 5 лет под процентную ставку 32%. Как вам такая арифметика? Будут ещё и «бонусы». При запросе кредита вы подписали соглашение об электронной подписи и электронном информировании, так что (помимо кредита) возможны сюрпризы в виде дополнительных платных услуг.
Истина одна – ни в одном российском банке невозможно взять кредит со ставкой в 5,9% годовых. Это и дураку понятно, не понятно другое – почему на нашем телевидении открыто разрешено рекламировать кредитные условия, которые являются откровенным и бессовестным враньем?
Как устроена жизнь на Севере?
Творчество
После того как талибы запретили женщин на телевидении.
Прошу не считать данный пост оскорбляющим чье либо мнение и взгляды.
Банальный вопрос на логику.
Обида на всю жизнь)))
