DevGang
Авторизоваться

Как создавать быстрые и точные диаграммы разброса с большим количеством данных на Python 

Диаграммы разброса довольно просты и их легко создать - по крайней мере, я так думал. Недавно мне пришлось визуализировать набор данных с сотнями миллионов точек данных. Если вы разработчик Python, вы сразу же импортируете matplotlib и приступите к работе. Но оказывается, что есть более эффективные, быстрые и интуитивно понятные способы создания диаграмм рассеивания.

В чем проблема matplotlib? Что ж, matplotlib это отличная библиотека Python, и она определенно обязательна для изучения данных. Но matplotlib это также огромный универсал и может работать неоптимально в некоторых сценариях. Это один из тех.

Как перебирать строки в фрейме данных Pandas

Итерация по DataFrames pandas определенно не лучшая практика, и вам следует рассматривать это только тогда, когда это абсолютно необходимо, и когда вы исчерпали все другие возможные варианты, которые, вероятно, будут более элегантными и эффективными.

Обнаружение сарказма с помощью машинного обучения 

Сарказм был частью нашего языка на протяжении многих лет. Это означает быть противоположным тому, что вы имеете в виду, обычно с отличным тоном голоса в веселой игровой форме. Если вы думаете, что любой может понять сарказм, то вы ошибаетесь, потому что понимание сарказма зависит от ваших языковых навыков и вашего знания других людей. А как же компьютер? Можно ли обучить модель машинного обучения, которая может определять, является ли предложение саркастичным или нет? Да, это возможно! Так что, если вы хотите научиться распознавать сарказм с помощью машинного обучения, эта статья для вас. В этой статье я расскажу вам об обнаружении сарказма с помощью машинного обучения с использованием Python.

strip.pysondb - новая JSON БД для Python

Сегодня мы поговорим о strip.pysondb, название предполагает, что это урезанная версия существующей базы данных JSON под названием pysondb.

Мы обсудим некоторые проблемы с pysondb и то, как strip.pysondb исправляет эти проблемы.

Прогнозирование подписчиков в социальных сетях с помощью машинного обучения 

Сегодня существует так много платформ социальных сетей, где вы найдете так много создателей контента в самых разных областях. Как потребитель социальных сетей, количество подписчиков, которые у вас есть, может не представлять для вас интереса, но как создателю контента или как бизнесмену количество подписчиков, которые у вас есть, важно для вашего контента для охвата большей аудитории. Таким образом, задача прогнозирования подписчиков в социальных сетях очень важна для каждого создателя контента и каждого бизнеса, который полагается на социальные сети. Так что, если вы хотите узнать, как предсказать количество подписчиков в социальных сетях на следующий месяц, эта статья для вас. В этой статье я расскажу вам о задаче прогнозирования подписчиков в социальных сетях с помощью машинного обучения с использованием Python.

OpenStreetMap (OSM) - запрашивает пользовательские данные для областей (полигонов) с помощью Golang и Protobuf. 

В текущем проекте передо мной стояла задача получить конкретные данные для определенных областей (округов и городов), например зеленых зон (парки, леса и т.д.). С самими данными мы производим некоторые вычисления, но здесь не об этом. Более захватывающим является понимание того, как мы получаем эти данные. Для этого мы прошли несколько итераций и должны были найти лучший для нас способ. Я хотел бы показать вам, какой способ был для нас наиболее успешным, на примере Golang и некоторого Python. Мы разделили проект на две части.

Подключение к базам данных AWS Athena с помощью Python 

ПРИМЕЧАНИЕ. Полный код, относящийся к этой статье, можно найти в этом репозитории Github.

AWS Athena - это сервис, который позволяет создавать базы данных и запрашивать данные из файлов данных, хранящихся в корзинах AWS S3. Это очень полезно, если у вас есть большой набор данных, хранящийся, скажем, в виде CSV или parquet файлов, и вы не хотите тратить дни на написание заданий ETL и загрузку их в стандартную базу данных SQL. По сути, он позволяет писать стандартные запросы SQL для извлечения данных из файлов с плоскими данными, хранящихся на S3.
Только что начав работать с базами данных Athena и столкнувшись с проблемой предоставления нашей команде доступа к Athena через Python и, в частности, через Jupyterlab, я придумал два разных метода разработки оболочки Python для простого и эффективного доступа к базам данных Athena.

Подсказки типов и строки документации Python

В этой статье вы будете сопровождать меня в путешествии по автоматической генерации строк документации в стиле Google из подсказок типов Python. Мы рассмотрим следующие элементы.

  1. Подсказки типов Python
  2. Вставка подсказки типа в строки документации функции
  3. Автоматизация с помощью хуков Git перед фиксацией

Виртуальные среды для абсолютных новичков - что это такое и как создать (+ примеры) 

Если вы работаете над множеством разных проектов, вы узнаете ад зависимости множества проектов, требующих нескольких версий, нескольких пакетов. Вы не можете просто установить все пакеты глобально, как вы отслеживаете? Также что происходит, когда projectA требуется PackageX_version1, а ProjectB - PackageX_version2? Как оставаться в здравом уме, когда все представляет собой один большой беспорядок взаимозависимости, похожий на спагетти?

В этой статье я попытаюсь убедить, что использование venv (виртуальной среды) - это способ отделить зависимости от других проектов. Мы начнем с определения, что такое venv, для чего он нужен и зачем он вам нужен. Затем мы создадим его и увидим все его преимущества. В конце у нас будет несколько основных правил, позволяющих сохранять зависимости в наших проектах как можно более чистыми.

Операторы switch в Python 3.10

Python 3.10 все еще находится на стадии альфа-тестирования, но в нем появятся некоторые новые интересные функции. В этой статье мы рассмотрим один из них - операторы switch, официально известные как сопоставление структурных шаблонов.

Оператор switch обычно встречается в большинстве языков программирования и обеспечивают более аккуратный способ реализации условной логики. Он пригодятся, когда нужно оценить множество условий.

Сегодня мы увидим, как его использовать, и сравним различия кода с более традиционным подходом.

Python - высокоуровневый язык программирования созданный Гвидо ван Россумом еще в 1980 году. Мощный, одновременно поддерживающий несколько парадигм программирования, на сегодняшний день используется во многих сферах деятельности, от программирования микроконтроллеров и до создания сложных микросервисных веб приложений. 
 

Присоединяйся в тусовку

Поделитесь своим опытом, расскажите о новом инструменте, библиотеке или фреймворке. Для этого не обязательно становится постоянным автором.

Попробовать

В подарок 100$ на счет при регистрации

Получить