Обработка больших файлов с использованием Python: часть 2
В прошлой статье я написал о некоторых методах, которые я использую в python для эффективной обработки очень больших наборов данных. Вы можете найти это здесь. Грубо говоря, в нем подробно рассказывается, как можно разбить большой файл на куски, которые затем можно передать на несколько ядер для сокращения времени обработки. Ниже я подробно остановлюсь на этом, сначала создав родительский класс, который превращает данный (большой) файл в порции. Я создаю его таким образом, чтобы дочерние классы можно было легко создавать и адаптировать для конкретных типов файлов, учитывая некоторые примеры. Наконец, я даю некоторые функции обертывания для использования в сочетании с любым из чанков, чтобы чанки могли обрабатываться с использованием нескольких ядер.
Обработка больших файлов с использованием Python
В последний год или около того, и с моим повышенным вниманием к данным ribo-seq я полностью осознал, что означает термин большие данные. Исследования ribo-seq в их необработанном виде могут легко охватить сотни ГБ, что означает, что их обработка как своевременной, так и эффективной требует некоторого обдумывания. В этом посте, и, надеюсь, в следующем, я хочу подробно описать некоторые из методов, которые я придумала (собрал из разных статей в интернете), которые помогают мне получать данные такого масштаба. В частности, я буду подробно описывать методы для Python, хотя некоторые методы можно перенести на другие языки.
Введение в optional chaining operator
Длинные цепочки доступа к свойствам в JavaScript могут быть подвержены ошибкам, так как любой из них может иметь значение null или undefined (также известный как «нулевые» значения). Проверка существования свойства на каждом шаге легко превращается в глубоко вложенную структуру if-statements или длинное условие в if, реплицирующее цепочку доступа к свойству:
Angular: поиск и пагинация страниц
В реальных приложениях очень распространено работать с большими объемами данных и предоставлять пользователю возможность поиска по ним и представления их в разбивке по страницам. Поэтому в этой статье я покажу один подход к созданию компонента поиска, который обрабатывает входные данные поиска с помощью debounce и компонент пагинации на страницы, который будет обрабатывать запросы на разные страницы данных; оба работают вместе.
Python: делаем запросы в Google Geocoding API
В этом коротком руководстве мы покажем вам, как выполнять вызовы API для API геолокации Google. Цель состоит в том, чтобы иметь возможность быстро и легко получать данные адреса, почтового индекса или просто города с помощью API, который является важной частью Google Maps.
Angular: согласованный пользовательский интерфейс с LayoutModule
В приложении мы часто сталкиваемся с разработкой разных макетов между определенными страницами. Существует одна схема входа в систему, другая для администратора, третья для пользователя и т.д.
PHP: Include() и Require()
В PHP есть две функции, которые используются для помещения содержимого файла, содержащего исходный код PHP, в другой файл PHP. Это функции Include() и Require(). Обе функции одинаковы, но они имеют одно различие. Разница в том, что функция include() выдает предупреждение, но скрипт продолжит выполнение, а функция require() выдает предупреждение и фатальную ошибку, т.е. скрипт не будет продолжать выполнение. Эти две функции используются для помещения данных файла в другой файл PHP перед его выполнением сервером.
Когда "Zoë" !== "Zoë". Или зачем вам нужно нормализовать строки Unicode?
Никогда не слышал о нормализации Unicode? Ты не одинок. Но это избавит вас от многих неприятностей.
Рано или поздно, это поражает каждого разработчика:
Итераторы и генераторы прекрасно работают вместе
Итераторы и генераторы - интересные функции JavaScript. И тем более, когда вы используете их вместе. Давайте в этой статье углубимся в нашем понимании генераторов и итераторов и посмотрим, как мы можем объединить их для написания элегантного JavaScript кода.
Golang: Основной синтаксис
В настоящее время существует так много популярных языков программирования, которые используются для создания сервисов и систем, таких как Node.js, PHP и Python. И все они имеют свои преимущества и недостатки, и от этого сильно зависит то, для чего программист будет использовать тот или иной язык программирования. Если вам нужно написать программу с очень эффективным параллелизмом, но все еще читаемую, я познакомлю вас с этим языком, Go (он же Голанг).
Присоединяйся в тусовку
Поделитесь своим опытом, расскажите о новом инструменте, библиотеке или фреймворке. Для этого не обязательно становится постоянным автором.
