Употребление и хранение статья: Об ответственности за «наркотические преступления» (ст.228 УК РФ) — Новости, объявления — Профилактика правонарушений и преступлений — Социальная сфера

13.2. Если лицо в целях осуществления умысла на незаконный сбыт наркотических средств, психотропных веществ или их аналогов, а также растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества, незаконно приобретает, хранит, перевозит, изготавливает, перерабатывает эти средства, вещества, растения, тем самым совершает действия, направленные на их последующую реализацию и составляющие часть объективной стороны сбыта, однако по не зависящим от него обстоятельствам не передает указанные средства, вещества, растения приобретателю, то такое лицо несет уголовную ответственность за покушение на незаконный сбыт этих средств, веществ, растений.

Результаты оперативно-розыскного мероприятия могут использоваться в доказывании по уголовному делу, если они получены и переданы органу предварительного расследования или суду в соответствии с требованиями закона и свидетельствуют о наличии у лица умысла на незаконный оборот наркотических средств, психотропных веществ или их аналогов, растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества, сформировавшегося независимо от деятельности сотрудников органов, осуществляющих оперативно-розыскную деятельность.

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

15.1. В случае, когда лицо передает приобретателю наркотические средства, психотропные вещества или их аналоги, растения, содержащие наркотические средства или психотропные вещества, либо их части, содержащие наркотические средства или психотропные вещества, по просьбе (поручению) другого лица, которому они принадлежат, его действия следует квалифицировать как соисполнительство в незаконном сбыте указанных средств, веществ, растений.

16. Действия лица, сбывающего с корыстной целью под видом наркотических средств, психотропных веществ или их аналогов, растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества, сильнодействующих или ядовитых веществ, новых потенциально опасных психоактивных веществ какие-либо иные средства или вещества, следует рассматривать как мошенничество.

(см. текст в предыдущей редакции)

В этих случаях покупатели при наличии предусмотренных законом оснований могут нести ответственность за покушение на незаконное приобретение наркотических средств, психотропных веществ или их аналогов, растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества в значительном, крупном или особо крупном размере, а также сильнодействующих или ядовитых веществ, новых потенциально опасных психоактивных веществ.

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

Добровольная сдача наркотических средств, психотропных веществ или их аналогов, а также растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества, означает выдачу лицом таких средств, веществ или растений представителям власти при наличии у этого лица реальной возможности распорядиться ими иным способом.

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

Нарушение правил оборота наркотических средств и психотропных веществ может быть совершено лицом как умышленно, так и по неосторожности. При этом для определения наличия состава данного преступления необходимо установить, что нарушение таким лицом правил производства, изготовления, переработки, хранения, учета, отпуска, реализации, продажи, распределения, перевозки, пересылки, приобретения, использования, ввоза, вывоза либо уничтожения наркотических средств или психотропных веществ либо их прекурсоров, инструментов или оборудования, используемых для изготовления наркотических средств или психотропных веществ либо их прекурсоров, находящихся под специальным контролем, и культивирования растений, содержащих наркотические средства или психотропные вещества либо их прекурсоры, для использования в научных, учебных целях и в экспертной деятельности, а также нарушение правил хранения, учета, реализации, продажи, перевозки, приобретения, использования, ввоза, вывоза либо уничтожения растений, содержащих наркотические средства или психотропные вещества либо их прекурсоры, и их частей, содержащих наркотические средства или психотропные вещества либо их прекурсоры, повлекло утрату одного или нескольких указанных объектов.

(см. текст в предыдущей редакции)

Под утратой наркотических средств, психотропных веществ, оборудования, инструментов, растений следует понимать их фактическое выбытие из законного владения, пользования или распоряжения либо такое повреждение оборудования или инструментов, которое исключает в дальнейшем их использование по прямому назначению, если указанные последствия находились в причинной связи с нарушениями, допущенными лицом, в обязанности которого входило соблюдение соответствующих правил.

Состав указанного преступления будет иметь место также в тех случаях, когда нарушение правил культивирования растений, содержащих наркотические средства или психотропные вещества либо их прекурсоры, используемых для производства наркотических средств или психотропных веществ, повлекло полную или частичную утрату этих растений.

(см. текст в предыдущей редакции)

под причинением по неосторожности вреда здоровью человека понимается наступление последствий, связанных, например, с нарушением нормальной деятельности его органов, их физиологических функций, длительным заболеванием, возникновением наркотической зависимости;

под иными тяжкими последствиями понимается наступивший по неосторожности крупный материальный ущерб собственнику, длительное нарушение работы предприятия, учреждения и т. п.

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

Под иными тяжкими последствиями следует понимать самоубийство или покушение на самоубийство потерпевшего, развитие у него наркотической зависимости, тяжелое заболевание, связанное с потреблением наркотических средств или психотропных веществ, заражение ВИЧ-инфекцией и т.п.

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

(см. текст в предыдущей редакции)

Под содержанием притона следует понимать умышленные действия лица по использованию помещения, отведенного и (или) приспособленного для потребления наркотических средств или психотропных веществ, по оплате расходов, связанных с существованием притона после его организации либо эксплуатацией помещения (внесение арендной платы за его использование, регулирование посещаемости, обеспечение охраны и т.п.). По смыслу закона содержание притона будет оконченным преступлением лишь в том случае, если помещение фактически использовалось одним и тем же лицом несколько раз либо разными лицами для потребления наркотических средств и психотропных веществ. При этом не имеет значения, преследовал ли виновный корыстную или иную цель.

(см. текст в предыдущей редакции)

Под незаконной выдачей рецепта, содержащего назначение наркотических средств или психотропных веществ, следует понимать его оформление и выдачу без соответствующих медицинских показаний.

К иным документам относятся те из них, которые являются основанием для выдачи (продажи) наркотических средств или психотропных веществ и других действий по их законному обороту. Такими документами могут являться, в частности, лицензия на определенный вид деятельности, связанной с оборотом наркотических средств или психотропных веществ, заявка медицинского учреждения на получение этих средств или веществ для использования в лечебной практике, выписка из истории болезни больного, товарно-транспортная накладная и т.п.

(см. текст в предыдущей редакции)

Назначая более мягкое наказание, чем предусмотрено законом за совершенное преступление, судам следует устанавливать в каждом конкретном случае исключительные обстоятельства, существенно снижающие степень общественной опасности преступления, роль виновного и его поведение во время и после совершения преступления, данные о его личности, семейное положение и другие обстоятельства по делу, смягчающие наказание за содеянное.

Срок такой отсрочки не может превышать пять лет. Срок, необходимый для проведения курса лечения конкретного больного от наркомании и его реабилитации, должен быть определен в заключении эксперта.

(см. текст в предыдущей редакции)

37. Рекомендовать верховным судам республик, краевым и областным судам, судам городов федерального значения, судам автономной области и автономных округов, окружным (флотским) военным судам изучать практику применения судами законодательства по делам о преступлениях, связанных с незаконным оборотом наркотических средств, психотропных веществ или их аналогов, растений, содержащих наркотические средства или психотропные вещества, либо их частей, содержащих наркотические средства или психотропные вещества, сильнодействующих или ядовитых веществ, а также апелляционную и кассационную практику по делам этих категорий, итоги обобщений доводить до сведения нижестоящих судов.

(см. текст в предыдущей редакции)

38. С принятием настоящего Постановления признать утратившим силу Постановление Пленума Верховного Суда Российской Федерации от 27 мая 1998 года N 9 «О судебной практике по делам о преступлениях, связанных с наркотическими средствами, психотропными, сильнодействующими и ядовитыми веществами».

Председатель

Верховного Суда

Российской Федерации

В.М.ЛЕБЕДЕВ

Секретарь Пленума,

судья Верховного Суда

Российской Федерации

В.В.ДЕМИДОВ

«Легкая добыча» для правоохранителей: в чем ее опасность

20 апреля Европейский Суд по правам человека вынес постановление по делу «Кузьмина и другие против России» по жалобе нескольких россиян на несправедливое судопроизводство по их уголовным делам, связанным с незаконным оборотом наркотиков.

Читайте также

ЕСПЧ указал на несовершенство российского Закона об ОРД

Поводом послужили обращения девяти россиян, осужденных за сбыт наркотиков, которые пожаловались на провокации правоохранителей при проведении проверочных закупок

23 Апреля 2021

Наиболее важное в данном постановлении, на мой взгляд, – объемная и очень конкретная часть, содержащая напоминание российским властям о необходимости принимать меры общего характера, которые должны предотвращать нарушения Конвенции о защите прав человека и основных свобод по делам о проверочных закупках и оперативных экспериментах.

В данном деле ЕСПЧ подчеркнул необходимость пересмотра правовых норм, регулирующих проверочные закупки и оперативные эксперименты. По мнению Суда, это должно обеспечить со стороны судебных органов достаточные гарантии от произвола при проведении ОРМ по данной категории дел.

Примечательно, что Европейский Суд далеко не всегда проявляет подобную инициативу, чаще ограничиваясь констатацией нарушения Конвенции и установлением компенсации потерпевшему. Причина для напоминания ЕСПЧ российским властям о необходимости реформировать законодательство об ОРД заключается в том, что постановление по делу «Кузьмина и другие против России» является продолжением проблемы, на которую ЕСПЧ обратил внимание в 2005 г. В делах «Веселов и другие против России» в 2012 г. и «Лагутин и другие против России» в 2014 г. Европейский Суд уже подчеркивал системный характер проблемы, однако принятые Верховным Судом РФ и МВД меры, направленные на усиление контроля над проведением ОРМ, очевидно, не привели к ее решению.

Проверочные закупки и оперативные эксперименты в РФ являются основным источником доказательств по делам о сбыте наркотиков (ст. 228.1 УК РФ). При этом речь идет о самом низовом уровне сбыта, а не о борьбе с крупными поставками или так называемым коммерческим сбытом (distribution v trafficking). То есть, по сути, злоупотребления при проведении проверочных закупок и оперативных экспериментов позволяют правоохранительным органам вместо реальной правоохранительной работы по борьбе с незаконным оборотом наркотиков заниматься профанацией.

В деле «Кузьмина и другие против России» адвокаты – представители заявителей в Страсбургском суде – проделали блестящую работу и сумели выделить основные проблемы по уголовным делам, в которых применяются проверочные закупки или оперативные эксперименты.

Во-первых, в таких делах, как правило, первичные данные о том, что подозреваемый якобы занимается сбытом, поступают из засекреченного источника, проверить который сторона защиты в суде не может.

Во-вторых, в большинстве дел в качестве закупщика выступают потребители наркотиков, с которыми у подозреваемых есть опыт совместного употребления или признаки приобретения (изготовления) наркотического средства для совместного употребления. В таких делах, как правило, наблюдаются также признаки склонения подозреваемого к сбыту. Склоняет зачастую агент полиции (как правило, он знаком с подозреваемым в сбыте, как и подозреваемый потребитель наркотиков). Склонение осуществляется в форме уговоров, дружеских просьб, стремления вызвать жалость на фоне синдрома отмены. Агент полиции, как правило, находится в зависимости от полиции по причине возбужденного против него (нее) уголовного дела либо угрозы его возбуждения.

В-третьих, перед проверочной закупкой или оперативным экспериментом правоохранительные органы зачастую не проверяют информацию на предмет того, действительно ли подозреваемый вовлечен в незаконный сбыт. В самых первых делах о проверочных закупках (например, в деле «Тейшера де Кастро против Португалии» в 1998 г. ) ЕСПЧ указал, что перед проведением такого мероприятия правоохранительные органы обязаны проверять оперативную информацию о том, действительно ли подозреваемый вовлечен в сбыт наркотиков.

В-четвертых, утверждение постановления о проведении проверочной закупки или оперативного эксперимента производится руководителем органа дознания, а не независимым органом. При таком подходе злоупотребление полномочиями становится частью правоохранительной системы.

В-пятых, процедура рассмотрения судом утверждений о полицейской провокации не является состязательной. Правоохранительные органы не подотчетны судебным. Предусмотренная законом процедура о признании доказательств неприемлемыми без состязательности не работает.

Как указал ЕСПЧ, Постановление по делу «Кузьмина и другие против России» необходимо исполнять путем реформирования нормативных правовых актов об ОРД. К этому, полагаю, возможны несколько взаимосвязанных подходов.

Вместе с тем для фундаментального решения проблемы злоупотребления правоохранительными органами властью по таким делам, а также повышения эффективности противодействия незаконному обороту наркотиков необходима, на мой взгляд, реформа законодательства о контроле за незаконным оборотом наркотических средств в целях разделения деяний, связанных с употреблением и коммерческим сбытом запрещенных веществ.

В настоящее время УК, КоАП и Закон о наркотических средствах и психотропных веществах, а также практика их применения в России сфокусированы на лицах, употребляющих запрещенные вещества, а не на тех, кто вовлечен в их коммерческий сбыт для систематического обогащения.

Правовые реформы должны позволить сфокусировать действия правоохранителей на коммерческом сбыте. А все, что связано с употреблением, включая хранение и так называемый «социальный сбыт» (обмен небольшими количествами в контексте употребления), необходимо, на мой взгляд, переориентировать в область социально-медицинской поддержки, включая ресоциализацию и реабилитацию. Полиция могла бы перенаправлять наркопотребителей в сферу социально-медицинской поддержки без применения мер наказания.

Конвенции ООН не требуют от России безусловной криминализации хранения наркотических средств без цели сбыта. Решение этого вопроса зависит от конституционных положений и принципов правовой системы РФ, что определяется, в свою очередь, в том числе исходя из положений международных договоров России о правах человека. Международные комитеты ООН, которые проверяют соблюдение исполнения договоров о правах человека, неоднократно рекомендовали России декриминализировать хранение наркотиков без цели сбыта. С 2018 г. единая позиция все агентств и программ ООН заключается в продвижении альтернатив уголовной ответственности и уголовного преследования, включая декриминализацию хранения наркотиков для личного потребления (CEB/2018/2).

В рамках реформы законодательства о наркотиках целесообразными представляются следующие меры:

• отмена наказания за хранение наркотиков без цели сбыта и за употребление наркотиков, включая ст. 228 УК и ст. 6.8, 6.9 и 6.9.1 КоАП. Для работы с такой серьезной общественной проблемой, как употребление наркотиков и связанные с ним деяния (включая хранение и социальный сбыт), наказание, на мой взгляд, – слишком грубая мера воздействия на поведение людей. Научные данные доказывают, что гораздо эффективнее меры социально-экономического и медицинского воздействия – то есть поддержка, а не наказание;
• гарантированное ограничение применения ст. 228.1 (сбыт) УК путем ее дополнения примечанием следующего содержания: «действие настоящей статьи не распространяется на деяния, касающиеся наркотических средств или психотропных веществ в количествах, равных десятидневным дозам или меньших, если наличие умысла на сбыт в целях систематического обогащения не будет доказано за пределами разумных сомнений. Размеры дневной дозы устанавливаются исходя из личности человека, который декларирует цель употребления в конкретном деле».

Установление дневной дозы исходя из личности наркозависимого требует определения чистоты вещества (химическая экспертиза) и толерантности к его действию (медицинская экспертиза). При этом установление количества наркотических средств и психотропных веществ для привлечения к уголовной или административной ответственности теряет смысл, так как это необходимо в первую очередь для целей ответственности за хранение. При отсутствии обвинения в хранении пороговые величины отпадают за ненадобностью. Кроме того, 10 дневных доз, полагаю, должны устанавливаться исходя из обстоятельств дела, а не правительственным постановлением. Для стороны обвинения доказывать сбыт как грамма, так и килограмма наркотического вещества будет одинаково сложно, что повысит гарантии защиты прав человека. Доказывать сбыт непросто, особенно в рамках презумпции того, что 10 дневных доз и меньше предполагают цель хранения, а не сбыта.

Данные меры, на мой взгляд, помогут направить усилия правоохранительной системы на противодействие коммерческому сбыту наркотиков для систематического обогащения, будут способствовать созданию гарантий защиты от произвольного применения статьи о сбыте и массовых нарушений прав человека, включая полицейские провокации (а значит, обеспечить исполнение постановления ЕСПЧ по делу «Кузьмина и другие против России»), позволят сэкономить бюджетные средства при создании условий для эффективной работы по профилактике наркомании, а также заболеваний ВИЧ-инфекцией и иных социально значимых заболеваний, а также снизить уровень коррупции среди полиции и криминализации населения.

В Госдуме разработали поправки о смягчении статьи 228 УК о хранении наркотиков

В Госдуме разработали поправки в статью 228 Уголовного кодекса, предусматривающие  смягчение наказания за хранение наркотиков без цели сбыта, рассказал телеканалу «Дождь» депутат «Единой России» и руководитель рабочей группы по совершенствованию законодательства в сфере противодействия незаконному обороту наркотических средств Николай Брыкин.

Авторы поправок предлагают перевести часть 2 статьи 228 УК, предусматривающую ответственность за приобретение и хранение наркотиков в крупном размере, из категории тяжких преступлений в категорию преступлений средней тяжести, установив наказание от двух до пяти лет лишения свободы вместо действующей санкции от трех до десяти лет, сообщает «Дождь», ознакомившийся с текстом законопроекта. Кроме того, предлагается снизить нижний порог санкции по части 3 статьи 228 УК, устанавливающей наказание за те же деяния в особо крупном размере — с десяти до пяти (верхний порог в 15 лет остается).

Авторы поправок отмечают, что существующее положение, «когда хранение наркотиков в крупном размере является тяжким преступлением, обеспечивает высокие показатели деятельности правоохранительных органов по раскрытию тяжких преступлений, но не защищает общество, подменяя борьбу с распространением наркотиков борьбой с потребителями».

Решение о внесении законопроекта в нижнюю палату парламента может быть принято 20 июня — на заседании рабочей группы по совершенствованию законодательства в сфере противодействия незаконному обороту наркотических средств при комитете Госдумы по законодательству, рассказал Брыкин. Проект рабочей группе направила российский омбудсмен Татьяна Москалькова. Его разработал экспертный совет при омбудсмене, сообщала «Русская служба Би-би-си».

В связи с делом журналиста «Медузы» Ивана Голунова, которому предъявляли обвинение в покушении на сбыт наркотических средств по статьям 30 и 228.1 Уголовного кодекса, многие высказывались за изменения в законодательстве. В частности, глава Счетной палаты Алексей Кудрин заявил, что необходима «серьезная реформа» 228 статьи. «Приветствую закрытие дела Голунова — хорошо, когда ошибки признают и исправляют. Но ежегодно по наркотическим статьям, осуждают около 130 000 человек. Нужна серьёзная реформа 228 статьи УК», — написал он у себя в Twitter.

Информацию о практике применения статьи 228 также проанализирует Совет Федерации, заявил «РИА Новостям» председатель комитета палаты по конституционному законодательству Андрей Клишас. Сенаторы слышат «общественный запрос на изменение законодательства в данной сфере», отметил он.

Около половины дел по наркотикам в России не дошло до суда :: Общество :: РБК

В 2019 году, по данным Генпрокуратуры, было зарегистрировано 190,2 тыс. преступлений, связанных с наркотиками. Более половины из них приходится на ст. 228.1 УК «Незаконные производство, сбыт или пересылка наркотических средств», еще 70,6 тыс. — на ст. 228 УК о хранении запрещенных препаратов.

Читайте на РБК Pro

Количество преступлений, дела о которых были переданы в суд, составляет чуть больше половины от числа возбужденных уголовных дел, и эта доля год от года уменьшается: если в 2016 году полиции удалось довести до суда около 118 тыс. дел (почти 60%), то в 2019 году до суда дошло чуть больше 99 тыс. дел, или около половины от числа зарегистрированных преступлений.

Официальная статистика не дает детального представления об исходе дел в суде: количество наркотических составов, по которым вынесены приговоры, по статистике Судебного департамента, ежегодно превышает прокурорские показатели количества преступлений, дела о которых были переданы в суд. РБК запросил оба ведомства о причинах этого расхождения.

Известно, что доля наркотических дел, которые прекращаются в суде, не превышает 2–3%: с 2014 по 2018 год их было от 1,4 тыс. до 2,3 тыс. В первом полугодии 2019 года суды прекратили 814 дел (2%). О количестве дел, которые суды возвращают в прокуратуру для устранения нарушений, публично не отчитывается ни Генпрокуратура, ни Судебный департамент. РБК направил запросы в оба ведомства, а также в МВД.

Дела, возвращенные для устранения нарушений, доследованные и вновь доведенные до суда, попадают в прокурорскую статистику о передаче дел в суд дважды, сообщил РБК глава юридического департамента фонда «Русь сидящая» Алексей Федяров, который в прошлом руководил надзором за следствием в прокуратуре Чувашии.

Бесперспективные дела

Значительная часть наркопреступлений ежегодно остается нераскрытой — примерно два из пяти, показывает статистика Генпрокуратуры за последние четыре года (более ранняя статистика недоступна).

Всего в работе у следствия в 2019 году находилось более 230 тыс. подобных дел (с учетом тех, которые не были расследованы за прошлые годы). Каждое третье дело было приостановлено в связи с тем, что лицо, подлежащее привлечению в качестве обвиняемого, не удалось установить.

Многие зарегистрированные преступления по ст. 228.1 УК — это уголовные дела по факту сбыта, основанные на административных делах об употреблении наркотиков, уголовных делах об их хранении или о смерти людей, связанной с наркотиками. Часто это заведомо бесперспективные дела, «которые потом висят приостановленными», утверждает юрист фонда Андрея Рылькова Арсений Левинсон.

«Из каждого нового дела о хранении наркотиков всегда выделяется материал по сбыту. Если есть «вес» (количество изъятых наркотиков. — РБК), должен быть и сбытчик; это правило, и это было всегда. Таких дел сотни тысяч. Обычно они остаются приостановленными, а потом их прекращают по давности», — подтвердил в беседе с РБК Федяров.

«В некоторых регионах, чтобы улучшить статистику, всех, кого привлекают за хранение, просят написать, что случайно нашел наркотики на улице. И тогда это вроде не сбыт, и дело не выделяют», — утверждает Левинсон.

В марте 2019 года МВД предложило отменить практику возбуждения дел о сбыте, если нет информации о передаче наркотического вещества. В большинстве российских регионов «складывается практика безусловного возбуждения уголовных дел» о сбыте, когда речь идет о задержании человека в состоянии наркотического опьянения или о гибели от передозировки. Однако часто установить сбытчика в таких случаях просто не представляется возможным. Такие дела не имеют судебной перспективы, и эта практика приводит «к неэффективному применению мер процессуального характера» и «искажению статистических данных о результатах борьбы с преступностью», говорилось в пояснительной записке к законопроекту.

В 2016–2018 годах следствие по 221 тыс. таких уголовных дел было приостановлено из-за невозможности найти сбытчика, утверждалось в пояснительной записке. 21 февраля этого года правительство одобрило законопроект и рекомендовало внести его в Госдуму.

Меньше обвиняемых, больше эпизодов

В последние годы число зарегистрированных наркопреступлений значительно не меняется и находится в районе 200 тыс. в год. Количество обвиняемых по этим делам каждый год уменьшается: если в 2016 году их было более 108 тыс. человек, то в 2019-м — около 85 тыс.

В прошлом году в среднем по России на каждого обвиняемого приходилось 2,2 зарегистрированного наркотического преступления, а в 2016 году — 1,9. В пересчете на дела, доведенные до суда, также есть рост: 1,16 эпизода на человека в минувшем году при 1,09 эпизода в 2016-м.

В некоторых регионах, в частности в Псковской области, количество зарегистрированных преступлений доходило до 5,7 на каждого обвиняемого. В Чувашии, Коми, Новгородской и Тверской областях число выявленных преступлений на обвиняемого превышало четыре.

Большое количество эпизодов, которое приходится на одного обвиняемого, может быть связано «с искусственным созданием видимости раскрытия преступлений путем квалификации действий закладчика как совершения множества самостоятельных отдельных преступлений: каждая закладка (тайник с наркотиком. — РБК) рассматривается как отдельный оконченный эпизод», — предполагает Левинсон.

Типичная схема накрутки показателей выглядит так, рассказывает Федяров: «Задерживают потребителя. Он говорит, что чаще всего берет у такого-то продавца. Ему говорят: «А давай еще купишь?» И он ходит и покупает несколько раз под контролем полиции. Получается четыре-пять эпизодов. Другая схема: берут закладчика, входящего в группу. Отпускают, он идет и вместе с этой группой делает еще пять закладок под контролем. В итоге берут на пяти эпизодах. Хотя должны были на первом». Это порочная практика, не имеющая отношения к пресечению торговли наркотиками, но именно этим, скорее всего, объясняется ситуация в регионах, где на каждого обвиняемого приходится несколько эпизодов наркопреступлений, считает он.

Где падает и где растет наркопреступность

Число связанных с наркотиками преступлений, зарегистрированных в 2019 году, примерно на 5% меньше, чем в предыдущем году, и на 5,8% меньше, чем в 2016-м.

В каждом четвертом регионе зафиксировано падение числа преступлений более чем на 15% за три года. Рекордсмены по этому показателю, у которых снижение около 40%, — Вологодская область (с 1,5 тыс. примерно до 900 преступлений в год), Санкт-Петербург (с 13,8 тыс. до 8,2 тыс.) и Астраханская область (с 2 тыс. до 1,3 тыс.).

В четверти регионов показатели за этот же период выросли более чем на 10%. В лидерах — Псковская область, где в 2019 году зарегистрировали 1,1 тыс. преступлений, хотя тремя годами ранее их число не доходило до 400, а также Северная Осетия и Тверская область, где число преступлений выросло в два раза и составило 2,3 тыс. и 1,4 тыс. соответственно. Еще в четырех регионах рост числа зарегистрированных преступлений составляет 30–40% — это Новгородская область, Коми, Севастополь и Чувашия. В Псковской, Новгородской и Тверской областях, Чувашии и Коми число установленных обвиняемых стало меньше.

Ответственность несовершеннолетних за употребление и распространение наркотических средств и психотропных веществ

Ответственность несовершеннолетних за употребление и распространение наркотических средств и психотропных веществ

Наркомания среди несовершеннолетних является одной из социально значимых проблем и вызывает особое беспокойство.

В целях противодействия незаконному обороту наркотических средств и психотропных веществ Федеральным законом Российской Федерации от 08.01.1998 № 3-ФЗ «О наркотических средствах и психотропных веществах» их употребление запрещено на всей территории Российской Федерации.

За употребление и распространение наркотических средств и психотропных веществ законодательством предусмотрена как административная, так и уголовная ответственность.

За правонарушения в сфере незаконного оборота наркотических средств наступает административная ответственность: статья 6.8. Кодекса Российской Федерации об административных правонарушениях «Незаконный оборот наркотических средств, психотропных веществ или их аналогов»,
статья 6.9. Кодекса Российской Федерации об административных правонарушениях – «Потребление наркотических средств или психотропных веществ без назначения врача», статья 6.9.1. Кодекса Российской Федерации об административных правонарушениях «Уклонение от прохождения диагностики, профилактических мероприятий, лечения от наркомании и (или) медицинской и (или) социальной реабилитации в связи с потреблением наркотических средств или психотропных веществ без назначения врача либо новых потенциально опасных психоактивных веществ», статья 6.10. Кодекса Российской Федерации об административных правонарушениях  «Вовлечение несовершеннолетнего в употребление алкогольной и спиртосодержащей продукции, новых потенциально опасных психоактивных веществ или одурманивающих веществ, за исключением случаев, предусмотренных частью 2 статьи 6.18. Кодекса Российской Федерации об административных правонарушениях, статья 20.20. Кодекса Российской Федерации об административных правонарушениях «Потребление (распитие) алкогольной продукции в запрещенных местах либо потребление наркотических средств или психотропных веществ, новых потенциально опасных психоактивных веществ или одурманивающих веществ в общественных местах».

За преступления в сфере незаконного оборота наркотических средств наступает уголовная ответственность: статья 228 УК РФ «Незаконные приобретение, хранение, перевозка, изготовление, переработка наркотических средств, психотропных веществ или их аналогов»; статья 228.1 «Незаконные производство, сбыт или пересылка наркотических средств, психотропных веществ или их аналогов»; статья 228.3. «Незаконные приобретение, хранение или перевозка прекурсоров наркотических средств или психотропных веществ, а также незаконные приобретение, хранение или перевозка растений, содержащих прекурсоры наркотических средств или психотропных веществ, либо их частей, содержащих прекурсоры наркотических средств или психотропных веществ».

Следует также помнить, что склонение к потреблению наркотических средств, психотропных веществ и их аналогов образует состав уголовно-наказуемого деяния, предусмотренного ст. 230 Уголовного кодекса Российской Федерации.

При этом отягчающим моментом является склонение именно несовершеннолетних, поскольку эти деяния относятся к общественно опасным.

Чтобы остановить наркоманию среди подростков, необходима совместная работа не только всех органов и учреждений системы профилактики по противодействию безнадзорности и правонарушений несовершеннолетних, но и активное участие со стороны родителей и законных представителей в воспитании детей, формированию у них правового сознания и негативного отношения к потреблению наркотических веществ.

Законопроект: за хранение наркотиков в размере меньше крупного в Казахстане отменят уголовную ответственность

Потребителей небольших доз наркотиков в Казахстане не будут привлекать к уголовной ответственности, сообщил заместитель начальника департамента по противодействию наркопреступности МВД РК Нуртай Абильмажинов.

«Весь оперативный состав наших спецподразделений будет ориентирован на выявление крупных наркосбытчиков, пресечение ОПГ и ликвидацию каналов поставки наркотиков, в особенности синтетических видов, на территорию страны», – сказал Нуртай Абильмажинов на брифинге в СЦК.

Он пояснил, что в Мажилисе на рассмотрении находится законопроект, предусматривающий декриминализацию и перенос в административное законодательство двух составов уголовных проступков. Это части 1 и 2 статьи 296 УК РК («Немедицинское потребление наркотиков в общественных местах» и «Незаконное изготовление, переработка, приобретение и хранение, перевозка без целей сбыта»).

Читайте также: Насколько просто в Казахстане купить синтетические наркотики и как с этим борется полиция

«Крупный размер составляет 1 килограмм марихуаны и 1 грамм героина. Такие объёмы наркотиков (меньше крупного. – Авт.) не представляют значимой общественной опасности, но в то же время декриминализация позволит высвободить необходимые силы и средства спецподразделений для решения более серьёзных задач. Те, кто употребляет, по сути больные люди. Их не будут вовлекать в орбиту уголовного законодательства. Они не представляют большой опасности», – пояснил полицейский.

В центральном аппарате МВД создано спецподразделение. Оно будет заниматься вопросами наркотической безопасности. Там будут работать специалисты в сфере высоких технологий. Посольство США помогло создать это подразделение.

«Мы будем искать IP-адреса администраторов сайтов или тех, кто заходит на сайты или сбывает наркотики. Это управление по обеспечению наркобезопасности в информационно-коммуникационной системе. Штатную численность я сказать не могу. Приказ министра уже есть о создании, теперь мы начали комплектоваться. Прошли собеседования три человека», – отметил Нуртай Абильмажитов.

В Казахстане всё чаще выявляют синтетические наркотики, которые реализуют через сайты. В 2017 году заблокировали 430 наркосайтов, в 2018 году – более 5000. За январь-апрель 2019 года выявлено 3500 таких ресурсов, столько же графической рекламы стёрли со стен зданий. За надписи 20 человек привлекли к административной ответственности за нарушение правил благоустройства и мелкое хулиганство.

Читайте также: Правительство РК наделят полномочиями незамедлительно запрещать новые виды наркотиков

«Мы предлагаем чтобы «художники», которые наносят граффити, надписи, QR-коды подлежали не административной ответственности, а уголовной. Идёт реклама и пропаганда наркотиков. За это должна быть уголовная ответственность. Это предложение согласовываем со всеми правоохранительными органами. В дальнейшем предложение пойдёт как законодательная инициатива», – заключил замначальника департамента.

С начала года в Казахстане полицейские выявили 900 наркопреступлений. Они изъяли 2,1 тонны наркотиков, в том числе 10 кг героина, 1,7 тонны марихуаны, 380 кг гашиша и 2,5 кг синтетических наркотиков.

Молекулярное хранение цифровых данных с использованием ДНК

Хранение данных: все, что вам нужно знать о новых технологиях

ИТ-руководителей сталкиваются с постоянным шквалом заявлений о «новых и улучшенных» продуктах.Но хранение данных за последние 10 лет изменилось больше, чем за предыдущие 25, и скорость изменений ускоряется: мы увидим больше изменений в следующем десятилетии, чем мы когда-либо видели раньше в компьютерных хранилищах данных. Вот что вам нужно знать.

Понимание того, что грядет — и это произойдет в ближайшие несколько месяцев — позволит опытным технологическим лидерам стать активными агентами изменений с добавленной стоимостью. Инновации реальны и фундаментальны, они влияют на архитектуру центров обработки данных и управление ими, а также позволяют создавать невероятные новые приложения.

Двадцать лет назад существовали массивы хранения — некоторые маленькие, некоторые большие — и ленты для архивирования. Теперь ландшафт хранения гораздо более разнообразен: от твердотельных накопителей PCIe с производительностью массивов хранения за миллион долларов 2010 года до масштабируемого хранилища, способного хранить сто петабайт — сто миллионов гигабайт — на недорогих обычных серверах и достаточно автоматизирован, чтобы два человека могли управлять всем массивом.

Расширяются возможности хранения, а также требования к приложениям и профили ввода-вывода.То, что работало десять лет назад — то, что мы заставляли работать — сейчас все менее и менее адекватно. Вот обзор ключевых приложений и технологий, которые меняют то, как мы определяем и развертываем хранилище.

Хотя технологии позволяют создавать новые решения, ключевым драйвером — почему нам нужны новые решения — является рост объемов данных.

Видео — потребительское и наблюдение — основная составляющая общего роста емкости. Но на предприятии сбор и анализ данных, генерируемых сетью — поведение клиентов, эффективность рекламы, тестирование дизайна A / B, тепловые карты, семантический анализ и т. Д. — все это генерирует данные, которые сами по себе должны оцениваться с точки зрения экономической ценности.

Трендовые отрасли, такие как еда, мода, развлечения и социальные сети, которым необходимо постоянно держать руку на пульсе изменений, должны собирать и анализировать массивы потоковых данных временных рядов, чтобы понять и предсказать, где их рынки идут.

Большая детализация и специфичность также увеличивают объем и скорость данных. Крупные розничные торговцы продуктами питания отслеживают свои цепочки поставок вплоть до отдельной упаковки органической капусты — а также отслеживают, кто купил эту упаковку — в случае отзыва.Поскольку стоимость хранения продолжает снижаться на 25-40% в год, все больше и больше приложений станут экономичными, что приведет к дальнейшему увеличению спроса на хранилища.

Потоковые данные, видео, искусственный интеллект и машинное обучение (ML), IoT и многое другое в течение следующего десятилетия увеличат объем частных хранилищ данных до эксабайтов. Фундаментальная проблема с ИИ заключается в том, что для повышения «интеллекта» ИИ ему требуются экспоненциально большие объемы обучающих данных и связанное с ними хранилище.

Компании, которые используют возможности больших данных и аналитики, будут процветать. Остальные отойдут на второй план.

Считайте это руководство для руководителей системой раннего предупреждения о революционных тенденциях и технологиях, которые могут помочь вашей компании добиться долгосрочного цифрового успеха. Основное внимание уделяется тому, что позволяют технологии, поэтому вы можете пролистать список, чтобы увидеть, какие возможности вам наиболее интересны.

Обязательно к прочтению

Двадцать лет назад разрозненные хранилища были проклятием для администраторов хранилищ и баз данных.Приложения были привязаны к серверной ОС и массивам хранения, на которых они работали, обновления означали новое дорогое оборудование и рискованные миграции, а необходимость справляться с пиковыми нагрузками означала, что инфраструктура постоянно перенастраивалась.

Виртуализация ОС, контейнеры, облачная интеграция и горизонтально масштабируемые архитектуры (подробнее об этом позже), которые их поддерживают, могут заставить нас тосковать по дням, когда мы могли войти в центр обработки данных и прикоснуться к нашему хранилищу. Теперь, когда облачные шлюзы интегрированы в корпоративные массивы хранения данных, а разработчики выделяют сотни терабайт для тестирования программного обеспечения, стало труднее, чем когда-либо, узнать, кто какое хранилище использует и почему.И еще труднее понять, экономически ли это выгодно, особенно с учетом византийских цен на полосу пропускания, предназначенных для того, чтобы ваши данные оставались заложниками.

То, что необходимо и в конечном итоге появится, — это приложения для отслеживания и анализа хранилищ данных разных производителей, которые используют машинное обучение, чтобы понимать и консультировать администраторов по оптимизации общей инфраструктуры хранилища с точки зрения производительности и затрат. Эти приложения будут знать, сколько стоят различные варианты хранения (включая плату за пропускную способность), как они работают, а также их доступность / надежность, и будут сравнивать это с потребностями приложений и их экономической ценностью для предприятия.Это сложная задача, так что насчет прямо сейчас?

Сейчас мы примерно там, где были 20 лет назад, управляя разными стеками хранения. Пока искусственный интеллект не сможет помочь, мы должны полагаться на специальное сочетание электронных таблиц, эвристики и человеческого интеллекта, чтобы максимально эффективно использовать наши богатые возможности хранения.

Intel, среди прочих, представит в этом году энергонезависимую память с произвольным доступом (NVRAM). Эти воспоминания сохраняют свои данные — без батарей — во время циклов включения питания.

Поскольку NVRAM находится на шине памяти сервера, она на порядки быстрее, чем диски или твердотельные накопители. Но в отличие от SSD, к NVRAM можно обращаться как в байтах памяти, так и в виде блоков хранения 4K. Это дает системным архитекторам гибкость в настройке систем для максимальной производительности и совместимости.

Обычно NVRAM используется в серверах с большой памятью. Сегодня новейшие серверы Xeon SP (Skylake) могут поддерживать до 1,5 ТБ памяти на процессор, но для этого требуются 12 модулей DIMM по 128 ГБ.Вместо этого модули Intel Optane NVRAM DIMM стоят всего 625 долларов за 128 ГБ, а также потребляют гораздо меньше энергии.

Двухпроцессорный сервер Xeon SP может поддерживать 3 ТБ памяти. Благодаря доступным модулям Optane DIMM большие базы данных можно запускать в памяти, что значительно повышает производительность.

Intel — не единственный конкурент в области NVRAM. Nantero должна начать поставки модулей памяти NVRAM DIMM в следующем году, используя технологию, которая даже быстрее, чем Optane. Суть в том, что модули NVDIMM присутствуют сегодня здесь и предлагают реальные преимущества по сравнению с модулями DRAM DIMM — и скоро появятся новые.

Обязательно для чтения

Масштабируемое хранилище

Все поставщики облачных услуг используют высокомасштабируемые хранилища для хранения эксабайт данных. Эта технология внедряется на предприятиях, в том числе в виде аппаратного (Nutanix) и программного обеспечения (Quobyte).

Самая большая разница между горизонтально масштабируемыми архитектурами, которые обычно представляют собой кластеры без совместного использования ресурсов, работающие на стандартном оборудовании, заключается в том, как они защищают данные. Активные системы ввода-вывода обычно полагаются на тройную репликацию, в то время как менее активные системы полагаются на расширенные коды стирания — подробнее о тех, что в следующем разделе — для обеспечения еще более высокого уровня защиты данных.

Важным моментом является то, что частные центры обработки данных могут создавать инфраструктуры, конкурентоспособные по стоимости с поставщиками облачных услуг, а также предлагающие меньшую задержку и больший контроль. Главное — понять, каковы ваши базовые требования к рабочей нагрузке, и отнести использование облака к временным или резким рабочим нагрузкам.

Обязательно для чтения

Коды стирания десятилетиями использовались для увеличения плотности данных на дисковых накопителях и — в форме RAID — в массивах хранения.Но расширенные коды стирания позволяют пользователям набирать желаемый уровень защиты и безопасности данных с очень низкими накладными расходами.

RAID 5, например, защищает только от отказа одного диска. Если диск выходит из строя и на одном из оставшихся дисков имеется неустранимая ошибка чтения (URE), все восстановление может завершиться неудачно.

С помощью расширенных кодов стирания (AEC) можно настроить полосу из 10 (или более) дисков, чтобы выдержать отказ четырех дисков, поэтому даже в случае отказа трех дисков URE не остановит восстановление.Для сверхвысокой защиты данных AEC можно настроить для работы в нескольких географических регионах, так что даже потеря одного или нескольких центров обработки данных не приведет к потере данных.

Сравните это с RAID 5, который защищает только от одного сбоя. RAID 6, который защищает от двух сбоев, требует большей четности, распределенной по емкости двух дисков.

При использовании AEC накладные расходы на емкость обычно составляют около 40%, но при правильной настройке они обеспечивают защиту от любого количества сбоев — диска, сервера или даже центра обработки данных — по вашему выбору.Сорок процентов может показаться высокой ценой, но если вы когда-либо теряли данные на RAID-массиве, это выгодная сделка.

Обратной стороной AEC является то, что математика, необходимая для создания необходимой избыточности, может потребовать много ресурсов процессора: это не для обработки транзакций. Однако улучшение AEC в ближайшие годы снизит требования к вычислительным ресурсам, что приведет к повышению производительности многих приложений.

Обязательно читать

Безопасность данных, связанная с доступностью, но направленная на то, чтобы не допустить попадания данных в чужие руки, претерпит коренные изменения в ближайшие несколько лет.С появлением в прошлом году Европейских общих правил защиты данных (GDPR) ставки за неправильное обращение с данными европейских граждан резко возросли. Требуется шифрование в состоянии покоя и в полете. Об утечках данных необходимо сообщать. Штрафы могут быть огромными.

Это приведет к всеобщему принятию стратегий глубокоэшелонированной защиты, что является необходимым ответом на реальность мобильных вычислений и Интернета вещей: существует слишком много точек входа, чтобы полагаться на одну линию защиты.

Машинное обучение в конечном итоге будет играть ключевую роль, но проблема заключается в огромных объемах данных, необходимых для обучения системы.Это требует, чтобы организации обменивались данными об угрозах с использованием протоколов, которые позволяют автоматизировать обмен информацией об угрозах и устранять их.

Обязательно прочесть

Если ваша организация использует или планирует использовать машинное обучение в значительной степени, вам необходимо ознакомиться с нейронными процессорами. Нейронные процессоры — это массивно-параллельные устройства арифметической логики, оптимизированные для математических расчетов, которые требуются моделям машинного обучения.

Нейронные процессоры становятся все более распространенными.Один из них есть в Apple Watch, и все поставщики облачных услуг создали свои собственные проекты. Например, ускоритель Google TensorFlow способен выполнять 90 триллионов операций в секунду. Ожидайте гораздо более быстрые версии в ближайшем будущем.

Итак, что нейронные процессоры требуют от хранилища? Пропускная способность.

В приложениях реального времени, таких как робототехника, автономные транспортные средства и онлайн-безопасность, нейронный процессор должен получать соответствующие данные как можно быстрее, поэтому полоса пропускания важна.Поскольку сверточные нейронные сети обычно имеют несколько уровней, большинство результатов вычислений передаются внутри нейронного процессора, а не во внешнее хранилище. Таким образом, процессорам не нужны кеши L3. Основное внимание уделяется подаче данных с минимальной задержкой, чтобы необходимые математические вычисления могли быть выполнены как можно скорее.

Обязательно к прочтению

Конструкция шкалы стойки (RSD) — это концепция, которую Intel продвигает в течение многих лет, и в прошлом году ее части объединились, а в этом году появятся новые достижения.По сути, RSD — это ответ на разные темпы технического прогресса в области процессоров, хранилищ, сетей и графических процессоров.

Концепция RSD проста. Возьмите отдельные стойки с ЦП, памятью, хранилищем и графическими процессорами, подключите их все с помощью межсоединения с высокой пропускной способностью и малой задержкой, а с помощью программного обеспечения настройте виртуальные серверы с любой комбинацией вычислений, памяти и хранилища, необходимой для конкретного приложения. . Думайте о RSD как о частном облаке с широкими возможностями настройки.

Система HP Synergy — это одна из реализаций концепции, основанная, конечно, на оборудовании HP.Liqid Inc. предлагает версию программного обеспечения, которая поддерживает обычное оборудование и несколько фабрик. Ожидайте, что на рынок выйдут и другие.

С появлением PCIe v4 и связанного с ним обновления NVMe (NVMe может работать поверх PCIe), а также увеличения количества поддерживаемых ЦП линий PCIe, межсоединение PCIe, наконец, имеет достаточную пропускную способность для обработки требовательных приложений. Имея возможность обновлять компоненты по мере совершенствования их технологий — без затрат на покупку всего остального — ИТ-директора смогут осуществлять гораздо более детальный контроль над критически важной инфраструктурой.

Обязательно к чтению

Обработка на основе хранилища

С быстрым ростом объемов данных на периферии и в центрах обработки данных становится все труднее перемещать данные на процессоры. Вместо этого обработка перемещается в хранилище.

Под рубрикой интеллектуального хранения можно выделить две разные идеи. На периферии предварительная обработка и обработка данных, возможно, с использованием машинного обучения, снижает требования к полосе пропускания для центров обработки данных. В приложениях с большими данными совместное использование пула хранилища и / или памяти позволяет любому количеству процессоров совместно использовать данные, необходимые для достижения требуемой производительности.

Эти концепции в настоящее время называются интеллектуальными системами хранения HPE, Dell / EMC и NGD Systems. Это выходит за рамки оптимизаций, встроенных в контроллеры массивов хранения, которые решают проблемы с задержкой диска или шаблонами доступа. Назовите это Storage Intelligence v2.

Представьте себе петабайтную стойку с быстрой, плотной, энергонезависимой памятью, подключенную к десяткам мощных процессоров в следующей стойке. При надлежащей синхронизации и детальной блокировке тысячи виртуальных машин могут работать с огромным пулом данных, не перемещая сотни терабайт по сети.

С появлением быстрых и дешевых нейронных процессоров и достаточного корпуса для машинного обучения интеллектуальное хранилище можно научить в значительной степени самоуправляемым. Кроме того, интеллектуальный пул данных может. Например, используйте ML для обнаружения состояний гонки на основе шаблонов доступа и активности блокировки.

Обязательно читать

Дисковые накопители не умерли и, по сути, переживают ренессанс технологий.Последние накопители имеют емкость до 16 ТБ, и в течение следующих пяти лет это число почти удвоится. Диски останутся самым дешевым хранилищем с произвольным доступом на долгие годы. Технологии, продвигающие жесткие диски вперед, включают:

Гелий
Гелий снижает аэродинамическое сопротивление и турбулентность, позволяя поставщикам втиснуть больше пластин в накопитель, уменьшая при этом мощность и нагрев. Популярно в облачных дата-центрах.

HAMR
Накопители с подогревом магнитной записи должны поступить в следующем году от Seagate, и WD, вероятно, последует за ними.С помощью лазеров или микроволн крошечный участок диска нагревается до 400 градусов Цельсия перед записью. В холодном состоянии среда гораздо более устойчива к переворачиванию битов. С технической точки зрения тепло позволяет использовать магнитный материал с высокой коэрцитивной силой, что обеспечивает большую плотность данных.

Магнитная запись с черепицей
Головки чтения / записи имеют гораздо более широкую дорожку записи, чем требуется головке считывания. Уменьшая расстояние между дорожками, дорожки записи перекрываются, как черепица, что обеспечивает гораздо более высокую плотность данных.Приводы SMR (черепичная магнитная запись) оптимальны для архивов.

Обязательно читать

Наступила эра вычислений, ориентированных на данные. Поскольку используется более 4,5 миллиардов компьютеров, большинство из которых являются мобильными, а развитие Интернета вещей все еще в будущем, технологии и управление данными станут главным приоритетом как по экономическим, так и по юридическим причинам.

Данные становятся все более конкурентным оружием. При правильном хранении даже старые данные могут иметь ценность благодаря новым аналитическим инструментам.К счастью, хранение данных экономически более эффективно, чем когда-либо, и эта тенденция сохранится в обозримом будущем.

Истории по теме:

10 преимуществ использования облачного хранилища

Наступает 2020 год, и теперь облачное хранилище стало одним из самых удобных и эффективных способов хранения данных в Интернете. В Интернете есть много поставщиков услуг хранения, и эта область настолько обширна, что теперь каждая крупная технологическая компания владеет отдельным хранилищем, которое помогает получать значительную прибыль от пользователей.При облачном хранении пользователь, вместо того, чтобы сохранять данные в локальном хранилище или на жестком диске, хранит данные где-то в удаленном месте, к которому можно получить доступ с помощью интернет-сервиса. Существуют различные поставщики услуг облачного хранения, которые продают услуги хранения для разных диапазонов.

Как и другие технологии и услуги, облачное хранилище имеет свои плюсы и минусы. В этой статье мы обсудим десять преимуществ использования облачного хранилища. Вы также должны знать обо всех недостатках конкретного инструмента, поэтому здесь мы также указали некоторые существенные недостатки использования служб облачного хранения.

Чтобы глубже погрузиться в эти темы, ознакомьтесь с курсом обучения Cloud Academy «Приступая к созданию облачных решений». На этом пути обучения вы приобретете свои знания об облачных сервисах, начиная с основ вычислений AWS и хранилища AWS.

10 преимуществ использования облачного хранилища

1. Удобство и доступность

Большинство облачных сервисов имеют простой в использовании пользовательский интерфейс и функцию перетаскивания. Например, вы можете думать о Google Диске от Google или iDrive от Apple.У них обоих простой интерфейс, и вы можете легко загрузить файл на свой онлайн-диск без каких-либо специальных знаний. Например, если вы сохранили файл на диске с помощью мобильного устройства, вы можете получить этот файл с помощью компьютера или любого другого устройства с подключением к Интернету. Неважно, где вы сейчас находитесь. Если у вас хорошее подключение к Интернету, вы можете получить доступ к своим файлам, которые хранятся в Интернете где-нибудь в центрах обработки данных.

Если что-то связано с Интернетом, то безопасность становится нашей основной задачей, и в основном крупные и малые предприятия используют службы облачного хранения, поэтому, прежде чем выбрать облачную службу для своего бизнеса, они должны убедиться, что эта служба обеспечивает лучшую безопасность.

Облачное хранилище сохраняет ваши данные на резервных серверах, поэтому даже если один из центров обработки данных выйдет из строя, вашими данными будут управлять другие центры обработки данных, что сделает ваши данные безопасными и контролируемыми. Если все центры обработки данных поставщика хранилища рухнут или будут разрушены, тогда могут быть потеряны только ваши данные, а это совершенно невозможное явление, потому что служба облачного хранилища состоит из тысяч центров обработки данных.

Некоторые поставщики облачных хранилищ хранят копии ваших данных в разных центрах обработки данных, поэтому даже если данные будут потеряны или повреждены на сервере, резервная копия должна быть там.

Используя только облачную службу хранения, компания передает проблему хранения на аутсорсинг. Используя онлайн-хранилище данных, предприятие сокращает затраты на внутренние ресурсы. Благодаря этой технологии самой компании не нужны никакие внутренние силы и поддержка для управления и хранения своих данных; поставщик облачного хранилища обрабатывает все. Предоставляются некоторые услуги облачного хранилища, которые предоставляют облачное хранилище на всю жизнь по доступной цене, что является беспроигрышным предложением для малого бизнеса и отдельных пользователей.

4. Удобный обмен файлами

Каждая служба облачного хранилища предоставляет функции обмена файлами, которые помогают вам делиться своим файлом с другими пользователями. Вы можете отправить файл другому пользователю или пригласить нескольких пользователей для просмотра ваших данных. В основном все поставщики предоставляют облачную среду, в которой два пользователя, использующие одну и ту же облачную службу, могут обмениваться своими данными, хотя есть только несколько поставщиков услуг, которые предлагают функции межплатформенного обмена файлами.

5. Автоматизация

Облачное хранилище работает как жесткий диск в вашей системе, и если вы хотите сохранить какой-либо файл в облаке, это не помешает выполнению текущих задач.Услугу облачного хранилища может использовать несколько пользователей, и текущая ответственность одного пользователя не повлияет на задачу другого, поскольку все это управляется и автоматизируется поставщиком облачного хранилища.

6. Несколько пользователей

С одной и той же облачной средой может быть связано более одного использования. Благодаря облачному хранилищу несколько пользователей могут совместно работать с общим файлом. Например, вы можете предоставить доступ к своим файлам нескольким пользователям, чтобы они могли открывать и редактировать ваш файл.Уполномоченное лицо может получить доступ к вашему файлу из любой точки мира в режиме реального времени.

7. Синхронизация

Каждый поставщик хранилища предоставляет функцию синхронизации. С помощью синхронизации вы можете синхронизировать данные облачного хранилища с любым устройством, которое хотите. Как мы уже говорили, мы можем получить доступ к нашим данным с любого устройства и из любой точки мира, но эта доступность осуществляется с помощью синхронизации. При наличии надлежащих учетных данных вы можете войти в свою службу хранилища, на которую подписана подписка, с любого устройства и получить доступ ко всем своим данным, которые были сохранены в этом облачном хранилище.Нет необходимости копировать данные с одного устройства на другое, но вам нужно хорошее интернет-соединение, чтобы иметь доступ ко всем вашим файлам.

8. Удобная

Вам не нужен жесткий диск или флэш-накопитель для доступа или просмотра ваших данных — все делается онлайн. Однако, если вы хотите загрузить какой-либо файл или данные, вам может потребоваться устройство хранения или вы можете загрузить эти данные на свое устройство. Но если вы хотите просматривать свои данные, они не будут занимать места на вашем устройстве. Даже если вы внесете какие-либо изменения в данные, все изменения отразятся на каждом устройстве, которое синхронизируется с этой службой хранения.Для использования облачного хранилища вам не требуются какие-либо экспертные или технические знания. Всю тяжелую работу выполняет сам поставщик.

9. Масштабируемость

Облачное хранилище масштабируемо и гибко. Если текущего плана хранения недостаточно, вы можете обновить тарифный план. И вам не нужно перемещать какие-либо данные из одного места в другое, дополнительное пространство будет добавлено к вашей среде хранения с некоторыми дополнительными функциями.

10. Аварийное восстановление

У каждой компании есть план хранения резервных копий, в котором они хранят все копии своих данных.Если они столкнутся с какой-либо проблемой сбоя или потери данных, они могут получить данные из своего плана резервного копирования, и поэтому облачное хранилище — лучший способ справиться с этой проблемой. Сервис облачного хранилища обеспечивает лучшую платформу для аварийного восстановления данных. Любой бизнес может использовать облачное хранилище в качестве хранилища резервных копий данных, поэтому в случае потери данных компания может получить резервные данные из облака.

Недостатки использования облачного хранилища

1. Перетащите

Параметр перетаскивания может перемещать исходные данные из одного места в другое, поэтому убедитесь, что вместо этого используйте параметр перетаскивания.Просто используйте метод копирования и вставки.

2. Интернет-зависимость

Без Интернета вы не сможете получить доступ к своим данным при загрузке файла из облачного хранилища. Если произойдет сбой в Интернете, это может привести к повреждению данных, которые вы загружали.

3. Безопасность и конфиденциальность данных

У многих поставщиков облачных хранилищ отсутствуют поля безопасности и конфиденциальности, и во многих случаях происходит утечка данных из облачного хранилища.

4. Дорогие облачные хранилища

Большинство лучших облачных сервисов дороги; это потому, что они специально разработаны для деловых целей.Если вы выберете менее дорогой план, вам, возможно, придется пойти на компромисс с некоторыми функциями.

Заключение

За последнее десятилетие облачные сервисы приобрели такую ​​большую популярность в индустрии программного обеспечения — и теперь у каждой крупной технологической компании есть свой облачный сервис. Независимо от того, малый это или крупный бизнес, всем требуется облачный сервис для хранения данных, потому что данные — это следующее мощное оружие. Крупные технологии вкладывают большие средства в облачную отрасль, поскольку они могут полностью изменить структуру хранения и обмена данными.

Почему использование и популярность облачного хранилища растет

Социальные психологи смотрят на вещи немного иначе, чем большинство. Там, где другие ученые разбивают идеи на составляющие, социолог будет изучать отношения между системами. Вместо того, чтобы спрашивать «как» что-то работает, они с большей вероятностью спросят «почему» что-то происходит. Популярность облачных систем хранения данных не исключение. Легко сравнивать компоненты, которые могут предложить основные поставщики, но просто знание емкости хранилища мало что значит без понимания того, почему кто-то вообще будет использовать облачные системы хранения.Примерно за 10 долларов в месяц человек может получить от 100 до 200 ГБ хранилища данных. То, что человек делает с этими данными, делает облачные вычисления значимыми. В ходе исследования Gatepoint руководители предприятий и ИТ-специалисты отметили некоторые преимущества использования облачного хранилища. Доступ к данным во время стихийных бедствий получил высшую оценку (63 процента) опрошенных, в то время как около половины опрошенных подчеркнули преимущества централизации управления данными, а 44 процента указали на экономию затрат за счет облака.Эти преимущества в основном предназначены для корпоративных клиентов служб облачного хранения. Хотя аналогичные преимущества ощущают и малый бизнес, и потребители.

Общение с друзьями

Google теперь бесплатно предоставляет 15 ГБ облачного хранилища для совместного использования в своих приложениях Google Drive, Gmail и Google+ Photos. Для тех, кто приобрел определенные приложения Google, размер увеличивается до 30 ГБ. Само по себе это объявление не впечатляет. У Amazon, Bitcasa и CX есть бесплатные программы для хранения данных.Но облачное хранилище Google не существует в коммуникационном вакууме. Хранилище данных совместно используется некоторыми из самых популярных приложений Google для электронной связи. Google+ — это версия платформы социальных сетей от Google. Google очень умно сделал свои платформы кросс-интегрированными. Человек может сделать снимок со своего смартфона Android, автоматически синхронизировать фотографию с облачным сервером и поделиться им через Google+ и Gmail. Все это можно сделать несколькими нажатиями кнопки. Именно эта способность быстро хранить и передавать информацию и фотографии делает облачную систему Google такой популярной.Google делает ставку на это, предоставляя пользователям дополнительное пространство для хранения данных в социальных сетях.

Эффективность на практике

Поскольку здесь главной целью является эффективность, возможно, стоит изучить лучшие службы синхронизации и хранения файлов на сайте HostGator. Сравнение потребностей компании с особенностями облачных систем хранения, безусловно, лучший способ выбрать облачный сервер. Google Drive, SugarSync и DropBox — это системы обмена файлами и синхронизации, которые позволяют пользователю получать доступ к своим файлам из любого места, где есть доступ в Интернет.Механизм синхронизации позволяет пользователю редактировать файлы в резидентном офисном пакете компьютера. Google Диск, ранее называвшийся Документами Google, имеет встроенный офисный пакет, так что документы могут изменяться в системе. DropBox может быть одним из наиболее популярных поставщиков облачных хранилищ и синхронизации, но журнал PC Magazine отдает должное SugarSync, который они рекламируют как наиболее интуитивно понятный из сервисов синхронизации файлов.

Хранение музыки

Apple имеет собственное облачное хранилище специально для музыки. iTunes Match имеет годовую подписку около 25 долларов и предлагает систему привязки к облаку для музыки.Служба сопоставляет существующие песни iTunes из плейлиста пользователя с iCloud и загружает только те песни, которых еще нет в облаке. Сопоставляя песни с 26 миллионами, уже находящимися в облаке, пользователю не нужно терпеть время ожидания, необходимое для загрузки всего списка воспроизведения. Когда он находится в облаке, пользователь может воспроизводить его с любого из своих устройств Apple. У Google есть своя версия iTunes Match, которая называется (бесцеремонно) Google Music. Он позволяет пользователю загружать 20 000 песен бесплатно или неограниченное количество музыки в стиле радио менее чем за 10 долларов в месяц.Хотя технически это облачная система хранения, Google Music не является частью хранилища данных, совместно используемого Google Диском, Gmail и Google+ Фото.

Частные облака

Интернет сделал мир меньше. Треть населения мира имеет доступ в Интернет. В Северной Америке это число составляет почти 80 процентов. У Facebook более миллиарда пользователей. Мы общаемся по всему миру, не думая о местонахождении или расстоянии. Интернет изменил наше представление о мире и способах ведения бизнеса.Отчет CA Technologies показывает, что 78 процентов компаний США хранят данные в частных облачных системах. Это означает, что данные доступны для всех, кого пользователь сочтет нужным. Когда Google впервые представил Google Docs, это было не хранилище, которое имело значение. Пользователей поразило взаимодействие на расстоянии. Человек мог составить документ в Лос-Анджелесе, а затем просмотреть, отредактировать и подписать его в Гонконге за считанные минуты. До Docs это была прерогатива крупных компаний со специальным программным обеспечением для оптического распознавания, которое могло сканировать документ для передачи.Теперь эта технология доступна владельцам малого бизнеса и предпринимателям. Отношения, созданные благодаря облачным вычислениям, означают, что географическое положение бизнеса больше не должно находиться на его заднем дворе.

Элизабет — отмеченный наградами соавтор книги CoupleDumb.com, который входит в 1% лучших сайтов для взаимоотношений. У нее 25-летний успешный опыт ведения малого бизнеса. Элизабет также является соавтором книги «Дезаффирмации» и со-ведущей веб-сериала об отношениях «Реабилитация отношений».

Десять простых правил хранения цифровых данных

Образец цитирования: Hart EM, Barmby P, LeBauer D, Michonneau F, Mount S, Mulrooney P, et al.(2016) Десять простых правил хранения цифровых данных. PLoS Comput Biol 12 (10): e1005097. https://doi.org/10.1371/journal.pcbi.1005097

Редактор: Скотт Маркел, Dassault Systemes BIOVIA, США

Опубликовано: 20 октября 2016 г.

Это статья в открытом доступе, свободная от всех авторских прав, и ее можно свободно воспроизводить, распространять, передавать, изменять, создавать или иным образом использовать в любых законных целях.Работа сделана доступной по лицензии Creative Commons CC0 как общественное достояние.

Финансирование: DL финансировалось Институтом биологических наук в области энергетики и Национальным центром суперкомпьютерных приложений. FM финансировался iDigBio (Интегрированные оцифрованные биоколлекции), и поэтому этот материал основан на работе, поддержанной Программой продвижения оцифровки коллекций биоразнообразия Национального научного фонда (Соглашение о сотрудничестве EF-1115210). KHW финансировался Университетом штата Вашингтон.NBZ финансировался Фондом Гордона и Бетти Мур через грант GBMF 2550.03 Фонду исследований в области наук о жизни. PB финансировался Советом по естественным наукам и инженерным исследованиям Канады и Фондом академического развития Университета Западного Онтарио. TP финансировался грантом NSERC Discovery Grant и грантом Start-Up Университета Монреаля. Финансирующие организации не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили, что никаких конкурирующих интересов не существует.

Введение

Данные являются центральной валютой науки, но природа научных данных резко изменилась с быстрым развитием технологий. Это изменение привело к разработке широкого спектра форматов данных, размеров наборов данных, сложности данных, вариантов использования данных и методов совместного использования данных. Улучшения в высокопроизводительном секвенировании ДНК, устойчивая институциональная поддержка больших сенсорных сетей [1,2] и обзоры неба с помощью широкоформатных цифровых камер [3] создали огромные объемы данных.В то же время сочетание все более разнообразных исследовательских групп [4] и агрегирование данных на порталах (например, для данных о биоразнообразии, GBIF.org или iDigBio) требует усиления координации между сборщиками данных и учреждениями [5,6]. Как следствие, «данные» теперь могут означать что угодно: от петабайтов информации, хранящейся в профессионально обслуживаемых базах данных, до электронных таблиц на одном компьютере и рукописных таблиц в лабораторных блокнотах на полках. Все по-прежнему важно, но методы курирования данных должны продолжать идти в ногу с изменениями, вызванными новыми формами данных и новыми методами сбора и хранения данных.

Хотя как о достоинствах совместного использования данных [7,8], так и о лучших практиках для этого [9,10] написано много, хранению данных уделяется сравнительно меньше внимания. Надлежащее хранение является предпосылкой для совместного использования, и действительно, неадекватное хранение способствует явлению распада данных или «энтропии данных», при которой данные, независимо от того, являются ли они общедоступными или нет, со временем становятся менее доступными [11–14]. Рекомендации по хранению данных часто начинаются и заканчиваются следующим заявлением: «Храните данные в стандартном репозитории сообщества.«Это хороший совет, особенно с учетом того, что ваши данные, скорее всего, будут повторно использованы, если они доступны на сайте сообщества. Репозитории сообщества также могут предоставить рекомендации по передовому опыту. Например, если вы архивируете данные секвенирования, репозиторий, такой как тот, что находится в ведении Национального центра биотехнологической информации (NCBI) (например, GenBank), не только предоставляет место для архивирования данных, но и поощряет набор практик, связанных с последовательным форматирование данных и включение соответствующих метаданных.Однако политики хранения данных в разных репозиториях сильно различаются [15]. План управления данными, использующий передовой опыт на всех этапах жизненного цикла данных, облегчит переход от локального хранилища к репозиторию [16]. Точно так же наличие такого плана может облегчить переход от репозитория к репозиторию, если финансирование заканчивается или требования меняются. Хорошие методы хранения важны даже (или особенно) в тех случаях, когда данные могут не соответствовать существующему репозиторию, когда для архивирования подходят только производные данные (а не необработанные данные) или когда существующий репозиторий может иметь слабые стандарты.

В этой статье описываются десять простых правил для хранения цифровых данных, которые выросли в результате долгого обсуждения среди преподавателей инициатив Software and Data Carpentry [17,18]. Инструкторы по программному обеспечению и обработке данных — это ученые из разных слоев общества, которые столкнулись с различными проблемами хранения данных и активно обучают других ученых передовым методам научных вычислений и управления данными. Таким образом, эта статья представляет собой квинтэссенцию коллективного опыта и, надеюсь, будет полезна ученым, сталкивающимся с различными проблемами хранения данных.Мы дополнительно предоставляем глоссарий общеупотребительной лексики для читателей, которые могут не знать конкретные термины.

Правило 1: предвидеть, как будут использоваться ваши данные

Можно избежать большинства проблем, возникающих во время анализа, управления и публикации данных, имея четкую дорожную карту того, чего ожидать до начала сбора данных. Например:

• Как будут получены необработанные данные? Доставляются ли они с помощью машины или программного обеспечения, или вводятся с клавиатуры?
• Какого формата ожидает программное обеспечение, используемое для анализа?
• Существует ли стандартный формат сообщества для этого типа данных?
• Сколько данных будет собрано и за какой период времени?

Ответы на эти вопросы могут варьироваться от простых случаев (например,g., данные о секвенировании, хранящиеся в формате FASTA, который может использоваться «как есть» на протяжении всего анализа), для экспериментальных проектов, включающих несколько инструментов, каждый со своим собственным выходным форматом и соглашениями об обработке. Знание состояния, в котором должны находиться данные на каждом этапе анализа, может помочь (i) определить программные инструменты для использования при преобразовании между форматами данных, (ii) сориентировать технологический выбор в отношении того, как и где данные должны храниться, и (iii) рационализировать конвейер анализа, сделав его более удобным для повторного использования [19].

Также ключевой является возможность оценить объем хранилища, необходимый для хранения данных, как во время, так и после анализа. Требуемая стратегия будет отличаться для наборов данных разного размера. Небольшими наборами данных (например, размером несколько мегабайт) можно управлять локально с помощью простого плана управления данными, тогда как более крупные наборы данных (например, от гигабайт до петабайт) почти во всех случаях потребуют тщательного планирования и подготовки (Правило 10).

Наконец, метаданные проекта должны быть рассмотрены на раннем этапе и должны быть спланированы.На раннем этапе следует разработать план того, какие метаданные будут собираться и как они будут поддерживаться и храниться (Правило 7). Также не забудьте рассмотреть программные инструменты сообщества, которые могут облегчить курирование метаданных и отправку в репозиторий. Примеры в биологических науках включают Morpho для экологических метаданных [20] и mothur [21] для отправки в Архив чтения последовательностей NCBI.

Правило 2: знайте свой вариант использования

Четко определенные варианты использования упрощают хранение данных.В идеале до начала сбора данных исследователи должны быть в состоянии ответить на следующие вопросы:

• Следует ли архивировать необработанные данные (Правило 3)?
• Следует ли данные, используемые для анализа, готовить один раз или каждый раз заново генерировать из необработанных данных (и какое значение будет иметь этот выбор с точки зрения требований к хранению, вычислениям и воспроизводимости)?
• Можно ли избежать ручных исправлений в пользу программных или самодокументированных подходов (например, Jupyter notebook или R markdown)?
• Как будут отслеживаться изменения данных и где эти отслеживаемые изменения будут регистрироваться?
• Будут ли опубликованы окончательные данные, и если да, то в каком формате?
• Существуют ли ограничения или соображения конфиденциальности, связанные с данными (например,g., результаты опроса с использованием информации, позволяющей установить личность [PII], находящихся под угрозой исчезновения видов, или конфиденциальной деловой информации)?
• Потребуется ли институциональная проверка перед публикацией данных?
• Требует ли финансирующее агентство размещения данных в общедоступном архиве, и если да, то когда, где и под какой лицензией?
• Требует ли целевой журнал депонирования данных?

Ни на один из этих вопросов нет универсальных ответов, и это не единственные вопросы, которые нужно задать перед началом сбора данных.Но знание того, что, когда и как вы используете данные, приблизит вас к надежной дорожной карте о том, как обрабатывать данные от сбора, публикации и архивирования.

Правило 3. Сохраняйте необработанные данные в сыром виде

Поскольку аналитические процедуры и процедуры обработки данных со временем улучшаются или иным образом меняются, наличие доступа к «необработанным» (необработанным) данным может облегчить повторный анализ и аналитическую воспроизводимость в будущем. По мере совершенствования алгоритмов обработки и увеличения вычислительной мощности будут доступны новые анализы, которые были невозможны во время первоначальной работы.Если хранятся только производные данные, другим исследователям может быть сложно подтвердить аналитические результаты, оценить достоверность статистических моделей или напрямую сравнить результаты исследований.

Следовательно, данные всегда должны храниться в необработанном формате, когда это возможно (в рамках технических ограничений). Хранение и архивирование данных в их исходном состоянии не только является наиболее подходящим способом обеспечения прозрачности анализа, но и является общей точкой отсчета для анализа производных.Что представляют собой достаточно «сырые» данные, не всегда ясно (например, значения сопротивления от датчика температуры или изображения проточной ячейки секвенирования Illumina обычно не архивируются после начальной обработки). Однако суть этого правила заключается в том, что данные должны быть как можно более «чистыми» при хранении. Если происходят производные, они должны быть задокументированы путем архивирования соответствующего кода и промежуточных наборов данных.

Криптографический хэш (например, SHA или MD5) необработанных данных должен быть сгенерирован и распределен с данными.Эти хэши гарантируют, что набор данных не подвергся скрытому повреждению и / или манипуляциям при хранении или передаче (см. «Тихое повреждение данных Internet2»). Для достаточно больших наборов данных высока вероятность скрытого повреждения данных. Этот метод широко использовался многими дистрибутивами Linux для распространения образов и оказался очень эффективным с минимальными усилиями.

Правило 4: Храните данные в открытых форматах

Чтобы максимизировать доступность и долгосрочную ценность, предпочтительно хранить данные в форматах со свободно доступными спецификациями.Соответствующий тип файла будет зависеть от хранимых данных (например, числовые измерения, текст, изображения, видео), но основная идея заключается в том, что для доступа к данным не требуется проприетарное программное обеспечение, оборудование или покупка коммерческой лицензии. Проприетарные форматы меняются, организации уходят из бизнеса, а изменения лицензионных сборов делают доступ к данным в проприетарных форматах недоступным и опасным для конечных пользователей. Примеры форматов открытых данных включают в себя значения, разделенные запятыми (CSV) для табличных данных, иерархический формат данных (HDF) [22] и NetCDF [23] для иерархически структурированных научных данных, переносимую сетевую графику (PNG) для изображений, KML (или другие Формат Open Geospatial Consortium [OGC]) для пространственных данных и расширяемый язык разметки (XML) для документов.Примеры закрытых форматов включают DWG для чертежей AutoCAD, документ Photoshop (PSD) для растровых изображений, Windows Media Audio (WMA) для файлов аудиозаписи и Microsoft Excel (XLS) для табличных данных. Даже если в повседневной обработке используются закрытые форматы (например, из-за требований к программному обеспечению), данные, хранящиеся в архивных целях, должны храниться в открытых форматах. Обычно это не запретительно; большинство программных продуктов с закрытым исходным кодом позволяют пользователям экспортировать данные в открытый формат.

Данные должны храниться не только в открытом формате, но и в формате, который компьютеры могут легко использовать для обработки.Это особенно важно, когда наборы данных становятся больше. Сделать данные удобными для использования лучше всего с помощью стандартных форматов данных с открытыми спецификациями (например, CSV, XML, JSON, HDF5) или с помощью баз данных. Такие форматы данных могут обрабатываться различными языками программирования, поскольку обычно доступны эффективные и хорошо протестированные библиотеки для их анализа. Эти стандартные форматы данных также обеспечивают совместимость, облегчают повторное использование и снижают вероятность потери данных или ошибок при преобразовании между форматами.Примеры машиночитаемых открытых форматов, которые было бы нелегко обработать, включают данные, включенные в текст файла PDF, или отсканированные изображения табличных данных из бумажного источника.

Правило 5: Данные должны быть структурированы для анализа

Чтобы в полной мере использовать данные, может быть полезно структурировать их таким образом, чтобы облегчить их использование, интерпретацию и анализ. Одна такая структура данных хранит каждую переменную в виде столбца, каждое наблюдение в виде строки и каждый тип единицы наблюдения в виде таблицы (рис. 1).Технический термин для этой структуры — «3-я нормальная форма Кодда», но она стала более доступной как концепция аккуратных данных [24]. Когда данные организованы таким образом, дублирование информации сокращается, и становится легче разбить или суммировать набор данных, чтобы включить в него интересующие переменные или наблюдения.

Рис. 1. Пример неопрятного набора данных (A) и его аккуратного эквивалента (B).

Набор данных A неопрятен, потому что он смешивает единицы наблюдения (виды, местоположение наблюдений, измерения отдельных лиц), единицы смешаны и перечислены с наблюдениями, перечислено более одной переменной (широта и долгота для координат и род и виды для названий видов), и несколько форматов используются в одном столбце для дат и географических координат.Набор данных B — это пример аккуратной версии набора данных A, который уменьшает количество информации, дублируемой в каждой строке, ограничивая вероятность внесения ошибок в данные. Имея виды в отдельной таблице, их можно однозначно идентифицировать с помощью таксономического серийного номера (TSN) из Интегрированной системы таксономической информации (ITIS), что упрощает добавление информации о классификации этих видов. Это также позволяет исследователям редактировать таксономическую информацию независимо от таблицы, в которой хранятся измерения отдельных особей.Уникальные значения для каждой единицы наблюдения облегчают программную комбинацию информации с использованием операций «соединения». В этом примере, если фокус исследования, для которого были собраны эти данные, основан на измерениях размеров особей (вес и длина), информация о том, «где», «когда» и «какие» животные были измерены, может быть считается метаданными. Использование аккуратного формата делает это различие более ясным.

https://doi.org/10.1371/journal.pcbi.1005097.g001

Одна аксиома о структуре данных и кода гласит, что нужно «писать код для людей, писать данные для компьютеров» [25]. Когда данные можно легко импортировать и обрабатывать с помощью знакомого программного обеспечения (будь то язык сценариев, электронная таблица или любая другая компьютерная программа, которая может импортировать эти общие файлы), данные становится проще повторно использовать. Кроме того, наличие исходного кода для программного обеспечения, выполняющего анализ, обеспечивает источник того, как данные обрабатываются и анализируются.Это делает анализ более прозрачным, поскольку все предположения о структуре данных неявно указываются в исходном коде. Это также позволяет извлекать выполненные анализы, их воспроизводить и изменять.

Взаимодействие упрощается, если имена переменных сопоставляются с существующими стандартами данных. Например, для данных о биоразнообразии Дарвинский базовый стандарт предоставляет набор терминов, которые описывают наблюдения, образцы, образцы и связанную с ними информацию для таксонов.Для наук о Земле и экосистемных моделей и данных широко применяются конвенции по прогнозированию климата, так что существует большая экосистема программного обеспечения и продуктов данных для уменьшения технического бремени переформатирования и повторного использования больших и сложных данных. Поскольку каждый термин в таких стандартах четко определен и задокументирован, каждый набор данных может использовать эти термины последовательно; это облегчает обмен данными между учреждениями, приложениями и дисциплинами. С машиночитаемыми, совместимыми со стандартами данными становится проще создать интерфейс прикладного программирования (API) для запроса набора данных и получения интересующего подмножества, как указано в правиле 10.

Правило 6: Данные должны быть однозначно идентифицируемыми

Для обеспечения воспроизводимости данные, используемые в научной публикации, должны быть однозначно идентифицируемыми. В идеале наборы данных должны иметь уникальный идентификатор, такой как идентификатор цифрового объекта (DOI), ключ архивного ресурса (ARK) или постоянный URL-адрес (PURL). Все большее количество онлайн-сервисов, таких как Figshare, Zenodo или DataOne, могут предоставлять их. Существуют также институциональные инициативы, о которых знают ваши местные библиотекари.Некоторым репозиториям могут потребоваться определенные идентификаторы, которые со временем могут измениться. Например, данные последовательности NCBI в будущем будут идентифицироваться только идентификаторами «accession.version». Идентификаторы «GI» (используются с 1994 г.) будут упразднены в конце 2016 г. [26].

Несмотря на то, что стандарты идентификаторов могут со временем меняться, наборы данных также могут со временем развиваться. Чтобы различать разные версии одних и тех же данных, каждый набор данных должен иметь отдельное имя, которое включает идентификатор версии.Простой способ сделать это — использовать отметки даты как часть имени набора данных. Использование стандарта ISO 8601 позволяет избежать региональной двусмысленности: он требует формат даты ГГГГ-ММ-ДД (т. Е. От наибольшей единицы времени к наименьшей). Например, дата «1 февраля 2015 года», написанная как 01-02-2015 в Великобритании и 02-01-2015 в США, является недвусмысленной (2015-02-01) в соответствии с этим стандартом.

Семантическое управление версиями — более богатый подход к решению той же проблемы [27]. Наборы данных CellPack являются примером этого [28].Семантический номер версии имеет вид: Major.Minor.Patch, например, 0.2.7. Номера основной версии должны увеличиваться (или увеличиваться), когда схема набора данных была обновлена ​​или внесено какое-либо другое изменение, несовместимое с предыдущими версиями данных с тем же номером основной версии. Это означает, что эксперимент с использованием версии 1.0.0 набора данных не может быть запущен в версии 2.0.0 без изменений в анализе данных. Младшая версия должна быть удалена, когда было внесено изменение, совместимое со старыми версиями данных с той же основной версией.Это означает, что любой анализ, который можно выполнить с данными версии 1.0.0, можно повторить с версией данных 1.1.0. Например, добавление нового года во временное обследование приведет к увеличению второстепенной версии. Номер версии патча отображается после исправления опечаток или ошибок. Например, версия 1.0.1 набора данных может исправить опечатку в версии 1.0.0.

Правило 7: Свяжите соответствующие метаданные

Метаданные — это контекстная информация, необходимая для интерпретации данных (рис. 1), которая должна быть четко определена и тесно интегрирована с данными.Важность метаданных для контекста, возможности повторного использования и обнаружения подробно описана в руководствах по передовым методам управления данными [9,13,29].

Метаданные должны быть максимально полными, с использованием стандартов и соглашений дисциплины, и должны быть машиночитаемыми. Метаданные всегда должны сопровождать набор данных, где бы он ни хранится, но лучший способ сделать это зависит от формата данных. Текстовые файлы могут содержать метаданные в четко определенных текстовых файлах, таких как XML или JSON.Некоторые форматы файлов самодокументируются; например, NetCDF, HDF5 и многие форматы файлов изображений позволяют внедрять метаданные [22,23]. В реляционной базе данных таблицы метаданных могут быть четко помечены и связаны с данными. В идеале должна быть предоставлена ​​схема, которая также показывает связи между таблицами данных и таблицами метаданных. Другой, более простой сценарий — это набор плоских (неиерархических) текстовых файлов — в этом случае должен быть создан сжатый архив с семантическими версиями, включающий метаданные.

Какой бы формат ни использовался для архивирования, цель должна заключаться в том, чтобы сделать связь между метаданными и данными как можно более четкой.Наилучший подход зависит от используемого плана архивирования, но даже если набор данных заархивирован исключительно для личного использования, метаданные предоставят важный контекст для будущего повторного использования.

Правило 8. Принятие надлежащих протоколов конфиденциальности

В наборах данных, для которых важна конфиденциальность, обязательно разработайте план защиты конфиденциальности данных. При разработке протоколов конфиденциальности для вашего хранилища данных следует учитывать различных заинтересованных сторон. Эти заинтересованные стороны включают финансирующие агентства, людей или организации, сотрудников и вас самих.И Национальный научный фонд США, и Национальные институты здравоохранения включили в свои правила предоставления грантов политику обмена данными, чтобы предотвратить обмен личной информацией и анонимизировать данные о людях.

В небольших наборах данных справочной таблицы (защищающей PII путем ее удаления и замены уникальным идентификатором, который сопоставляется с конфиденциальными данными во внешнем наборе данных) достаточно, чтобы анонимизировать минимальный объем личной информации. Методы хеширования уязвимы для ряда атак, и все хешированные данные в конечном итоге могут быть определены.Известно, что официальные лица Нью-Йорка поделились, по их мнению, анонимными данными о таксистах и ​​более чем 173 миллионах поездок на такси. Однако быстро стало понятно, что город анонимизировал данные с помощью простой схемы хеширования MD5, и все 20 ГБ данных были деанонимизированы в считанные часы [30]. Этот тип ошибки можно предотвратить, попросив доверенного коллегу или сотрудников службы безопасности попытаться «взломать» анонимные данные, прежде чем публиковать их. Часто человек, создавший данные, не имеет возможности проверить тонкости своих собственных процедур безопасности.Если возможно, лучшим решением является удаление любых конфиденциальных данных, которые не требуются, из набора данных перед распространением.

В более проблемных случаях сами данные позволяют идентифицировать: это случай с геномными данными человека, которые отображаются непосредственно на личности субъекта [31]. Методы решения этих сложных проблем на стыке хранения данных и конфиденциальности быстро развиваются и включают в себя хранение изменений относительно эталонного генома, чтобы помочь с конфиденциальностью и уменьшить общие объемы данных [32,33] и / или вместо этого переносить вычисления в хранилища данных. или наоборот [34].Важно иметь план обеспечения конфиденциальности до получения данных, поскольку он может определять или ограничивать способ хранения данных.

Правило 9: Имейте систематическую схему резервного копирования

Каждый носитель данных может выйти из строя, и каждый сбой может привести к потере данных. Поэтому исследователи должны создавать резервные копии данных на всех этапах исследовательского процесса. Данные, хранящиеся на локальных компьютерах или серверах учреждения на этапах сбора и анализа проекта, должны быть скопированы в другие места для защиты от потери данных.Никакая система резервного копирования не является отказоустойчивой (см. Истории о сбое Dedoose и близком удалении Toy Story 2), поэтому следует использовать более одной системы резервного копирования. В идеале у вас должно быть две копии на месте (например, на компьютере, внешнем жестком диске или на магнитной ленте) и одна копия за пределами площадки (например, в облачном хранилище) [35], при этом необходимо позаботиться о том, чтобы удаленное хранилище копия сайта так же безопасна, как и копии на сайте. Хранение резервных копий в нескольких местах дополнительно защищает от потери данных в результате кражи или стихийных бедствий.

Исследователи должны регулярно проверять свои резервные копии, чтобы убедиться, что они работают правильно. К распространенным причинам сбоя резервного копирования относятся:

• Неисправное ПО резервного копирования
• неправильная конфигурация (например, не выполняется резервное копирование подкаталогов)
• шифрование (например, кто-то зашифровал резервные копии, но позже потерял пароль для их расшифровки)
• ошибки носителя

Перед публикацией данных рассмотрите план резервного копирования выбранного репозитория данных и, если возможно, узнайте о планах долгосрочного хранения репозитория.Многие репозитории отражают данные, которые они размещают на нескольких машинах. Имеются ли планы по сохранению доступности данных в случае распада организации, управляющей репозиторием?

Правило 10: Расположение и способ хранения данных зависят от того, сколько данных у вас есть

Метод хранения, который вы должны выбрать, зависит от размера и характера ваших данных, стоимости хранения и доступа с течением времени, времени, необходимого для передавать данные, как они будут использоваться и какие-либо вопросы конфиденциальности.Данные все чаще генерируются в диапазоне многих терабайт (ТБ) датчиками окружающей среды, спутниками, автоматизированными аналитическими инструментами, имитационными моделями и секвенсорами нуклеиновых кислот. Даже более крупные машины для генерации данных, такие как Большой адронный коллайдер (LHC) и Большой синоптический обзорный телескоп (LSST), генерируют много ТБ в день, быстро накапливаясь до петабайтного (ПБ) масштаба в ходе любого конкретного исследования. Хотя стоимость хранения продолжает снижаться, объем хранимых данных влияет на выбор методов и мест хранения: для больших наборов данных необходимо сбалансировать стоимость хранения со временем доступа и затратами на повторное создание данных. .С новыми коммерческими облачными предложениями (например, Amazon S3) стоимость извлечения данных может превышать стоимость анализа или повторного создания данных с нуля.

Когда передача данных занимает слишком много времени или их хранение является дорогостоящим, может стать более эффективным использование компьютерной системы для анализа, которая может напрямую обращаться к данным и использовать их на месте, вместо того, чтобы сначала передавать их на локальный компьютер. Неактивные данные можно поместить в долгосрочное хранилище; это дешевле, но может потребоваться больше времени для извлечения.Некоторые системы хранения автоматически переносят «устаревшие» файлы в долговременное хранилище. В качестве альтернативы, некоторые вычисления могут выполняться «в базе данных» или «на диске» с помощью языков запросов к базам данных (например, SQL, MapReduce), которые выполняют базовую арифметику, или с помощью встроенных процедурных языков (например, R, Python, C). на сервере базы данных. Современные технологии баз данных, такие как HDFS и Spark, позволяют выполнять эти вычисления с данными практически любого размера. Когда данные больше, чем локально доступная оперативная память, с ними можно работать, проводя анализ на узле «большой памяти», который развернут в большинстве высокопроизводительных вычислительных центров.Опираясь на тесную интеграцию программного и аппаратного обеспечения, они могут позволить анализировать наборы данных размером около 1–4 ТБ. Это позволяет пользователю читать и использовать большой набор данных без специальных инструментов.

Если вам регулярно нужен доступ только к небольшому подмножеству ваших данных или вам нужно поделиться ими со многими соавторами, веб-API (интерфейс прикладного программирования) может быть хорошим решением. Используя этот метод, многие пользователи могут отправлять запросы в онлайн-сервис, который может выполнять подмножество данных, выполнять вычисления в базе данных и возвращать меньшие объемы данных в виде определенных фрагментов.Инструменты, основанные на онлайн-сервисах, упрощают поиск и загрузку данных, а также облегчают анализ с помощью воспроизводимых сценариев. Однако они также могут привести к чрезмерному и неосторожному злоупотреблению ресурсами без надлежащих мер безопасности. Время, необходимое для повторной загрузки и повторного вычисления результатов, можно сократить за счет «кэширования». Кэширование хранит копии загрузок и сгенерированных файлов, которые распознаются при многократном запуске одного и того же сценария.

Дополнительная литература и ресурсы

Хранение цифровых данных — обширная тема; Ссылки, приведенные здесь и в других местах в этой статье, служат отправной точкой для заинтересованных читателей.Для начинающих пользователей научных данных Data Carpentry предлагает семинары и ресурсы по управлению и анализу данных, как и учебные модули DataONE [36]. Для библиотекарей и других лиц, ответственных за архивирование данных, могут быть интересны профили Data Curation Profiles [37].

Глоссарий

Проекты и инициативы

• Глобальный информационный фонд по биоразнообразию (GBIF, http://www.gbif.org) обеспечивает международную инфраструктуру открытых данных для публикации и распространения информации о биоразнообразии.
• Integrated Digitized Biocollections (iDigBio, https://www.idigbio.org) — это проект, финансируемый Национальным научным фондом, который способствует оцифровке коллекций естествознания и предоставляет данные и изображения для биологических образцов.
• Интегрированная система таксономической информации (ITIS, http://www.itis.gov) — это международное партнерство правительственных организаций, целью которого является предоставление авторитетной таксономической информации о растениях, животных, грибах и микробах.

Форматы файлов

• Значения, разделенные запятыми (CSV) и Значения, разделенные табуляцией (TSV) — это форматы текстовых файлов, используемых для хранения табличных данных, в которых каждая строка представлена ​​строкой в ​​файле и каждым полем (столбцом) разделяется запятой (для CSV) или знаком табуляции (для TSV).
• FASTA — это простой и широко используемый формат файлов, используемый для представления последовательностей нуклеотидов или аминокислот в виде обычного текста, что позволяет легко манипулировать ими программно.
• Формат иерархических данных (HDF) — это двоичный файловый формат с открытым исходным кодом, предназначенный для хранения больших объемов данных (и связанных с ними метаданных) путем предоставления иерархической структуры, которую можно сравнить с организацией жесткого диска с каталогами и файлами. . Он поддерживается некоммерческой HDF Group, дочерней компанией Национального центра суперкомпьютерных приложений (NCSA).
• Нотация объектов JavaScript (JSON) — это простой текстовый формат файла, обычно используемый для хранения произвольно структурированных данных в форме ключей и значений.Его можно использовать для хранения нереляционных баз данных, поскольку он не полагается на табличный формат данных. Во многих отношениях он заменил XML.
• Network Common Data Form (NetCDF) — это двоичный файловый формат с открытым исходным кодом, предназначенный для хранения больших наборов данных в виде научных данных, ориентированных на массивы, обычно используемых в науках о Земле. Он поддерживается Unidata, некоммерческим членом Университетской корпорации атмосферных исследований (UCAR), финансируемой Национальным научным фондом.
• Extensible Markup Language (XML) — это язык разметки и формат файлов, используемый для хранения документов, написанных с его помощью. Он используется для представления произвольных структур данных и читается как человеком, так и машиной.

Программирование и алгоритмы

• Интерфейс программирования веб-приложений (API) предоставляет способы программного запроса к базам данных через Интернет. В частности, они позволяют пользователям извлекать и работать с небольшим фрагментом большого набора данных.
• Распределенная файловая система Hadoop (HDFS) — это файловая система на основе Java, в которой данные хранятся небольшими порциями на нескольких избыточных узлах.
• MapReduce — это стиль программирования, предназначенный для работы с большими наборами данных в параллельных вычислительных средах. Такие программы состоят из процедуры map , в которой набор данных разбивается на несколько частей, и процедуры reduce , в которой итоговые операции затем применяются к каждому из фрагментов.
• Secure Hash Algorithm 2 (SHA-2) — это семейство алгоритмов безопасного хеширования, используемых в криптографическом анализе, часто для проверки целостности файла. Криптографическая хеш-функция преобразует «сообщение» (например, пароли, содержимое файла) в зашифрованное значение. Криптографические хеш-функции легко вычислить из сообщения, но восстановить сообщение из выходных данных должно быть невозможно, и любые модификации сообщения также должны изменить выходные данные. Алгоритмы SHA часто используются вместо аналогичных инструментов, таких как MD5 (упомянутых в правиле 3 и в правиле 8), которые больше не являются безопасными.Все алгоритмы хеширования уязвимы для атак грубой силы. Реализации функции деривации ключей (KDF), такие как BCrypt и PBKDF2, считаются значительно более безопасными, но по замыслу более дорогостоящими для вычислений.
• Apache Spark — это вычислительная платформа с открытым исходным кодом для запроса больших наборов данных в памяти, в отличие от методов на основе диска, таких как MapReduce.
• Язык структурированных запросов (SQL) — это язык программирования, используемый для взаимодействия с системами управления реляционными базами данных.

Оборудование

• мега-, гига-, тера-, петабайт — это единицы цифровой информации, которые используются для измерения размера наборов данных или носителей. Первоначально байт представлял собой минимальный объем памяти, необходимый для хранения одного символа текста в компьютере. Префиксы мега-, гига-, тера- и пета- относятся к международной системе единиц для кратного единицы и соответствуют 10 ⁶ , 10 ⁹ , 10 ¹² и 10 ¹⁵ , сокращенно M, G, T и P соответственно.

Постоянные идентификаторы

• Ключ архивных ресурсов (ARK) идентификаторы — это URL-адреса, предназначенные для поддержки длительного доступа к информации в Интернете.
• Цифровой идентификатор объекта (DOI) предоставляет уникальные и постоянные идентификаторы для электронных документов (в частности, журнальных статей и наборов данных) в Интернете. Уникальность идентификаторов гарантируется центральным реестром. Разделяя идентификатор и расположение документа (т.e., URL), DOI может оставаться фиксированным, даже если местоположение цифрового объекта, на который он указывает, изменяется.
• Постоянный унифицированный указатель ресурсов (PURL) — это URL-адрес, используемый для перенаправления на местоположение электронного объекта в Интернете. DOI и ARK являются примерами реализации PURL.
• Унифицированный указатель ресурсов (URL) указывает местоположение объекта во всемирной паутине; наиболее знакомый тип URL-адреса — это адрес веб-сайта.

Благодарности

Благодарим Г.Уилсону и сообществу инструкторов Software Carpentry за первоначальное вдохновение для этого документа и за обсуждение, проведенное на https://github.com/swcarpentry/site/issues/797. Мы благодарим К. Хинсена, Дж. Пью и У. Тернера за комментарии к черновику рукописи. Вклады Дж. У. Холлистера, сотрудника Агентства по охране окружающей среды США (EPA), не подвергались независимой и административной проверке Агентства. Таким образом, сделанные выводы и мнения принадлежат исключительно автору (авторам) и не обязательно являются точкой зрения Агентства.Упоминание торговых наименований или коммерческих продуктов не означает одобрения или рекомендации для использования. С. Маунт хотел бы поблагодарить доктора Лоуренса Третта за рецензирование первого варианта этой статьи.

Список литературы

1. 1. Рид Дж. Г., Кэрролл А., Вирарагхаван Н., Дахдули М., Сандквист А., Инглиш А. и др. Запуск геномики в облаке: развертывание Mercury, конвейера анализа последовательностей нового поколения. Биоинформатика BMC. 2014; 15: 30. pmid: 24475911
2. 2.Hampton SE, Strasser C, Tewksbury JJ, Gram WK, Budden AE, Batcheller AL, et al. Большие данные и будущее экологии. Границы экологии и окружающей среды. 2013; 130312142848005.
3. 3. Эйзенштейн DJ, другие. SDSS-III: массивные спектроскопические исследования далекой Вселенной, Млечного Пути и внесолнечных планетных систем. Астрономический журнал. 2011; 142: 72.
4. 4. Адамс Дж. Сотрудничество: рост исследовательских сетей. Природа. Nature Publishing Group, подразделение Macmillan Publishers Limited.Все права защищены. 2012; 490: 335–6.
5. 5. Fraser LH, Henry HA, Carlyle CN, White SR, Beierkuhnlein C, Cahill JF и др. Скоординированные распределенные эксперименты: новый инструмент для проверки глобальных гипотез в экологии и науках об окружающей среде. Границы экологии и окружающей среды. Экологическое общество Америки; 2013; 11: 147–155.
6. 6. Робертсон МАГ Тим И Деринг. Интегрированный инструментарий публикации GBIF: Содействие эффективной публикации данных о биоразнообразии в Интернете.PLoS ONE. Публичная научная библиотека; 2014; 9: e102623. pmid: 25099149
7. 7. Волкович Э.М., Регетц Дж., О’Коннор М.И. Успехи в исследованиях глобальных изменений требуют открытой науки отдельных исследователей. Биология глобальных изменений. 2012; 18: 2102–2110.
8. 8. Roche DG, Lanfear R, Binning SA, Haff TM, Schwanz LE, Cain KE и др. Устранение неполадок при архивировании общедоступных данных: предложения по увеличению участия. PLoS биология. 2014; 12: e1001779. pmid: 24492920
9. 9.White E, Baldridge E, Brym Z, Locey K, McGlinn D, Supp S. Девять простых способов упростить (повторное) использование ваших данных. Идеи в экологии и эволюции. 2013; 6: 1–10.
10. 10. Гудман А., Пепе А., Блокер А.В., Боргман С.Л., Кранмер К., Кросас М. и др. Десять простых правил хранения научных данных. Вычислительная биология PLoS. 2014; 10: e1003542. pmid: 24763340
11. 11. Пепе А., Гудман А., Мюнх А., Кросас М., Эрдманн К. Как астрономы обмениваются данными? Надежность и стойкость наборов данных, связанных в публикациях AAS, и качественное исследование практики обработки данных среди американских астрономов.Голден AA-J, редактор. PLoS ONE. 2014; 9: e104798. pmid: 25165807
12. 12. Вайнс TH, Альберт AYK, Эндрю Р.Л., Дебарре Ф., Бок Д.Г., Франклин М.Т. и др. Доступность исследовательских данных быстро снижается с возрастом статьи. Современная биология: CB. Эльзевир; 2014; 24: 94–7. pmid: 24361065
13. 13. Миченер В.К., Джонс МБ. Экоинформатика: поддержка экологии как науки с большим объемом данных. Тенденции в экологии и эволюции. 2012; 27: 85–93. pmid: 22240191
14. 14. Миченер В.К., Брант Дж.В., Хелли Дж.Дж., Киршнер ТБ, Стаффорд С.Г.Негеопространственные метаданные для экологических наук. Экологические приложения. Eco Soc America; 1997. 7: 330–342.
15. 15. Марсиаль Л.Х., Хеммингер БМ. Репозитории научных данных в Интернете: предварительный обзор. Журнал Американского общества информационных наук и технологий. 2010. 61: 2029–2048.
16. 16. Michener WK. Десять простых правил для создания хорошего плана управления данными. Вычислительная биология PLoS. Публичная научная библиотека; 2015; 11: e1004525. pmid: 26492633
17. 17.Уилсон Г. Плотницкие работы по программному обеспечению: извлеченные уроки. F1000 Исследования. 2014; 3: 62. pmid: 24715981
18. 18. Бирюзовый Т.К., Крэнстон Ка, Лапп Х., Уайт Э., Уилсон Дж., Рам К. и др. Обработка данных: семинары по повышению грамотности данных для исследователей. Международный журнал цифрового курирования. 2015; 10: 135–143.
19. 19. Roche DG, Kruuk LEB, Lanfear R, Binning SA. Публичное архивирование данных в экологии и эволюции: насколько хорошо у нас дела? PLoS Биология. 2015; 13: e1002295.pmid: 26556502
20. 20. Хиггинс Д., Беркли С., Джонс М. Управление гетерогенными экологическими данными с помощью морфо [Интернет]. IEEE Comput. Soc; 2002. С. 69–76. https://doi.org/10.1109/SSDM.2002.1029707
21. 21. Schloss PD, Westcott SL, Ryabin T, Hall JR, Hartmann M, Hollister EB, et al. Представляем mothur: программное обеспечение с открытым исходным кодом, независимое от платформы, поддерживаемое сообществом, для описания и сравнения сообществ микробов. Прикладная и экологическая микробиология.Am Soc Microbiol; 2009; 75: 7537–7541. pmid: 19801464
22. 22. Koziol Q, Matzke R. Hdf5: Новое поколение hdf: Справочное руководство и руководство пользователя. Национальный центр суперкомпьютерных приложений, Шампейн, Иллинойс, США, http://hdf.ncsa.uiuc.edu/nra/HDF5. 1998;
23. 23. Рью Р., Дэвис Г. NetCDF: интерфейс для доступа к научным данным. Компьютерная графика и приложения, IEEE. IEEE; 1990; 10: 76–82.
24. 24. Уикхэм Х. Чистые данные. Журнал статистического программного обеспечения.2014; 59: 1–23. http://www.jstatsoft.org/v59/i10
25. 25. Буффало В. Навыки в области биоинформатики данных: воспроизводимые и надежные исследования с использованием инструментов с открытым исходным кодом. O’Reilly Media, Inc. 2015.
26. 26. NCBI. NCBI постепенно отказывается от последовательности gIs — используйте вместо этого accession.Version! http://www.ncbi.nlm.nih.gov/news/03-02-2016-phase-out-of-GI-numbers/;
27. 27. Престон-Вернер Т. Семантическое управление версиями 2.0.0. http://semver.org; 2014.
28. 28. Johnson GT, Goodsell DS, Autin L, Forli S, Sanner MF, Olson AJ.Трехмерные молекулярные модели целых вирионов ВИЧ-1, созданные с помощью cellPACK. Фарадей Обсуди. Королевское химическое общество; 2014; 169: 23–44. pmid: 25253262
29. 29. Штрассер К., Кук Р., Миченер В., Бадден А. Учебник по управлению данными: что вы всегда хотели знать [Интернет]. Калифорнийские электронные библиотеки; 2012. https://doi.org/10.5060/D2251G48
30. 30. Гудин Д. Плохо анонимные журналы показывают подробное местонахождение водителей такси Нью-Йорка [Интернет]. 2015. http: // arstechnica.com / tech-policy / 2014/06 / плохо-анонимизированные-журналы-раскрыть-nyc-cab-drivers-detail-whereabouts /
31. 31. Гомер Н., Селингер С., Редман М., Дагган Д., Тембе В., Мюлинг Дж. И др. Выявление лиц, вносящих следовые количества ДНК в очень сложные смеси, с использованием микрочипов для генотипирования SNP с высокой плотностью. PLoS генетика. Публичная научная библиотека; 2008; 4: e1000167. pmid: 18769715
32. 32. Кан SD. О будущем геномных данных. Наука (Нью-Йорк, Нью-Йорк). 2011; 331: 728–9.pmid: 21311016
33. 33. Wandelt S, Bux M, Leser U. Тенденции сжатия генома. Современная биоинформатика. Издательство Bentham Science Publishers; 2014; 9: 315–326.
34. 34. Gaye A, Marcon Y, Isaeva J, LaFlamme P, Turner A, Jones EM, et al. DataSHIELD: анализ данных, а не данных для анализа. Международный эпидемиологический журнал. 2014; 43: 1929–44. pmid: 25261970
35. 35. Брайни К. Правило 3. ДАННЫЕ AB INITIO. http: // dataabinitio.com /? p = 320; 2013.
36. 36. Хенкель Х., Хатчисон В., Штрассер С., Ребих Хеспана С., Вандербильт К., Уэйн Л. и др. Модули обучения DataONE. https://www.dataone.org/education-modules; 2012.
37. 37. Витт М., Карлсон Дж., Брандт С., Крэгин М. Построение профилей курирования данных. Международный журнал цифрового курирования. 2009; 4: 93–103.

Хранилище данных ДНК ближе, чем вы думаете

Каждую минуту в 2018 году Google проводил 3.По данным компании-разработчика программного обеспечения Domo, 88 миллионов поисковых запросов, и люди просмотрели 4,33 миллиона видео на YouTube, отправили 159 362 760 электронных писем, написали 473 000 твитов и разместили 49 000 фотографий в Instagram. К 2020 году примерно 1,7 мегабайта данных будет создаваться в секунду на человека во всем мире, что соответствует примерно 418 зеттабайтам за один год (418 миллиардов одного терабайта информации на жестком диске), если предположить, что население мира составляет 7,8 миллиарда человек. Магнитные или оптические системы хранения данных, которые в настоящее время хранят этот объем нулей и единиц, обычно не могут прослужить более века, если это так.Кроме того, для работы центров обработки данных требуется огромное количество энергии. Короче говоря, у нас вот-вот возникнет серьезная проблема с хранением данных, которая со временем станет только более серьезной.

Развивается альтернатива жестким дискам: хранение данных на основе ДНК. ДНК, состоящая из длинных цепочек нуклеотидов A, T, C и G, является жизненным материалом для хранения информации. Данные могут храниться в последовательности этих букв, что превращает ДНК в новую форму информационных технологий. Он уже обычно секвенируется (читается), синтезируется (записывается) и с легкостью точно копируется.ДНК также невероятно стабильна, что было продемонстрировано полным секвенированием генома ископаемой лошади, которая жила более 500000 лет назад. И на его хранение не требуется много энергии.

Но сияет емкость памяти. ДНК может точно хранить огромные объемы данных с плотностью, намного превышающей плотность электронных устройств. Простая бактерия Escherichia coli , например, имеет плотность хранения около 10 ¹⁹ бит на кубический сантиметр, согласно расчетам, опубликованным в 2016 году в журнале Nature Materials Джорджем Черчем из Гарвардского университета и его коллегами.При такой плотности все текущие потребности мира в хранении в течение года вполне могут быть удовлетворены за счет куба ДНК со стороной около одного метра.

Перспектива хранения данных ДНК не является чисто теоретической. Например, в 2017 году группа Черча в Гарварде внедрила технологию редактирования ДНК CRISPR для записи изображений руки человека в геном E. coli , которые были считаны с точностью более 90 процентов. А исследователи из Вашингтонского университета и Microsoft Research разработали полностью автоматизированную систему для записи, хранения и чтения данных, закодированных в ДНК.Ряд компаний, включая Microsoft и Twist Bioscience, работают над развитием технологии хранения ДНК.

Тем временем ДНК уже используется для управления данными по-другому, исследователями, которые пытаются разобраться в огромных объемах данных. Последние достижения в технологиях секвенирования нового поколения позволяют легко и одновременно считывать миллиарды последовательностей ДНК. Обладая этой способностью, исследователи могут использовать штриховое кодирование — использование последовательностей ДНК в качестве «меток» молекулярной идентификации — для отслеживания результатов экспериментов.Штриховое кодирование ДНК в настоящее время используется для значительного ускорения темпов исследований в таких областях, как химическая инженерия, материаловедение и нанотехнологии. В Технологическом институте Джорджии, например, лаборатория Джеймса Э. Далмана быстро выявляет более безопасные генные методы лечения; другие выясняют, как бороться с лекарственной устойчивостью и предотвращать метастазирование рака.

Среди проблем, связанных с превращением хранения данных ДНК в обычное дело, являются затраты и скорость чтения и записи ДНК, которые необходимо снизить еще больше, если подход заключается в том, чтобы конкурировать с электронным хранилищем.Даже если ДНК не станет повсеместным хранилищем, она почти наверняка будет использоваться для генерации информации в совершенно новых масштабах и для сохранения определенных типов данных в долгосрочной перспективе.

DNA: идеальное решение для хранения данных

В мире, наводненном данными, выяснение того, где и как их эффективно и недорого хранить, становится с каждым днем ​​все более серьезной проблемой. Одно из самых экзотических решений может оказаться одним из лучших: архивирование информации в молекулах ДНК.

Преобладающий метод длительного хранения в холодильнике, появившийся в 1950-х годах, записывает данные на катушки с магнитной лентой размером с пиццу. Для сравнения, хранение ДНК потенциально дешевле, более энергоэффективно и долговечно. Исследования показывают, что ДНК, должным образом инкапсулированная солью, остается стабильной в течение десятилетий при комнатной температуре и должна храниться намного дольше в контролируемой среде центра обработки данных. ДНК не требует обслуживания, а файлы, хранящиеся в ДНК, легко копируются при незначительных затратах.

Более того, ДНК может архивировать ошеломляющее количество информации в почти немыслимо малом объеме. Подумайте: к 2025 году человечество сгенерирует примерно 33 зеттабайта данных — это 3,3 с 22 нулями. Хранение ДНК может втиснуть всю эту информацию в мяч для пинг-понга, где останется свободное место. 74 миллиона миллионов байтов информации в Библиотеке Конгресса можно втиснуть в архив ДНК размером с маковое зерно — в 6000 раз больше. Разделите начальное число пополам, и вы сможете хранить все данные Facebook.

Научная фантастика? Едва ли. Технология хранения ДНК существует сегодня, но чтобы сделать ее жизнеспособной, исследователи должны преодолеть несколько сложных технологических препятствий, связанных с интеграцией различных технологий. В рамках масштабного сотрудничества, направленного на выполнение этой работы, наша команда из Национальной лаборатории Лос-Аламоса разработала ключевую технологию для молекулярного хранения. Наше программное обеспечение, Adaptive DNA Storage Codex (ADS Codex), переводит файлы данных с двоичного языка нулей и единиц, понятных компьютерам, в четырехбуквенный код, понятный биологии.

ADS — это ключевая часть программы интеллектуального хранилища молекулярной информации (MIST) в рамках исследовательских проектов разведки (IARPA). MIST стремится предоставить более дешевое, крупное и долговечное хранилище для операций с большими данными в правительстве и частном секторе с краткосрочной целью записи одного терабайта — триллиона байтов — и чтения 10 терабайт в течение 24 часов за счет 1000 долларов.

ОТ КОМПЬЮТЕРНОГО КОДА К ГЕНЕТИЧЕСКОМУ КОДУ

Когда большинство людей думают о ДНК, они думают о жизни, а не о компьютерах.Но ДНК сама по себе представляет собой четырехбуквенный код для передачи информации об организме. Молекулы ДНК состоят из четырех типов оснований или нуклеотидов, каждый из которых обозначается буквой: аденин (A), тимин (T), гуанин (G) и цитозин (C). Они являются основой всего кода ДНК, предоставляя инструкции по созданию каждого живого существа на Земле.

Достаточно хорошо изученная технология, синтез ДНК широко используется в медицине, фармацевтике и разработке биотоплива, и это лишь некоторые области применения.Этот метод организует основания в различные структуры, обозначенные конкретными последовательностями A, C, G и T. Эти основания обвиваются в скрученной цепи друг вокруг друга — знакомая двойная спираль — с образованием молекулы. Расположение этих букв в последовательности создает код, который сообщает организму, как формироваться.

Полный набор молекул ДНК составляет геном — план вашего тела. Синтезируя молекулы ДНК — создавая их с нуля, — исследователи обнаружили, что они могут определять или записывать длинные строки из букв A, C, G и T, а затем считывать эти последовательности обратно.Этот процесс аналогичен тому, как компьютер хранит двоичную информацию. Отсюда был короткий концептуальный шаг до кодирования двоичного компьютерного файла в молекулу

Доказано, что метод работает, но чтение и запись файлов, закодированных в ДНК, в настоящее время занимает много времени. Добавление единственного основания к ДНК занимает около одной секунды. На запись файла архива с такой скоростью могут потребоваться десятилетия, но исследования развивают более быстрые методы, в том числе операции с массовым параллелизмом, которые записывают сразу во множество молекул.

НИЧЕГО НЕ ПОТЕРЯННО ПРИ ПЕРЕВОДЕ

ADS точно сообщает, как преобразовать нули и единицы в последовательности из четырех буквенных комбинаций A, C, G и T. Кодекс также обрабатывает декодирование обратно в двоичное. ДНК можно синтезировать несколькими методами, и Кодекс ADS может вместить их все.

К сожалению, по сравнению с традиционными цифровыми системами, частота ошибок при записи в молекулярное хранилище с помощью синтеза ДНК очень высока. Эти ошибки возникают из другого источника, чем в цифровом мире, что затрудняет их исправление.На цифровом жестком диске двоичные ошибки возникают, когда ноль меняется на единицу или наоборот. С ДНК проблемы возникают из-за ошибок вставки и удаления. Например, вы можете написать A-C-G-T, но иногда вы пытаетесь написать A, но ничего не появляется, поэтому последовательность букв смещается влево или набирает AAA.

Обычные коды исправления ошибок не работают с подобными проблемами, поэтому в ADS Codex добавлены коды обнаружения ошибок, которые подтверждают данные. Когда программа преобразует данные обратно в двоичную форму, она проверяет соответствие кодов.В противном случае он удаляет или добавляет основы — буквы — до тех пор, пока проверка не будет успешной.

УМНОЕ МАСШТАБИРОВАНИЕ

Мы завершили версию 1.0 Кодекса ADS и в конце этого года планируем использовать ее для оценки систем хранения и поиска, разработанных другими командами MIST. Эта работа хорошо согласуется с историей Лос-Аламоса, где впервые появились новые разработки в области вычислительной техники в рамках нашей миссии национальной безопасности. С 1940-х годов в результате этих достижений в области вычислительной техники мы накопили одни из старейших и крупнейших хранилищ только цифровых данных.Это до сих пор имеет огромную ценность. Поскольку мы храним данные вечно, мы долгое время были на острие, когда дело дошло до поиска решения для холодного хранения, но мы не одиноки.

Все данные со всего мира — все ваши цифровые фотографии и твиты; все рекорды мирового финансового сектора; все эти спутниковые снимки пахотных земель, передвижения войск и таяния ледников; все симуляции, лежащие в основе современной науки; и многое другое — нужно куда-то ехать.