技能dnanexus-integration
D

dnanexus-integration

DNAnexus 云端基因组学平台。构建应用/小程序,管理数据(上传/下载),使用 dxpy Python SDK 运行工作流,支持 FASTQ/BAM/VCF,用于基因组管线开发与执行。

DNAnexus Integration - 云基因组平台集成技能

技能概述

DNAnexus Integration 是一个用于与 DNAnexus 云基因组平台交互的专业技能,帮助您通过 dxpy Python SDK 构建基因组应用、管理测序数据、运行分析工作流,并处理 FASTQ、BAM、VCF 等生物信息学文件格式。

适用场景

  1. 基因组应用开发

    • 当您需要在 DNAnexus 平台上创建、构建或部署基因组分析应用和小程序时
    • 需要编写 Python 或 Bash 脚本处理测序数据时
    • 想要将本地分析流程迁移到云端执行时
  2. 基因组数据管理

    • 需要上传、下载、搜索或组织大规模测序数据时
    • 处理 FASTQ、BAM、VCF 等生物信息学文件格式时
    • 需要在云端存储和管理参考基因组和注释数据时
  3. 分析工作流执行

    • 需要运行批量样本的基因组分析时
    • 需要监控长时间运行的计算任务时
    • 需要构建多步骤的分析管道时

核心功能

  1. 应用开发与部署 通过 dx-app-wizard 快速生成应用框架,支持 Python 和 Bash 入口点,使用 dx build 部署到云端平台,适用于生物信息学管道开发。

  2. 数据操作与管理 使用 dxpy 提供的 upload_local_file()download_dxfile() 等函数,实现文件的云端上传下载,支持按属性搜索数据对象,管理项目文件夹和权限。

  3. 任务执行与监控 通过 applet.run()app.run() 启动分析任务,监控任务状态和日志,创建子任务实现并行处理,支持多步骤工作流编排。

  4. Python SDK (dxpy) 提供完整的数据对象处理器(DXFile、DXRecord、DXApplet 等),支持高级函数封装和直接 API 调用,适合自动化脚本和自定义管道开发。

  5. 配置与依赖管理 通过 dxapp.json 定义应用输入输出规格,管理系统包和 Python 依赖,支持 Docker 容器集成,灵活配置计算资源和超时设置。

常见问题

DNAnexus 平台是什么?主要用途是什么?

DNAnexus 是一个专注于生物医学数据分析和基因组学的云平台。它的主要用途包括:云端存储和管理基因组测序数据、运行大规模生物信息学分析、协作开发基因组应用、以及提供完整的 Python SDK (dxpy) 实现自动化操作。

如何使用 dxpy Python SDK 访问 DNAnexus?

首先使用 uv pip install dxpy 安装 dxpy,然后运行 dx login 进行身份验证。安装完成后,即可在 Python 代码中导入 dxpy,使用 dxpy.upload_local_file() 上传文件、dxpy.DXApplet() 运行应用、dxpy.find_data_objects() 搜索数据等操作。

DNAnexus 支持哪些基因组数据格式?

DNAnexus 支持常见的基因组数据格式,包括:

  • FASTQ: 原始测序读段格式
  • BAM: 比对/映射文件格式
  • VCF: 变异调用格式
  • 以及其他生物信息学标准格式

您可以使用 dxpy 的文件处理函数对这些格式进行上传、下载和管理。