dnanexus-integration
DNAnexus 云端基因组学平台。构建应用/小程序,管理数据(上传/下载),使用 dxpy Python SDK 运行工作流,支持 FASTQ/BAM/VCF,用于基因组管线开发与执行。
DNAnexus Integration - 云基因组平台集成技能
技能概述
DNAnexus Integration 是一个用于与 DNAnexus 云基因组平台交互的专业技能,帮助您通过 dxpy Python SDK 构建基因组应用、管理测序数据、运行分析工作流,并处理 FASTQ、BAM、VCF 等生物信息学文件格式。
适用场景
-
基因组应用开发
- 当您需要在 DNAnexus 平台上创建、构建或部署基因组分析应用和小程序时
- 需要编写 Python 或 Bash 脚本处理测序数据时
- 想要将本地分析流程迁移到云端执行时
-
基因组数据管理
- 需要上传、下载、搜索或组织大规模测序数据时
- 处理 FASTQ、BAM、VCF 等生物信息学文件格式时
- 需要在云端存储和管理参考基因组和注释数据时
-
分析工作流执行
- 需要运行批量样本的基因组分析时
- 需要监控长时间运行的计算任务时
- 需要构建多步骤的分析管道时
核心功能
-
应用开发与部署 通过
dx-app-wizard快速生成应用框架,支持 Python 和 Bash 入口点,使用dx build部署到云端平台,适用于生物信息学管道开发。 -
数据操作与管理 使用 dxpy 提供的
upload_local_file()和download_dxfile()等函数,实现文件的云端上传下载,支持按属性搜索数据对象,管理项目文件夹和权限。 -
任务执行与监控 通过
applet.run()或app.run()启动分析任务,监控任务状态和日志,创建子任务实现并行处理,支持多步骤工作流编排。 -
Python SDK (dxpy) 提供完整的数据对象处理器(DXFile、DXRecord、DXApplet 等),支持高级函数封装和直接 API 调用,适合自动化脚本和自定义管道开发。
-
配置与依赖管理 通过 dxapp.json 定义应用输入输出规格,管理系统包和 Python 依赖,支持 Docker 容器集成,灵活配置计算资源和超时设置。
常见问题
DNAnexus 平台是什么?主要用途是什么?
DNAnexus 是一个专注于生物医学数据分析和基因组学的云平台。它的主要用途包括:云端存储和管理基因组测序数据、运行大规模生物信息学分析、协作开发基因组应用、以及提供完整的 Python SDK (dxpy) 实现自动化操作。
如何使用 dxpy Python SDK 访问 DNAnexus?
首先使用 uv pip install dxpy 安装 dxpy,然后运行 dx login 进行身份验证。安装完成后,即可在 Python 代码中导入 dxpy,使用 dxpy.upload_local_file() 上传文件、dxpy.DXApplet() 运行应用、dxpy.find_data_objects() 搜索数据等操作。
DNAnexus 支持哪些基因组数据格式?
DNAnexus 支持常见的基因组数据格式,包括:
- FASTQ: 原始测序读段格式
- BAM: 比对/映射文件格式
- VCF: 变异调用格式
- 以及其他生物信息学标准格式
您可以使用 dxpy 的文件处理函数对这些格式进行上传、下载和管理。