14个QA，报告python与数据科学的“暧昧情事”
|
以下是怎样将列表编入NumPy数组的要领： 以下是如安在NumPy中举办数组乘法和计较点积的要领： 以下是如安在NumPy中举办矩阵乘法： 5. Python中的统计说明 Scipy包中包括专门用于统计的模块(包的代码的子部门)。 你可以行使'from scipy import stats'呼吁将其导入(在措施中使其成果可用)到你的条记本中。该软件包包括计较数据统计丈量、执行统计测试、计较相干性、汇总数据和研究各类概率漫衍所需的统统。 以下是行使Scipy快速会见数组的汇总统计信息(最小值，最大值，均值，方差，偏斜和峰度)的要领： 6. Python中的数据操纵 数据科学家必需耗费大量的时刻来整理和清算数据。荣幸的是，Pandas软件包可以辅佐我们用代码而不是手工来完成这项事变。 行使Pandas执行的最常见使命是从CSV文件和数据库中读取数据。 它还具有强盛的语法，可以将差异的数据集组合在一路(数据集在Pandas中称为DataFrame)并执行数据操纵。 行使.head要领查察DataFrame的前几行： 行使方括号选择一列： 通过组合其他列来建设新列： 7. 在Python中行使数据库 为了行使pandas read_sql要领，必需提前成立与数据库的毗连。 毗连数据库最安详的要领是行使Python的SQLAlchemy包。 SQL自己就是一种说话，而且毗连到数据库的方法取决于你正在行使的数据库。 8. Python中的数据工程 偶然我们倾向于在数据作为Pandas DataFrame情势达到我们的项目之前，对其举办一些计较。 假如你正在行使数据库或从Web上抓取数据(并将其存储在某处)，那么移动数据并对其举办转换的进程称为ETL(提取，转换，加载)。 你从一个处所提取数据，对其举办一些转换(通过添加数据来总结数据，查找均值，变动数据范例等)，然后将其加载到可以会见的位置。 有一个很是酷的器材叫做Airflow，它很是擅长辅佐打点ETL事变流程。更好的是，它是用Python编写的，由Airbnb开拓。 9. Python中的大数据工程 偶然ETL进程也许很是慢。假如你稀有十亿行数据(可能假如它们是一种稀疏的数据范例，如文本)，可以行使很多差异的计较机别离举办处理赏罚转换，并在最后一秒将全部数据整合到一路。 这种架构模式称为MapReduce，它很受Hadoop的接待。 现在，许多人行使Spark来做这种数据转换/检索事变，而且有一个Spark的Python接口叫做PySpark。 MapReduce架构和Spark都长短常伟大的器材，这里我不具体先容。只要知道它们的存在，假如你发明本身正在处理赏罚很是迟钝的ETL进程，PySpark也许会有所辅佐。 10. Python中的进一步统计 我们已经知道可以行使Scipy的统计模块运行统计测试、计较描写性统计、p值以及偏斜和峰度等工作，但Python还能做些什么呢? 你应该知道的一个非凡包是Lifelines包。 行使Lifelines包，你可以从称为保留说明的统计子字段计较各类函数。 保留说明有许多应用。我们可以用它来猜测客户流失(当客户打消订阅时)以及零售市肆何时也许会被偷盗。 这些与包的缔造者想象它将被用于完全差异(保留说明传统上是医学统计器材)的规模。但这只是展示了构建数据科学题目的差异方法! 11. Python中的呆板进修 这是一个重要的主题，呆板进批改在风靡天下，是数据科学家事变的重要构成部门。 简而言之，呆板进修是一组应承计较机将输入数据映射到输出数据的技能。有一些环境并非云云，但它们属于少数，以这种方法思量ML凡是很有辅佐。 Python有两个很是好的呆板进修包。 (1) Scikit-Learn 在行使Python举办呆板进修的时辰城市花大部门时刻用于行使Scikit-Learn包(偶然缩写为sklearn)。 这个包实现了一大堆呆板进修算法，并通过同等的语法果真它们。这使得数据科学家很轻易充实操作每种算法。 （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
