少有人知的python数据科学库

Python是门很神奇的说话，历经时刻和实践检讨，受到开拓者和数据科学家同等好评，今朝已经是全天下成长最好的编程说话之一。简朴易用，完备而复杂的第三方库生态圈，使得Python成为编程小白和高级工程师的首选。

在本文中，我们会分享差异于市面上的python数据科学库（如numpy、padnas、scikit-learn、matplotlib等），，尽量这些库很棒，可是其他尚有一些不为人知，但同样优越的库必要我们去试探去进修。

从收集上获取数据被以为是数据科学家的必备根基手艺，而Wget是一套非交互的基于呼吁行的文件下载库。ta支持HTTP、HTTPS和FTP协议，也支持行使IP署理。由于ta长短交互的，纵然用户未登录，ta也可以在靠山运行。以是下次假如你想从收集上下载一个页面，Wget可以帮到你哦。

安装

pip isntall wget 

用例

import wget 
 
url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3' 
 
filename = wget.download(url) 

Run and output

100% [................................................] 3841532 / 3841532 
filename 
'razorback.mp3' 

对付大大都python用户来说处理赏罚时期（时刻）数据是一件令人抓狂的工作，亏得Pendulum专为你而来。它是python内置时刻类的精采备选方案，更多内容可查察官方文档 https://pendulum.eustace.io/docs/

安装

pip install pendulum 

用例

import pendulum 
 
dt_toronto = pendulum.datetime(2012, 1, 1, tz='America/Toronto') 
dt_vancouver = pendulum.datetime(2012, 1, 1, tz='America/Vancouver') 
print(dt_vancouver.diff(dt_toronto).in_hours()) 

Run and output

3 

常见的呆板进修分类算法都默认输入的数据是平衡数据，即假设实习集数据有A和B两个种别，A和B数据量概略相等。假如A和B数据量不同庞大，那么实习的结果会不抱负。在现实网络和清算的数据，着实绝大大都长短平衡数据，这对付呆板进修分类算法真的是个很大的题目。亏得有imbalanced-learn库可以很好的办理这个题目。该库兼容scikit-learn，而且是作为scikit-learn-contrib项目标一部门。当你再碰着非平衡数据，记得试试它哦！

安装

pip install -U imbalanced-learn 
#可能 
conda install -c conda-forge imbalanced-learn 

该库有高质量的文档 http://imbalanced-learn.org/en/stable,今朝该库支持scikit-learn、keras、tensorflow库

在NLP使命重常常会碰着替还娓代统一个意思的多个词语，可能从句子中抽取要害词。凡是我们一样平常的做法是行使正则表达式来完成这些脏活累活，但假如要操纵的词语数目到达几千上万，行使正则这种要领就会变得很贫困。FlashText库是基于FlashText算法，该库的最强盛之处在于措施运行时刻不受操纵词语数目影响，即运行时刻与操纵的词汇数目无关。 因此出格得当应用到 python文天职析 中去。

4.1 安装


pip install flashtext 

4.2 用例

4.2.1 抽取要害词

我们都知道 Big Apple 指代纽约。以是抽取纽约这个都市词时辰，我们要思量到沟通意思的差异词语。

from flashtext import KeywordProcessor 
 
#配置要害词处理赏罚器 
keyword_processor = KeywordProcessor() 
 
#配置要害词及其近义词 
keyword_processor.add_keyword('Big Apple', 'New York') #碰着Big Apple就会辨认为New York 
keyword_processor.add_keyword('Bay Area') 
 
keywords_found = keyword_processor.extract_keywords("I love Big Apple and Bay Area.") 
 
keywords_found 

Run and output

['New York', 'Bay Area'] 

4.2.2 替代要害词

我们也常常必要将原始文本举办处理赏罚，好比将New Delhi（新德里）替代为NCR region（国度都城区）

keyword_processor.add_keyword('New Delhi', 'NCR region') 
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.') 
new_sentence 

Run and output

'I love New York and NCR region.' 

想相识更多，请查察FlastText官方文档

https://flashtext.readthedocs.io/en/latest/#

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!