今天小编为大家整理了很多数据库网址,其中还有很多专业性很强的数据库,但很多需要权限或收取费用,因为越宝贵的数据越难获得。所以,提前收集数据,比赛时直接拿来用,将会节省大量找数据的时间,从而集中精力建模,将会事半功倍!
与灾害相关的各类数据是进行灾害预测、灾情评估、灾后救援等工作的基础,国内外相关组织机构和部门对灾害数据库的建设非常重视,纷纷启动数据库建设项目,组织专门机构和人员开展灾害数据库建设工作。据统计,网上可检索到的灾害数据库就有40个,国外组织机构建设和维护的灾害数据库有26个,中国有14个(刘耀龙等,2008)。
国外尤其是发达国家特别重视灾害数据库建设及灾害数据信息共享,已建成的灾害数据库一般都可通过互联网进行访问。表1列出了15个国外主要的灾害数据库,包括联合国开发计划署(UNDP)、欧盟(EU)、世界卫生组织(WHO)、美国、日本、加拿大、澳大利亚和比利时等国际组织和国家组织建设的各类灾害数据库(含全球性的或本国内的)。美国对灾害数据库的建设贡献甚大,不仅建成了全球性的综合灾害数据库,还建成了包括海啸、地震等在内的各类专题灾害数据库。国外尤其是发达国家的灾害数据库在建设时就考虑到了数据共享的需要,在数量、可访问性到记录灾害种类(复合灾害群)、检索条件及查询结果等的设计上均有利于灾害信息在本国及国际范围的流通与共享,灾害数据库建设较为规范,灾害数据信息共享程度高。
从互联网上可以查到,我国已建成一批灾害数据库,但是这些数据库中灾害数据的标准不统一,数据来源的可靠性与广泛性有待商榷,数据管理范式,包括灾害特征类、字段名称、对应数据类型等规范的确定、典型的关系数据库结构应用与国际同类数据库不一致,互访与接轨中存在明显的不协调,难以实现有效共享。并且,已建成并在网上发布的这些灾害数据库一般是依托某个项目进行,数据的后续更新和维护不及时,甚至某些数据库中的数据截止某个时间后就再也没有更新,表2列出了国内8个主要灾害数据库的基本情况,其中大部分在线发布的数据已不再更新。
汶川地震发生后,中国水利水电科学研究院水环境研究所所长周怀东曾建议,我国应建立一个地震灾害的数据库,对灾后环境安全进行综合评估,并采取有效应对措施,称“数据库的建立对今后发生类似灾害时的预警预报很有帮助”。事实上,不仅灾害数据库自身的建立非常重要,与灾害相关的人口、经济等信息的建设,以及这些信息与灾害数据的有效集成与共享也非常重要。但是,与国外相比,国内灾害数据库建设和数据共享的标准化、规范化水平还比较低(刘耀龙等,2008),有必要尽快深入研究国际较通用的灾害数据库建设规范与标准,探讨灾害相关数据的共享方法。
数据:债券(国际债券、国内债券)、国际股票、衍生品未清偿合约的名义数额和总市场价值(OTC、交易所)。
这是美国政府公开数据的所在地,该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。
这是印度政府公开数据的所在地,通过各种行业、气候、医疗保健等来寻找数据,你可以在这里找到一些灵感。根据你居住的国家的不同,你也可以从其他一些网站上浏览类似的网站。
世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。
Five Thirty Eight,亦称作 538,专注与调查分析,,经济与体育的博客。该数据集为 Five ThirtyEight Datasets 使用的数据集。每个数据集包括数据,解释数据的字典和Five ThirtyEight 文章的链接。如果你想学习如何创建数据故事,没有比这个更好。
Amazon提供了一些大数据集,可以在他们的平台上使用,也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集,Google Booksn-gram,NASA NEX 数据集,百万歌曲数据集等。
几个月前,谷歌研究小组发布了YouTube上的“数据集”,它由800万个YouTube视频id和4800个视觉实体的相关标签组成。它来自数十亿帧的预先计算的,最先进的视觉特征。
UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集,通常是首选的地方。这些数据集包括了各种各样的数据集,从像Iris和泰坦尼克这样的流行数据集到最近的贡献,比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。
Kaggle提出了一个平台,人们可以贡献数据集,其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方,但我在平台上看到了一些有趣的数据集,而不是在其他地方出现。与新的数据集一起,界面的另一个好处是,您可以在相同的界面上看到来自社区成员的脚本和问题。
您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题,并且相对较小,因为它们意味着2 - 7天的黑客马拉松。
Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。
Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后,他们为数据科学家组织在线模拟竞赛,从而开发出最好的模型来解决这些问题。
最流行的图像识别数据集,使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。
这里是下一阶段的进化,如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像,因此数据集的名称。
如果你已经完成了前两个项目,并且能够识别数字和字符,这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的,排列在四个文件夹中。
现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前,该集合平均每个节点有超过500个图像(而且还在增加)。
该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。
这个网站提供了一系列的电影评论文件,这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如,“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。
MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。
KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面,但是某些来源不再提供数据集。因此,需要谨慎选择数据集和来源。
一个GitHub存储库,它包含一个由域分类的完整的数据集列表。数据集被整齐地分类在不同的领域,这是非常有用的。但是,对于存储库本身的数据集没有描述,这可能使它非常有用。
由于这是一个社区驱动的论坛,它可能会遇到一些麻烦(与之前的两个来源相比)。但是,您可以通过流行/投票来对数据集进行排序,以查看最流行的数据集。另外,它还有一些有趣的数据集和讨论。
美国大学生数学建模竞赛(MCM/ICM)由美国数学及其应用联合会主办,是唯一的国际性数学建模竞赛,也是世界范围内最具影响力的数学建模竞赛。赛题内容涉及经济、管理、环境、资源、生态、医学、安全、等众多领域。
赛氪连续12年为美赛辅助报名提供服。