Python数据分析工具安装集合

2017年02月05日 26 阅读

用python做数据分析离不开几个好的轮子（或称为科学棧/第三方包等），比如matplotlib，numpy, scipy, pandas, scikit-learn, gensim等，这些包的功能强大，丰富，包括含了绘图，机器学习，爬虫，数据分析等等。而开发工具推荐使用pycharm或者Jupyter notebook（ipython notebook）。开发起来的样子是这样的。 此方法，同时适用于windows和linux（也许mac也行，没实践过）。...

Ubuntu下安装Linux Kernel 4.6.3

2017年02月05日 27 阅读

本文仅适合于 Ubuntu 用户升级（使用的是Ubuntu 官方提供的 DEB 安装包），Linux Kernel 4.7 已经发布，尽管是正式版本，不建议用户升级到该内核，有兴趣的同学可以尝试，DEB安装包下载地址：mainline-crack v4.7关于V4.7更新的亮点有：包含 AMD RX480 GPU 的开源驱动支持，配合正在开发的 Mesa 12.1 即可使用并行化的文件夹内容缓存查询新的 schedutil频率管理器，使用来自调度器的信息调...

Ubuntu 15.10 x64 安装 Android SDK 图文详解

2017年02月05日 28 阅读

操作系统：Ubuntu 15.10 x64目标：安装 Android SDK本文最后更新时间：2015-11-3安装32位库文件2013年9月的iPhone 5s是第一款64位手机，而Android手机大部分用的还是32位系统，落后了两年。Android SDK中的adb程序是32位的，Ubuntu x64系统需要安装32位库文件，用于兼容32位的程序。如果不安装，adb会出错：java.io.IOException: error=2sudo apt-ge...

Ubuntu 14.04中使用模拟器运行Android系统

2017年02月05日 25 阅读

1、前言本文重点说明编译好Android源码之后，如果没有相应的开发板，在Ubuntu 14.04中我们应用如何通过模拟器来运行所编译的Android系统。2、编译选择若选择mini_x86_userdebug模式：编译完成后运行模拟器的时候出错：由于上可见，当前模拟器不能模拟x86平台！因此在编译的时候需要选择恰当的选项。3、创建avd在android4.4的prebuilts/devtools/tools目录中有一个android程序可执行文件，运行提...

Ubuntu 16.04安装Molcas（含DMRG模块）

2017年02月05日 28 阅读

重新安装的Ubuntu 16.04, 需要安装Molcas（包含其中的DMRG【QCmauqis】模块时）额外需要的软件包/库如下1） 库apt-get install gfortranapt-get install cmakeapt-get install python-devapt-get install python-numpyapt-get install python-scipyapt-get install python-matplotliba...

Spark 处理中文乱码问题（UTF-8编码）

2017年02月05日 27 阅读

问题场景要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。问题解析直接用Hadoop fs -text或者hadoop fs -cat查看HDFS上的...

Scala配置Intellij IDEA 15.0.3环境及hello world！

2017年02月05日 28 阅读

1. Intellij IDEAScala开发环境搭建Intellij IDEA 15.0.3 默认配置里面没有Scala插件，需要手动安装，在Intellij IDEA 15.0.3 第一次运行时选择configure plugins，选择默认后在软件主界面去配置，但是本人测试发现，这种设置方式经常会因为网络问题配置失败，建议直接到http://www.jetbrains.net/confluence/display/SCA/Scala+Plugin+f...

Ubuntu下让Theano使用GPU

2017年02月05日 27 阅读

在Ubuntu下安装完Theano以及cuda后，可以使用如下程序来测试你当前是否使用了GPU：from theano import function, config, shared, sandboximport theano.tensor as Timport numpyimport timevlen = 10 * 30 * 768# 10 x #cores x # threads per coreiters = 1000rng = numpy.rand...

Win8.1 64位安装Theano并配置GPU

2017年02月05日 27 阅读

一开始完全按照deeplearning.net上的说明一步一步搭建Theano，结果由于兼容性问题，折腾了好几天都没安装成功，最后打着一试的态度，换了软件版本重新安装，终于成功了。最后我把软件及配置全部删除，又重新安装了一次，依然成功，说明应该没什么问题了，现在把安装过程记录一遍，以供参考。   首先列示一下我的电脑及使用软件配置：Win8.1 64位系统，NVIDIA Geforce 840M，Anaconda python 2.7....

Ubuntu15.10_64位安装Theano+CUDA7.5详解

2017年02月05日 26 阅读

尝试了网上的各种方法，重装了N遍Ubuntu，今天终于装好了，记录下来，与自己或者有需要的朋友一起分享。介绍一下我的环境：GTX425M，笔记本win7_64+ubuntu15.10_64双系统，cuda7.5。首先声明，我是安装完Ubuntu 15.10后，没有sudo apt-get update，没有安装其他的软件，没有disable Nouveau，直接安装的cuda，再安装的Theano。下面介绍一下我的安装过程及遇到的问题和解决方案。第1步：下...

Ubuntu 16.04 LTS 安装Theano配置GPU

2017年02月05日 27 阅读

之前经过一番折腾，终于在Win8.1下安装了Theano并配置好GPU（详见上一篇文章 http://www.linuxidc.com/Linux/2016-08/134143.htm），近几天又经历重重磨难，在Unbutn16.04lts下安装了Theano并配置GPU。首先列示我的电脑使用软硬件配置：Ubuntu 16.04LTS 64位系统，NVIDIA Geforce 840M，Anaconda python 3.5，Cuda7.5。在详述之前，首...

Linux查看网卡UUID的方法

2017年02月05日 28 阅读

有时我们不小心将/etc/sysconfig/network-scripts/ifcfg-eth0（可以通过此文件进行查看UUID）删除或者损坏，要重新编辑ifcfg-eth0文件时不知道网卡的UUID是什么（当然也可以不写），那我们还有什么方法可以查看网卡的UUID呢？在这里我们使用的方法是使用nmcli命令查看，方法如下：1、首先我们查看一下nmcli是哪个软件包提供的[root@linuxidc.com ~]# yum provides "*/nmc...

Linux虚拟机克隆后网卡UUID问题

2017年02月05日 26 阅读

虚拟机中的Linux系统克隆后，网卡配置eth0中的UUID可被克隆的系统是一样的，这样UUID就失去了唯一性。参考：http://www.linuxidc.com/Linux/2016-08/134149.htm有时我们不小心将/etc/sysconfig/network-scripts /ifcfg-eth0（可以通过此文件进行查看UUID）删除或者损坏，要重新编辑ifcfg-eth0文件时不知道网卡的UUID是什么（当然也可以 不写），那我们还有什么...

Linux kernel中module相关命令集

2017年02月05日 27 阅读

Linux的kernel能够以动态的方式加载，卸载模块，以达到减小内核的大小，复杂度，以及增加内核的灵活性。目前，我知道的有lsmod，insmod，rmmod，modprobe四条命令，现在分别总结记录这四条命令，命令后的模块名称均不加后缀（如.ko或.o）。1：lsmod 即list modules的简称功能说明：显示已载入系统的所有模块。语法：lsmod模块名称说明：执行lsmod指令，会列出所有已载入系统的模块。Linux操作系统的核心具有模块化的...

Debian系Linux中文系统目录改为英文目录的解决方法

2017年02月05日 27 阅读

之前给笔记本装的kali是英文版，系统安装好了后再修改系统语言为中文，或者直接就用英文系统，也是可以的。后来笔记本的硬盘坏掉了，换ssd，然后安装kali的中文版，中文是方便，但是进去后就不爽了。打开终端：?kerker >ls -lh总用量 48Kdrwxr-xr-x 2 kerker kerker 4.0K 3月 8 10:53 公共drwxr-xr-x 2 kerker kerker 4.0K 3月 8 10:53 模板drwxr-xr-x 2...

Linux下的多线程下载工具mwget

2017年02月05日 26 阅读

之前在做项目的时候，遇到一个难题，需要一个多线程下载器，于是阴差阳错的看到了这款工具——mwget，之所以是阴差阳错，是因为mwget的多线程下载功能，并不是我们想要的多线程。wget大家都知道吧，而mwget相当于是wget的升级版，m意为multi-threading。测试环境：kali linux 2.0写这篇记录的时候，竟然还看到一个python版的mwget，给个传送门，需要的自己去看吧：https://pypi.pyth...

Eclipse配置Python环境

2017年02月05日 31 阅读

打开EclipseFile - New - Project我们看到 这里并没有python的工程Help - Install New Software点Add如图填写点击ok然后检测到了勾选第一个点击next 会自己安装接着选择PyDev for EclipseAccept license就开始安装了进度跑到一半的时候会有个提示需要勾选PyDev的证书然后重启重启后File - New - Project然后就可以看到python的工程选择最下面的PyDe...

CentOS 6.8内核版本升级

2017年02月05日 25 阅读

CentOS 6.8内核版本升级1.查看当前版本[root@www.linuxidc.com docker]# cat /etc/issueCentOS release 6.8 （Final）Kernel on an m2.升级CentOS[root@www.linuxidc.com docker]# yum update –y3.内核升级至3.10前往http://www.elrepo.org/3.1下载升级包[root@localhos...

Linux进程间通信中的文件和文件锁

2017年02月05日 27 阅读

前言使用文件进行进程间通信应该是最先学会的一种IPC方式。任何编程语言中，文件IO都是很重要的知识，所以使用文件进行进程间通信就成了很自然被学会的一种手段。考虑到系统对文件本身存在缓存机制，使用文件进行IPC的效率在某些多读少写的情况下并不低下。但是大家似乎经常忘记IPC的机制可以包括“文件”这一选项。我们首先引入文件进行IPC，试图先使用文件进行通信引入一个竞争条件的概念，然后使用文件锁解决这个问题，从而先从文件的角度来管中窥豹的...

Linux终端命令行提示符设置

2017年02月05日 25 阅读

我们使用Linux系统时接触最多的是它的命令行窗口，很多时候我们都需要在命令行上输入命令，在输入的命令前都会有提示符，一般系统默认的提示符形式是：[username@host 工作目录]$。其实，我们可以为自己订制个性化的命令行提示符，Linux系统提示符是用系统变量PS1来定义的，只要按规则修改PS1系统变量的值随意修改命令行提示符。通过命令echo $PS1查看PS1的值，即PS1="[u@h: w ]$ "。修改PS1的值后，重启系统或者重新登录后...