除了consolas之外,又发现俩好看的编程字体

Adobe的Source Code Pro https://github.com/adobe-fonts/source-code-pro

mononoki https://github.com/madmalik/mononoki

在老版本centos上用pcap4j,需要libpcap > 1.0.0, 系统pcap版本是0.9.x

编译libpcap的时候提示 error: 'DBUS_ERROR_INIT' undeclared (first use in this function)

查阅dbus源码之后直接在pcap-dbus.c头部增加一行

#define DBUS_ERROR_INIT { NULL, NULL, TRUE, 0, 0, 0, 0, NULL }

就可以编译通过了

make install 之后建议执行

dbus-uuidgen > /var/lib/dbus/machine-id

MegaCli基本操作

| No Comments | No TrackBacks

1. 常用命令:
#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL 查raid级别
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL 查raid卡信息
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL 查看硬盘信息
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -aAll 查看电池信息
#/opt/MegaRAID/MegaCli/MegaCli64 -FwTermLog -Dsply -aALL 查看raid卡日志
#/opt/MegaRAID/MegaCli/MegaCli64 -adpCount 【显示适配器个数】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpGetTime -aALL 【显示适配器时间】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aAll 【显示所有适配器信息】
#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aAll 【显示所有逻辑磁盘组信息】
#/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aAll 【显示所有的物理信息】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL |grep 'Charger Status' 【查看充电状态】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL【显示BBU状态信息】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuCapacityInfo -aALL【显示BBU容量信息】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuDesignInfo -aALL 【显示BBU设计参数】
#/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuProperties -aALL 【显示当前BBU属性】
#/opt/MegaRAID/MegaCli/MegaCli64 -cfgdsply -aALL 【显示Raid卡型号,Raid设置,Disk相关信息】

2. 磁带状态的变化,从拔盘,到插盘的过程中

JSR阅读目录

| No Comments | No TrackBacks

推荐阅读

jsr 133 Java Memory Model and Thread Spec

jsr 166 Concurrency Utilities

jsr 221 JDBC 4.0

jsr 255 JMX Spec

jsr 310 Date and Time API

jsr 338 Java Persistence 2.1

jsr 340 Servlet 3.1


建议阅读

jsr 001 Real-time Spec for Java

jsr 170 Content Repository for Java tech API                                                                         

jsr 174 Monitoring and Management Spec for JVM

jsr 175 A Metadata Facility for Java PL

jsr 202 Java Class File Spec

jsr 250 Common Annotations for the Java Platform

jsr 263 Fault Management API

jsr 291 Dynamic Component Support for Java SE (OSGI)

jsr 295 Bean Binding

jsr 319 Availability Management for Java

jsr 330 Dependency Injection for Java

jsr 335 Lambda Expression for Java PL

jsr 365 Context and Dependency Injection for Java 2.0

jsr 352 Batch Application for the Java Platform

jsr 354 Money and Currency API

jsr 356 Java API for WebSocket

jsr 367 Java API for JSON Binding

jsr 368 Java Message Service 2.1

jsr 369 Servlet 4.0

jsr 370 Java API for RESTful(Represenetational State Transfer) Web Service 2.1 Spec

jsr 371 MVC Spec

jsr 374 Java API for JSON Processing 1.1

jsr 907 Java Transaction API

 


JSR list https://jcp.org/ja/jsr/all

乌云安全

| No Comments | No TrackBacks

xss http://xss.pkav.net/xss/

wiki http://wiki.wooyun.org/

尝试spark

| No Comments | No TrackBacks

某个线上服务,访问量每天N亿, output种类异常丰富,依赖内部服务众多,出现问题的概率相对较大,故搞了某准实时分析系统,  用于分析性能和定(bu)位(bei)问(hei)题(guo)。

作为最接近DSL的优秀的prototype language, 我们开始是用PHP写了个多进程模型来跑, kafka传输数据,每分钟计算一次做归并, 速度基本可以满足需求。

跟广告算法团队沟通后, 某同学用scala重写了一遍,之后决定尝试下spark,然后悲催的发现在公司集群上的速度居然没有单机spark快, CPU稍微好点的机器上的PHP多进程也比它快....另外在公司集群上被高优先级任务干掉也是经常出现的...

讨论了下原因,似乎很简单。原始数据每分钟就没多少量,这个场景下并不是那么的合适,考虑了下数据分发并开始执行计算任务的时间,单机就计算的差不多了, 或许只有在做CF的时候才适合用hadoop/spark

我所了解的, spark作为目前被鼓吹的银弹,本质上是由于hadoop对计算的抽象不够,每一步都要落地到磁盘io上,导致在机器学习(比如ctr预估)这种需要多轮迭代的场景上,spark提供的RDD模型从理论上可以有效加速。但是实际工程上,作为一个工程技术人员,我们应该有足够的理智去看待一个所谓的灵丹妙药,技术选型的时候要看有那些feature但是更要了解disadvantage, 毕竟选型的本质是均衡和妥协。

以微博用户的量级做CF, hadoop和spark的scale out解决方案是必然, 但并不是优势。从spark的角度来看, MLLib目前还是属于占坑阶段, 典型的Berkeley风格, 比如线性代数的BLAS居然是fortran翻译的Java。另外,spark本身的参数调优也很重要,据说可以差一个数量级,尝试了不同版本的spark,速度明显有差异。

更为坑爹的是RDD,我们在尝试的时候经常就跑挂了,因为估算RDD几轮计算之后会变多大,spark在这块本质上是个糊涂账。

另外就是最近很火热的borg论文,离线和实时计算混跑的话题。spark在这块直接用的yarn,分配多少资源,task大小,分配速度,完成速度,这些只能靠经验来参数调优。这种QOS的事情spark直接回避掉了。而大家在优化参数的时候尽可能的会去压榨机器性能,但是CPU用满了,加上jvm的gc,会导致系统线程运行不流畅,甚至能触发heartbeat timeout的程度,最后触发fault safe,丢弃已经算了一半的任务,丢弃还能用的资源,还要再分配资源去重新去计算,给系统造成了更大的压力, 很多跑到最后跑挂掉的问题都是这样导致的。

结论: 作为一个scale out方案,如何保证效率,稳定性和可控才是最重要的, 对我们来说,spark还需要大量的人肉调优,算法参数和系统参数,在目前可预知的应用场景上,我团队用C++变相scale up来解决性能问题...至于spark, 作为缺乏调优经验的我们,还是让等算法团队吃螃蟹吧...

clink-gow

| No Comments | No TrackBacks

CLink - Bash Style Line Editing for cmd.exe 

Gow - Lightweight alternative to Cygwin

特殊应用需要白名单机器才能访问

官方链接: Android Identifying App Installations 

需要在Manifest中申请android.permission.READ_PHONE_STATE

直接贴代码: 

几个矩阵运算库

| No Comments | No TrackBacks

Armadillo http://arma.sourceforge.net/

Eigen http://eigen.tuxfamily.org/

已加电,设备管理器中可以识别,驱动自动识别且安装正常, 属性中提示"Windows cannot start this hardware device because its configuration information (in the registry) is incomplete or damaged. To fix this problem you should uninstall and then reinstall the hardware device. (Code 19)"

解决方式:

http://www.pchell.com/hardware/cd_drive_error_code_19.shtml

http://support.microsoft.com/kb/929461

http://technet.microsoft.com/en-us/library/cc772156%28v=ws.10%29.aspx

http://blogs.msdn.com/b/usbcoreblog/archive/2013/12/10/help-after-installing-windows-8-1-my-device-fails-with-error-code-19.aspx

Recent Comments

  • suchasplus: 你这个更赞 read more
  • lrobot: 昨天也遇到这个问题。采用同样的方法不过稍有不同 #某些下载需要proxy ALL_PROXY=socks5://a:a@localhost:8765 brew install wget #不需要proxy就直接下了 brew install node read more
  • hyy: 最后怎么解决啊 说明白啊 read more
  • suchasplus: 建议你直接找个php5.3的rpm装。。。, 这文章好几年前的了。。。我记不清了 read more
  • Tom: Oh the link is gone, did you delete the file? read more
  • zjhui: PHP Warning: PHP Startup: Unable to load dynamic library '/usr/lib/php/modules/filter.so' read more
  • zjhui: 我按照这个方法安装了filter和json库,结果报错:[root@0_227 modules]# /usr/bin/php -m PHP Warning: PHP Startup: Unable to read more
  • suchasplus: 好赞! read more
  • muxueqz: 为此我还用Yahoo Pipes给hi.baidu.com搞了个RSS生成。。。 http://muxueqz.laou.me/hibaidurss.html read more
  • shawn: it's great, Thanks! read more

Recent Assets

  • 360vsTencent.png
  • DIAN.jpg
  • shikitei_title.jpg

Pages

OpenID accepted here Learn more about OpenID
Powered by Movable Type 5.2.7